گزارش سالانه کلودفلر: سلطه خزنده‌های هوش مصنوعی بر جهان آنلاین

به گزارش پیوست، از جمله دیگر تحولات مهم و فراتر از هوش مصنوعی در گزارش کلودفلر می‌توان به افزایش دوبرابری ترافیک اینترنت ماهواره‌ای استارلینک اشاره کرد که نشان از افزایش نفوذ اینترنت ماهواره‌ای در میان کاربران دارد و طبق داده‌های کلودفلر، در ۱۱۷ کشور، بیشترین درخواست ترافیک مربوط به دستگاه‌های موبایلی است.

همچنین براساس این گزارش بیش از ۱۷۴ قطعی گسترده در سال ۲۰۲۵ رخ داده که بیش از نیمی از آنها مربوط به قطعی منطقه‌ای یا ملی اتصال اینترنت از سوی دولت‌ها بوده است.

این بررسی بر پایه داده‌های شبکه جهانی کلودفلر تهیه شده که بیش از ۳۳۰ شهر در ۱۲۵ کشور را پوشش می‌دهد و به‌طور میانگین بیش از ۸۱ میلیون درخواست HTTP در ثانیه را مدیریت می‌کند.

سلطه خزنده‌های هوش مصنوعی بر وب

یکی از مهم‌ترین بخش‌های گزارش امسال مربوط به فعالیت خزنده‌های هوش مصنوعی است که به‌ویژه برای وب‌سایت‌ها، رسانه‌ها و تولیدکنندگان محتوا اهمیت روزافزون دارد.

طبق یافته‌های کلودفلر، گوگل‌بات (Googlebot) با فاصله‌ای بسیار زیاد، فعال‌ترین خزنده در میان تمامی خزنده‌های هوش مصنوعی است. خزنده شرکت گوگل در ماه‌های اکتبر و نوامبر ۲۰۲۵ به ۱۱.۶ درصد از صفحات وب منحصربه‌فرد در نمونه مورد بررسی دسترسی پیدا کرده است؛ رقمی که بیش از سه برابر GPTBot متعلق به اوپن‌ای‌آی با ۳.۶ درصد است و فاصله آن با PerplexityBot حدود ۲۰۰ گزارش شده است.

پس از گوگل‌بات و خزنده اوپن‌ای‌آی، بینگ‌بات (متعلق به مایکروسافت) با ۲.۶ درصد در رتبه سوم قرار دارد و سپس Meta-ExternalAgent (خزنده شرکت متا) و ClaudeBot (خزنده شرکت انتروپیک) هرکدام با حدود ۲.۴ درصد در جایگاه بعدی قرار می‌گیرند.

نکته کلیدی اینجاست که گوگل‌بات برخلاف سایر خزنده‌ها، نقش دوگانه‌ای دارد و هم برای ایندکس‌کردن نتایج جست‌وجو و هم برای آموزش مدل‌های هوش مصنوعی گوگل استفاده می‌شود. مساله‌ای که باعث تا به گفته کلودفلر، وب‌سایت‌ها در موقعیتی دشواری در مقابل این شرکت قرار گیرند زیرا مسدود کردن دسترسی گوگل‌بات از دسترسی به محتوای وبسایت برای آموزش هوش مصنوعی باعث می‌شود تا وبسایت‌ها از دیده‌شدن در نتایج جست‌وجوی گوگل جا بمانند.

سهم قابل‌توجه ربات‌ها از ترافیک HTML

بررسی ترافیک HTML کلودفلر در سال ۲۰۲۵ نشان می‌دهد که خزنده‌های هوش مصنوعی (به‌جز گوگل‌بات) به‌طور میانگین ۴.۲ درصد از کل درخواست‌های HTML را به خود اختصاص داده‌اند.

این سهم در طول سال نوسان داشته و از ۲.۴ درصد در اوایل آوریل تا ۶.۴ درصد در اواخر ژوئن افزایش یافته است. گوگل‌بات به‌تنهایی ۴.۵ درصد از این درخواست‌ها را تشکیل داده که اندکی بیشتر از مجموع تمام خزنده‌های هوش مصنوعی دیگر است.

در سوی دیگر، سهم ترافیک انسانی نیز دستخوش تغییر شده است. در ابتدای سال ۲۰۲۵، ترافیک تولیدشده توسط انسان‌ها حدود هفت واحد کمتر از ترافیک ربات‌های غیرهوش مصنوعی گزارش شده است. اما از ماه سپتامبر، در برخی روزها ترافیک انسانی از ربات‌ها پیشی گرفت.

تا دوم دسامبر، انسان‌ها ۴۷ درصد از درخواست‌های HTML را به خود اختصاص داده‌اند، در حالی که ربات‌های غیرهوش مصنوعی ۴۴ درصد سهم داشتند. این تغییر، نشانه‌ای از تثبیت دوباره نقش کاربران واقعی در برابر سیل خزنده‌هاست، هرچند فاصله هنوز اندک است.

شکاف خزش و ارجاع ترافیک

یکی از مهم‌ترین شاخص‌هایی که کلودفلر در این گزارش مورد بررسی قرار داده است، نسبت «crawl-to-refer» یا نسبت «خزش به ارجاع» است که یعنی در ازای چه تعداد خزش، ترافیک به وبسایت‌ها ارجاع داده می‌شود. این شاخص، به‌ویژه برای ناشران محتوا، معیار مهمی است که ارزش اقتصادی حضور خزنده‌هاست را مشخص می‌کند.

داده‌های کلودفلر نشان می‌دهد که پلتفرم‌های هوش مصنوعی در این زمینه عملکرد متفاوتی نسبت به موتورهای جست‌وجوی سنتی دارند.

انتروپیک بدترین نسبت‌ را از خزش به ارجاع برای ناشران دارد و در نیمه دوم سال ۲۰۲۵ بین ۲۵ هزار به ۱ تا حتی ۱۰۰ هزار به ۱ نوسان داشته است. به‌عبارت دیگر، در برابر ده‌ها هزار بار خزش، تنها یک ارجاع به سایت منبع صورت گرفته است.

اما این برای خزنده شرکت اوپن‌ای‌آی تا حدی بهبود می‌یابد و پرپلکسیتی که تمرکز آن بیشتر بر ترکیب هوش مصنوعی با موتور جستجو است نیز عملکرد بهتری از دیگران دارد .

طبق داده‌های کلودفلر اوپن‌ای‌آی در مقاطعی نسبت ۳۷۰۰ به ۱ را به ثبت رسانده، هرچند این عدد در ادامه سال اندکی کاهش یافته است. در مقابل، پرپلکسیتی کمترین نسبت‌ها را حفظ کرده و از سپتامبر به بعد معمولا زیر ۲۰۰ به ۱ بوده است.

اما همچنان گوگل به عنوان بزرگترین موتور جستجوی جهان بهترین نسبت را دارد. نسبت خزش به ارجاع گوگل در جست‌وجوی معمولی، اغلب بین ۳ به ۱ تا ۳۰ به ۱ باقی مانده است؛ فاصله‌ای که به‌روشنی نشان می‌دهد چرا ناشران نسبت به خزنده‌های هوش مصنوعی و استخراج یک‌طرفه محتوا احساس منفی دارند.

رشد انفجاری خزش مبتنی بر درخواست

کلودفلر در گزارش امسال میان خزش برای آموزش مدل‌ها و خزش مربوط به «درخواست کاربر» تمایز قائل شده است. نوع دوم زمانی رخ می‌دهد که یک کاربر در چت‌باتی مانند ChatGPT سوالی مطرح می‌کند و ربات برای پاسخ به آن سوال فورا به صفحات وب مراجعه می‌کند.

این نوع خزش در سال ۲۰۲۵ رشدی بیش از ۱۵ برابر را تجربه کرده و الگوی زمانی آن، شباهت زیادی به رفتار کاربران در مدارس و محیط‌های کاری داشته است. فعالیت‌ها از اواسط فوریه الگوی هفتگی به خود گرفته و در تابستان کاهش یافته و سپس دوباره افزایش پیدا کرده است.

درخواست‌های کاربر از هوش مصنوعی بخش مهمی از خزش‌ها را تشکیل می‌دهند و شرکت اوپن‌ای‌آی، مالک چت‌جی‌پی‌تی، به تازگی با تغییر سیاست‌های خود اعلام کرده که این دسته از ارجاعات را به گونه‌ای انجام می‌دهد که دیگر از طریق Robots.txt قابل مسدود شدن نیستند و به عبارتی به عنوان یک مراجعه انسانی قلمداد خواهند شد.

robots.txt و مقاومت ناشران

تحلیل شرکت کلودفلر در فایل‌های robots.txt نزدیک به ۳۹۰۰ دامنه از ۱۰ هزار سایت برتر نشان می‌دهد که خزنده‌های هوش مصنوعی بیش از هر گروه دیگری مسدود شده‌اند به گونه‌ای که GPTBot، ClaudeBot و CCBot بیشترین دستورهای «عدم دسترسی کامل» را دریافت کرده‌اند.

در مقابل، گوگل‌بات و بینگ‌بات کمترین میزان مسدودی دارند که تفاوت اصلی آنها به اهمیت دوگانه آنها بازمی‌گردد و ناشران نمی‌خواهند به دلیل قطع دسترسی روبات،‌ از جایگیری مناسب در موتورهای جستجو باز بمانند.

به گفته کلودفلر حتی بخش محدود مسدودسازی‌هایی که برای گوگل‌بات و بینگ‌بات شاهد هستیم هم بیشتر به بخش‌های غیرمحتوایی مانند صفحات ورود یا APIها مربوط می‌شود. درنتیجه می‌توان گفت که بسیاری از ناشران، هنوز موتورهای جست‌وجوی سنتی را ضروری می‌دانند، اما نسبت به خزنده‌های هوش مصنوعی صرفا به چشم مصرف‌کننده محتوا نگاه می‌کنند و رویکردی تدافعی نسبت به آنها دارند.

نگاهی به حملات سایبری: سازمان‌های مدنی و مذهبی در مرکز توجه

یکی دیگر از یافته‌های مهم این گزارش نیز مربوط به تغییر الگوی حملات سایبری است و براساس این گزارش برای نخستین بار، بخش «مردم و جامعه» شامل سازمان‌های مدنی، مذهبی، خیریه‌ها، کتابخانه‌ها و نهادهای مدنی، به هدف اصلی چنین حملاتی تبدیل شده است.

طبق گزارش کلودفلر، سهم این بخش از ترافیک دفع‌شده جهانی به ۴.۴ درصد رسیده است در حالی که در ابتدای سال کمتر از ۲ درصد بود. همچنین در مقاطعی از سال، این سهم حتی به بیش از ۲۳ درصد نیز افزایش یافته است. بسیاری از این نهادها تحت پوشش پروژه Galileo کلودفلر قرار دارند که خدمات امنیتی رایگان را در اختیار سازمان‌های مدنی قرار می‌دهد.

در نگاه کلی نیز گزارش کلودفلر می‌گوید ترافیک جهانی اینترنت ۱۹ درصد رشد سالانه نسبت به گزارش قبلی داشته. همچنین استارلینک، خدمت اینترنت ماهواره‌ای شرکت اسپیس‌ایکس ترافیک خود را دو برابر افزایش داده است.

علاوه بر این تقریبا نیمی از قطعی‌های بزرگ اینترنت ناشی از تصمیمات دولتی بوده است. اروپا نیز در شاخص کیفیت اینترنت پیشتاز مانده و اسپانیا در صدر جدول قرار گرفته است.