اوپن‌ای‌آی جستجو به درخواست کاربر را از محدودیت‌های robots.txt مستثنی می‌کند

به گزارش پیوست،‌ براساس این تغییرات که نخستین‌بار توسط مشاور بازاریابی دیجیتال، پیتر سراریس شناسایی شد، اوپن‌ای‌آی تصریح کرده است که تنها دو عامل «OAI-SearchBot» و «GPTBot» به قوانین robots.txt پایبند خواهند بود اما در مستندات جدید، عبارت‌هایی که پیش‌تر نشان می‌دادند ChatGPT-User نیز تابع محدودیت‌های مربوط به روبات‌ها است، از مستندات حذف شده است.

اوپن‌ای‌آی در توضیح این سیاست جدید اعلام کرده که ChatGPT-User یا بخش پاسخ‌دهنده به درخواست کاربر این چت‌بات در واقع در نقش «نماینده کاربر انسانی» عمل می‌کند و برخلاف خزنده‌های مستقل، رفتار آن از کنش‌های مستقیم کاربران سرچشمه می‌گیرد. در مستندات جدید آمده است: «از آنجا که این عملیات به ابتکار کاربر انجام می‌شود، ممکن است قوانین robots.txt شامل آن‌ها نشود.» شرکت همچنین دامنه فعالیت ChatGPT-User را گسترده‌تر توصیف کرده و شامل درخواست‌های Custom GPT و GPT Actions نیز دانسته است.

این تغییرات در حالی صورت می‌گیرد که فشار ناشران بر شرکت‌های هوش مصنوعی برای محدود کردن خزنده‌ها رو به افزایش است. داده‌های BuiltWith نشان می‌دهد که مسدودسازی ربات‌های هوش مصنوعی طی یک سال گذشته ۳۳۶ درصد افزایش یافته و اکنون حدود ۴۸ درصد وب‌سایت‌های خبری بزرگ دست‌کم یکی از خزنده‌های هوش مصنوعی را مسدود کرده‌اند. رسانه‌هایی مانند نیویورک‌تایمز، گاردین، سی‌ان‌ان، رویترز و بلومبرگ در ماه‌های اخیر دست چندین ربات مختلف اوپن‌ای‌آی را از دسترسی به محتوای خود قطع کرده‌اند.

اوپن‌ای‌آی همچنین برای کاهش بار ترافیکی، اعلام کرده است که OAI-SearchBot و GPTBot داده‌های مشترک ردوبدل می‌کنند و در صورتی که سایتی هر دو ربات را مجاز کرده باشد، ممکن است تنها یکی از آن‌ها در عمل اقدام به خزش کند. این توضیح، رفتارهای مشاهده‌شده در لاگ‌های سرور بسیاری از ناشران را تایید می‌کند.

برای مدیران وب‌سایت‌ها که سال‌ها از robots.txt به‌عنوان ابزار اصلی کنترل دسترسی خزنده‌ها استفاده کرده‌اند، تغییر جدید به معنای چالش‌های تازه است. شرکت‌هایی مانند کلودفلر اکنون به سمت راه‌حل‌های سطح شبکه حرکت کرده‌اند و این شرکت در دسامبر ۲۰۲۴ از ابزاری به نام  Robotcop، برای جلوگیری از دسترسی روبات‌ها رونمایی کرد و همچنین شرایط جدید آن، به صورت پیش‌فرض تمام ربات‌های هوش مصنوعی در دامنه‌های جدید را مسدود می‌کند. طبق تخمین‌ها این سیاست روی حدود ۲۰ درصد وب عمومی تأثیر می‌گذارد.

در نسخه جدید مستندات، اوپن‌ای‌آی همچنین اشاره مربوط به استفاده از داده‌های OAI-SearchBot برای آموزش مدل‌های پایه را حذف کرده است و این تغییر به‌گفته بسیاری از تحلیل‌گران نشانه‌ای از تفکیک روشن‌تر میان جمع‌آوری داده برای جست‌وجو و داده‌های مورداستفاده در آموزش مدل‌هاست. به گفته شرکت، ناشران همچنین در صورتی که نمی‌خواهند از محتوای سایت برای اهداف آموزشی استفاده شود،‌ می‌توانند GPTBot را به‌صورت جداگانه مسدود کنند.

این تصمیم اوپن‌ای‌آی، اگرچه در ظاهر یک تغییر فنی است اما بار دیگر مساله کنترل داده، حقوق ناشران و حدود فعالیت عامل‌های هوش مصنوعی را در مرکز توجه قرار داده است و این در حالی است که ناشران مدتی است برای دریافت آنچه حقوق خود مالی و معنوی خود می‌دانند از شرکت‌های هوش مصنوعی اقدام کرده‌اند.