کلادفلر از بازار خرید و فروشی میان ناشران و شرکت‌های هوش مصنوعی رونمایی کرد

به گزارش پیوست به نقل از تک‌کرانچ، در این سیستم جدید، صاحبان وب‌سایت‌ها می‌توانند با تعیین نرخ مشخصی، اجازه خزش یا Crawl را در اختیاره خزنده‌های هوش مصنوعی قرار دهند. البته ناشران می‌توانند به طور کامل اجازه خزش را از ابزارهای هوش مصنوعی گرفته و یا دسترسی را کاملا آزاد کنند.

طبق اعلام Cloudflare، صاحبان سایت‌ها می‌توانند ببینند که خزنده‌ها با چه اهدافی از دسترسی به سایت استفاده می‌کنند: آموزش مدل‌های هوش مصنوعی، نمایش در پاسخ‌های موتورهای جستجوی مبتنی بر هوش مصنوعی، یا مقاصد دیگر.

دسترسی به دامنه‌های جدید به صورت پیش‌فرض مسدود است

در کنار معرفی این بازار، Cloudflare اعلام کرد که از این پس تمامی دامنه‌های جدیدی که روی پلتفرم این شرکت ایجاد می‌شوند، به‌صورت پیش‌فرض دسترسی همه خزنده‌های هوش مصنوعی را مسدود می‌کنند. این اقدام که به گفته شرکت، «پیش‌فرضی برای کنترل» است، با این هدف اعمال شده است که مدل‌های خزنده تنها در صورت دریافت مجوز صریح از صاحب سایت بتوانند محتوای وب را جمع‌آوری کنند.

چندین ناشر بزرگ از جمله Conde Nast، TIME، AP، The Atlantic، ADWEEK و Fortune با مسدودسازی خزنده‌های هوش مصنوعی موافقت کرده‌اند و از رویکرد مبتنی بر اجازه‌ی Cloudflare حمایت می‌کنند.

ابزارهای هوش مصنوعی آورده چندانی برای ناشران ندارند

بر اساس داده‌هایی که Cloudflare در ماه ژوئن منتشر کرده، خزنده‌های هوش مصنوعی بسیار بیشتر از میزان ترافیکی که برای وب‌سایت‌ها ایجاد می‌کنند، اقدام به جمع‌آوری داده می‌کنند. طبق اعلام این شرکت خزنده گوگل به ازای هر بازدید، ۱۴ بار در صفحات خزش می‌کند. اما در مورد شرکت‌های هوش مصنوعی این نسبت به شکل خیره‌کننده‌ای افزایش می‌یابد به طوری که خزنده اوپن‌ای‌آی در ازای هر بازدیدی که به وبسایت منتقل می‌کند،‌۱۷ هزار خزش انجام می‌دهد و برای انتروپیک این رقم به ۷۳ هزار بار می‌رسد که نشانگر نرخ تبدیل بسیار پایین ابزارهای هوش مصنوعی به ترافیک واقعی است.

به طور کلی با توجه به این داده‌ها می‌توان گفت مدل‌های هوش مصنوعی در حالی که از محتوای تولید ناشران استفاده می‌کنند، ترافیک معنادار یا مزیت رقابتی چندانی را در اختیار آنها قرار نمی‌دهند.

راه‌حل Cloudflare برای بحران درآمدی ناشران

با افت ترافیک گوگل و رشد چت‌بات‌های هوشمند، بسیاری از ناشران خبری با سوالات جدی درباره مدل درآمدی آینده خود مواجه‌اند. برخی از جمله نیویورک تایمز از شرکت‌های هوش مصنوعی از جمله اوپن‌ای‌آی شکایت کرده‌اند. در مقابل، تعدادی از ناشران مانند Axel Springer و AP قراردادهایی برای مجوز استفاده از محتوایشان با این شرکت‌ها منعقد کرده‌اند. با این حال، چنین توافق‌هایی عمدتا محدود به ناشران بزرگ است و همچنین یک منابع درآمدی پایدار محسوب نمی‌شود.

شرکت Cloudflare امیدوار است که الگوی ارائه شده در Pay per Crawl بتواند به یک مدل تجاری جدید و پایدارتر تبدیل شود تا ناشران کوچک و متوسط هم امکان قیمت‌گذاری محتوای خود را داشته باشند. در این سیستم، ناشر و شرکت هوش مصنوعی هر دو باید حساب Cloudflare داشته باشند و نرخ مشخصی برای خزش در صفحات تعیین کنند. شرکت Cloudflare نیز به عنوان واسطه، فرایند پرداخت را برعهده گرفته و سهم ناشر را واریز می‌کند.

آیا شرکت‌های هوش مصنوعی میلی به همکاری دارند؟

در حال حاضر، بسیاری از شرکت‌های هوش مصنوعی محتوای وب را بدون پرداخت هزینه و به‌صورت رایگان استخراج می‌کنند. بنابراین مشخص نیست که آیا آن‌ها حاضر به شرکت در چنین سیستمی که نیازمند پرداخت هزینه برای هر خزش است خواهند بود یا خیر. با این حال، Cloudflare یکی از معدود شرکت‌هایی است که با در اختیار داشتن حجم بزرگی از وب‌سایت‌ها، ظرفیت فنی و اقتصادی برای ساخت چنین بازار بین‌المللی در اختیار دارد و در صورت همراهی گسترده ناشران ممکن است شرکت‌های هوش مصنوعی برای دسترسی به داده‌های با کیفیت و کسب برتری نسبت به رقبا مجبور به استقبال از این رویکرد شوند.

Pay Per Crawl برای آینده‌ای مبتنی بر عامل‌های هوش مصنوعی طراحی شده است

شرکت Cloudflare در پست وبلاگی خود تصریح می‌کند که پتانسیل واقعی Pay per Crawl زمانی نمایان می‌شود که عامل‌های هوش مصنوعی تا اندازه‌ای پیشرفت کنند که به‌طور مستقل به وب‌گردی پرداخته، محتوای مورد نیاز کاربر را جمع‌آوری کنند و به‌صورت برنامه‌نویسی‌شده بودجه‌ای را برای دسترسی به منابع در نظر گیرند: «تصور کنید یک عامل تحقیقاتی به‌صورت خودکار آخرین مقالات سرطان را گردآوری کند یا به شما برای نگارش یک دفاعیه حقوقی کمک کند و در مسیر انجام وظیفه، بودجه‌ای در اختیار داشته باشد تا بهترین منابع را خریداری کند.»

گفتنی است با وجود اینکه بسیاری پیش‌بینی می‌کردند چنین سیستمی نیاز به پرداخت‌های خرد مبتنی بر رمزارز داشته باشد، Cloudflare می‌گوید در نسخه فعلی Pay per Crawl خبری از پرداخت رمزارزی نیست.