ردیت دسترسی موتورهای جستجوی از جمله بینگ مایکروسافت را مسدود کرده است

به گزارش پیوست به نقل از بلومبرگ، استیو هافتمن، مدیر عامل ردیت در مصاحبه‌ای پیرامون محدودیت‌های اخیر گفت: «ما دیگر نمی‌توانیم کاملا آزاد باشیم زیرا باید به مقصد و کاربرد داده‌هایمان توجه کنیم. ما دسترسی هر خزنده‌ای (Crawler)‌ که با آن توافق رسمی نداریم را مسدود می‌کنیم.»

این شبکه اجتماعی ماه گذشته سیاست‌های خود را به گونه‌ای تغییر داد تا از خزش بدون جواز شرکت‌ها و افراد جلوگیری کند. براساس شرایط جدید، شرکت‌ها باید برای دسترسی به داده‌های ردیت با این شرکت به توافق برسند. از جمله کاربرد‌های این توافق می‌توان به استفاده از محتوا و پست‌های ردیت در نتایج جستجو اشاره کرد.

شرکت گوگل در حال حاضر تنها ارائه‌دهنده موتور جستجو است که براساس یک توافق جدید به محتوای ردیت دسترسی دارد. این شرکت در ماه فوریه طی قراردادی با پرداخت ۶۰ میلیون دلار در ازای دسترسی به محتوای ردیت موافقت کرد. با اینکه همکاری گوگل و ردیت انحصاری نیست و این شبکه اجتماعی می‌تواند با موتورهای جستجوی رقیب نیز قراردادهای مشابهی را امضا کند، اما تا به امروز چنین توافقی حاصل نشده است.

گوگل و دیگر موتور‌های جستجو مدت‌ها است که منبع اصلی ترافیک برای ردیت به حساب می‌آیند و مردم معمولا با اضافه کردن «r/Reddit» در جستجوی گوگلی خود می‌توانند پاسخ سوالات خود را در بین پست‌ها و کامنت‌های ردیت جستجو کنند. هافمن می‌گوید که در طول دو سال گذشته، گوگل حدود ۴۰ تا ۵۰ درصد از تمام ترافیک روزانه ردیت را تامین کرده است.

از آنجایی که این جستجو‌ها افراد تازه‌ای را به ردیت می‌فرستاد، این شبکه اجتماعی به موتورهای جستجوی امکان دسترسی رایگان می‌داد.

اما به گفته هافمن: «زمانی که از [دسترسی به محتوای ردیت] برای جستجوی ساده استفاده می‌شد، لینک‌های ساده‌ای که ترافیک را دوباره از موتور‌های جستجو به ما بازمی‌گرداند، مشکلی وجود نداشت. اما آنها دارند از داده‌های ردیت برای آموزش استفاده می‌کنند، آن را به فروش می‌گذارند، آنها به جای لینک دادن به ما چکیده‌ برای جستجو ارائه می‌کنند.»

ردیت در حال مذاکره برای انعقاد قرارداد‌های مشابه با دیگر موتور‌های جستجو از جمله بینگ و شرکت‌های هوش مصنوعی مثل آنتروپیک و Perplexity است، اما به گفته ردیت این شرکت‌ها مایل نیستند از سیاست‌های محتوایی جدید پیروی کنند.

مایکروسافت می‌گوید این شرکت «به دستورالعمل‌های ارائه شده در وبسایت‌هایی که نمی‌خواهند محتوای صفحه‌هایشان در مدل‌های هوش مصنوعی ما استفاده احترام می‌گذارد.» به گفته این شرکت، بینگ از تاریخ یکم جولای و پس از آنکه ردیت فایل robots.txt خود را بروزرسانی و دسترسی تمام خزنده‌ها را ممنوع کرد، خزش در این وبسایت را متوقف کرده است.

Preplexity می‌گوید جواز محتوایی برای آموزش هوش مصنوعی خود ندارد و تنها از اطلاعات وبسایت‌های خبری و دیگر صفحات وب برای پاسخ به سوالات کاربران استفاده می‌کند. این شرکت در حال حاضر با نشریاتی مثل TIME، فورچن، WordPress.com و دیگر وبسایت‌ها قرارداد دارد. سخنگوی این شرکت می‌گوید از ردیت برای پیوستن به طرح ناشران دعوت کرده و همچنان امکان حضور آنها فراهم است.

آنتروپیک نیز می‌گوید به تغییرات جدید ردیت احترام می‌گذارد. سخنگوی آنتروپیک گفت: «ردیت از اواسط ماه مه در لیست سیاه خزش وب قرار گرفته است و ما از آن زمان هیچ URLی از ردیت را به خزنده خود اضافه نکرده‌ایم.»

با این حال شرکت اوپن‌ای‌آی، استارت‌آپ تحت حمایت مایکروسافت، در ماه مه قراردادی را با ردیت به امضا رساند که براساس آن نتایجی از ردیت را در چت‌بات ChatGPT نمایش می‌دهد. ردیت براساس آمار مربوط به ماه مه، قراردادهایی با ارزش جمعا ۲۰۳ میلیون دلار را برای دو سال آینده به امضا رسانده است.