موتورهای جستجوی مبتنی بر هوش مصنوعی ۹۶ درصد کمتر از گوگل ترافیک را به وب‌سایت‌ها ارجاع می‌دهند

به گزارش پیوست، این در حالی است که میزان خزش (scraping) داده‌ها از سوی توسعه‌دهندگان هوش مصنوعی در ماه‌های اخیر بیش از دو برابر شده است. این گزارش نشان می‌دهد که شرکت‌های هوش مصنوعی مانند اوپن‌ای‌آی، Perplexity، متا و دیگران در سه‌ماهه چهارم سال گذشته، به طور متوسط دو میلیون بار از وب‌سایت‌ها داده‌برداری کرده‌اند. این تحلیل که بر اساس داده‌های ۱۶۰ وب‌سایت از جمله رسانه‌های ملی و محلی، وبلاگ‌های فناوری و سایت‌های خرید انجام گرفته است، نشان می‌دهد که به طور متوسط، هر صفحه وب حدود هفت بار توسط این خزنده‌های داده مورد بررسی قرار گرفته است.

فشار روز افزون بر ناشران و تولیدکنندگان محتوا

این وضعیت فشار بیشتری بر ناشران و شرکت‌های تولیدکننده محتوا وارد کرده است. ناتان شولتز، مدیرعامل شرکت فناوری آموزشی Chegg، در تماس درآمدی اخیر خود به کاهش ویرانگر ترافیک اشاره می‌کند. او به سرمایه‌گذاران گفت کاهش ترافیک به حدی است که این شرکت گزینه‌هایی مانند خصوصی شدن یا فروش را در نظر دارد. او معتقد است که گوگل براساس قرارداد نانوشته‌ای با ناشران، کاربران را به سمت محتوای باکیفیت هدایت می‌کرد، اما اکنون این قرارداد شکسته شده است.

شرکت Chegg به تازگی طی شکایتی از گوگل مدعی شد که موتور جستجوی این شرکت بدون ارجاع مناسب، محتوای آن‌ها را خلاصه‌سازی و در اختیار کاربر می‌گذارد و در نتیجه کاربران نیازی به مراجعه به وب‌سایت اصلی ندارند. طبق اعلام این شرکت، ترافیک آنها در ژانویه ۲۰۲۵، نسبت به سال قبل، ۴۹ درصد کاهش یافته است، در حالی که این کاهش در سه‌ماهه دوم سال گذشته و زمانی که گوگل قابلیت خلاصه‌نویسی محتوا با هوش مصنوعی را معرفی کرد، تنها ۸ درصد بود.

ناتان شولتز در گفت‌وگو با  فوربز تاکید کرد: «وقتش رسیده که نه بگوییم.»

اقدام علیه شرکت‌های هوش مصنوعی

علاوه بر Chegg، تعداد دیگری از ناشران نیز علیه شرکت‌های بزرگ هوش مصنوعی دست به اقدام زده‌اند. نشریه‌هایی همچون نیویورک پست و داو جونز از Perplexity به دلیل نقض حق نسخه‌برداری و انتشار اطلاعات نادرستی که به رسانه‌های نسبت داده‌شده، شکایت کرده‌اند.

گروه دیگری از ناشران، از جمله Condé Nast، Vox و The Atlantic نیز با شکایت از شرکت هوش مصنوعی Cohere ، مدعی شدند که این شرکت از چهار هزار محتوای دارای حق نشر برای آموزش مدل‌های زبانی خود استفاده کرده است. این محتوا از طریق اینترنت استخراج شده‌اند.

با این شرکت‌های هوش مصنوعی در بسیاری از موارد ادعای ناشران را رد می‌کنند. گوگل شکایت Chegg را «بی‌اساس» خوانده و می‌گوید سیستم جستجوی هوش مصنوعی این شرکت، ترافیک را به طیف گسترده‌تری از وب‌سایت‌ها هدایت می‌کند.

چالش‌های فنی و اقتصادی ناشران

برخی شرکت‌های هوش مصنوعی از عامل‌های کاربری یاuser agents  خاص برای جمع‌آوری داده از اینترنت و وبسایت‌ها استفاده می‌کنند، اما در بسیاری از موارد، نوع خزنده‌‌ای که شرکت‌های هوش مصنوعی برای این کار استفاده می‌کنند، مشخص نیست. همچنین در مواردی همچون گوگل که ترافیک سنتی وب‌سایت‌ها وابسته به شرکت ارائه دهنده هوش مصنوعی است، مسدود کردن دسترسی خزنده این شرکت بسیاری دشوار است.

اولیویا جوسلین، یکی از بنیان‌گذاران TollBit، می‌گوید: «خیلی سخت است که ناشران بخواهند گوگل را مسدود کنند. این کار می‌تواند به سئوی آن‌ها آسیب بزند و ما نمی‌توانیم تشخیص دهیم که [هرکدام از] روبات‌های آنها دقیقا برای چه کاری هستند.»

در کنار غولی همچون گوگل که با توجه به هسته درآمدی خود به جزئی جدایی ناپذیر از اکوسیستم ناشران تبدیل شده است، شرکت‌های کوچک‌تر همچون استارت‌آپ ۹ میلیارد دلاری Preplexity نیز وجود دارند که از داده‌های ناشران استفاده می‌کنند. نحوه جمع‌آوری داده توسط شرکت‌های کوچک اما از شفافیت‌ کافی برخوردار نیست و حتی در صورتی که ناشر دسترسی آنها را قطع کند، به نظر آنها به استفاده از داده‌ها ادامه می‌دهند.

گزارش TollBit نشان می‌دهد حتی زمانی که برخی ناشران دسترسی Perplexity را به سایت خود مسدود کردند، این شرکت همچنان به ارسال ترافیک به آن‌ها ادامه می‌دهد. به عنوان مثال، یک ناشر که داده‌های وبسایتش ۵۰۰ مرتبه توسط Perplexity  مورد خزش قرار گرفته بود، پس از مسدود کردن دسترسی روبات این شرکت نیز بیش از ۱۰ هزار بازدید ارجاعی از این ابزار هوش مصنوعی دریافت کرده است که برخی آن را نشانه‌ای از خزش پنهان می‌دانند. توشیت پانیگراهی، مدیرعامل TollBit، می‌گوید این موضوع ممکن است نشان‌دهنده استفاده از خزنده‌های ناشناخته برای جمع‌آوری داده باشد. شرکت Perplexity می‌گوید تنها از «robots.txt» برای خزش استفاده می‌کند اما واکنشی به ادعای مطرح شده در این گزارش ارائه نکرد.

این شرکت سال گذشته نیز به دلیل خزش و بازنشر محتوای دارای حق نشر منابع مختلفی از جمله هدف نقد قرار گرفته. در این بین محتوای پولی رسانه‌هایی مانند فوربز، CNBC و بلومبرگ نیز به چشم می‌خورد. پس از انتشار گزارشی از فوربز در همین رابطه، مدیرعامل Perplexity، آراویند سرینیواس، در پاسخ گفت «نقص‌هایی» در قابلیت بازنشر این شرکت باعث این اتفاق شده است.

هزینه‌های سرسام‌آور برای ناشران

علاوه بر کاهش ترافیک و تهدیدهای قانونی، افزایش فعالیت خزنده‌های هوش مصنوعی، هزینه‌های سرور ناشران را نیز به طرز چشمگیری افزایش می‌دهد.

پانیگراهی در این رابطه می‌گوید: «ما شاهد افزایش چشمگیر روبات‌هایی هستیم که هربار کاربر سوالی دارد، این وبسایت‌های به رگبار می‌بندند. میزان تقاضا برای محتوای ناشر غیر معمول است.»

همچنین به گفته او هرچه بیشتر این روبات‌ها به وبسایت ناشران مراجعه کرده و در محتوای آنها خزش کنند، هزینه سرور‌ها نیز تا میلیون‌ها دلار افزایش می‌یابد. پانیگراهی می‌گوید شرتک‌هایی همچون اوپن‌ای‌آی و Perplexity عاملیت‌هایی را برای پژوهش عرضه کرده‌آند که به طور خودکار از صدها وبسایت بازدید می‌کند و گزارش عمیقی در اختیار کاربر قرار می‌دهد. در نتیجه شرایط از این هم بدتر خواهد شد.

پانیگراهی در ادامه افزود: «هوش مصنوعی شبیه به انسان‌ها مطالعه نمی‌کند. انسان‌ها روی یک لینک کلیک می‌کنند، روی لینک دوم کلیک می‌کنند و بی‌خیال می‌شوند. اما هوش مصنوعی برای رسیده به پاسخ ۱۰ تا ۲۰ لینک را بررسی می‌کند.»

چه آینده‌ای در انتظار ناشران است؟

همین مساله باعث شده تا برخی از ناشران به دنبال مدل‌های جدید درآمدی باشند. شرکت‌هایی مانند TollBit در همین راستا مدل‌هایی را برای کسب درآمد از خزنده‌های هوش مصنوعی ارائه داده‌اند. براساس این مدل درآمدی، شرکت‌های هوش مصنوعی در ازای خزیدن داده‌ها باید هزینه پرداخت کنند و این شرکت در حال حاضر با ۵۰۰ ناشر از جمله مجله TIME، Hearst و Adweek همکاری می‌کند.

در همین حال، برخی ناشران رویکرد دیگری را در پیش گرفته‌اند و به طور مستقیم با شرکت‌های هوش مصنوعی از جمله اوپن‌ای‌آی وارد مذاکره شده‌اند تا قراردادهایی را برای جواز استفاده از محتوا امضا کنند. برای مثال، ناشرانی همچون Associated Press، Axel Springer و Financial Times قراردادهایی را برای استفاده هوش مصنوعی از محتوای خود به امضا رسانده‌اند.

به طور کلی می‌توان گفت که موج جدید ابزارها و به ویژه موتورهای جستجوی هوش مصنوعی، رابطه بین شرکت‌های فناوری و ناشران را به شکل قابل توجهی تغییر داده است. به نظر می‌رسد که ترافیک ورودی از گوگل را دیگر نمی‌توان الگوی مناسبی برای درآمدزایی آینده در نظر گرفت و اکنون بسیاری از ناشران با کاهش شدید بازدید روبرو هستند و همچنین به دلیل فعالیت روز افزون روبات‌های خزنده، هزینه سرورها نیز رو به افزایش است.

با افزایش شکایات و فشارهای قانونی، این سؤال مطرح می‌شود که آیا شرکت‌های هوش مصنوعی در آینده به سمت مدل‌های اقتصادی مبتنی بر مجوز محتوا حرکت خواهند کرد، یا ناشران مجبور به تغییر استراتژی‌ یا حذف از بازار می‌شوند؟ از آنجایی که بسیاری از نام‌های بزرگ رسانه‌ای تا به اینجای کار برای انعقاد قرارداد و گاه فروش محتوای خود اقدام کرده‌اند، عجیب نیست اگر ضربه اصلی را شرکت‌های کوچک رسانه و روزنامه‌های محلی تحمل کنند.