چرا جستجوی هوش مصنوعی گوگل اشتباه می‌کند؟ آیا مشکل حل شدنی است؟

به گزارش پیوست، سخنگوی گوگل اعلام کرده است که دلیل پاسخ اشتباه در بسیاری از موارد به نبود اطلاعات کافی در اینترنت بازمی‌گردد. غول جستجو در حال تلاش برای رفع این مشکل است.

هدف از عرضه جستجو با هوش مصنوعی این بود که «گوگل به جای شما گوگل کند.» این قابلیت جدید که AI Overviews نام دارد یک چکیده کوتاه با اطلاعات کلیدی و لینک‌هایی به منابع ارائه می‌کند.

وقتی کاربر سوالی را به موتور جستجو ارائه می‌کند، این پرسش در مستنداتی که منابع سیستم محسوب می‌شوند جستجو شده و پاسخی برای آن تولید می‌شود. از آنجایی که سیستم می‌تواند پرسش اولیه را به بخش‌های خاصی از صفحات اینترنت نسبت دهد، در نتیجه منابعی هم برای آن ارائه می‌شود که در حالت عادی از یک مدل زبانی معمولی ساخته نیست.

این کار از طریق تکنیکی به نام RAG یا تولید تکمیل شده با بازپس‌گیری انجام می‌شود که در واقع با بررسی منابع خارج از داده‌های آموزشی، اطلاعاتی به روز و بهتر ارائه می‌کند.

یکی از مزایای اصلی RAG این است که پاسخ‌ها به روز‌تر، مرتبط‌تر و دقیق‌تر هستند. این ترفند معمولا برای جلوگیری از پدیده «توهم» مدل‌های زبانی استفاده می شود.

چرا همچنان شاهد پاسخ‌های اشتباه هستیم؟

ترفند RAG بی‌نقص نیست. برای اینکه LLM با استفاده از RAG پاسخ مناسبی ارائه کند، باید اطلاعات درستی را استخراج کرده و پاسخ صحیحی تولید کند. پاسخ نامناسب معمولا ماحصل اشتباه در یک یا هردو بخش این فرایند ارائه می‌شود.

برای مثال در موردی که بخش جستجوی گوگل دستور ساخت پیتزا را همراه با چسب ارائه کرده بود احتمالا پست مربوطه که از یک جوک در ردیت استخراج شده بود با پرسش کاربر ارتباط داشت اما در فرایند بازپس‌گیری اشتباهی رخ داده است.

چیراگ شاه، استاد دانشگاه واشنگتن که در حوزه جستجوی آنلاین تخصص دارد می‌گوید: «فقط به این دلیل که چیزی مرتبط است دلیل بر درستی آن نیست و بخش مولد فرایند این مساله را زیر سوال نمی‌برد.»

همچنین اگر سیستم RAG با اطلاعاتی متناقض، مثل یک دستور کار در مقایسه با نسخه به روز شده‌ آن، مواجه شود قادر به انتخاب بین این دو منبع نیست. در عوض این سیستم اطلاعات هردو را ترکیب کرده و پاسخی ارائه می‌کند که احتمال اشتباه در آن وجود دارد.

سوزان وربرن، استاد دانشگاه Leiden و متخصص پردازش زبان طبیعی، می‌گوید: «مدل بزرگ زبانی براساس منابع اراسه شده یک بیان روان تولید می‌کند اما بیان روان با اطلاعات صحیح متفاوت است.»

هرچه پرسش جزئی‌تر باشد،‌ احتمال اطلاعات نادرست در خروجی مدل زبانی بیشتر می‌شود و «این مساله در حوزه پزشکی،‌ آموزش و علوم مشکل‌ساز است.»

سخنگوی گوگل می‌گوید در بسیاری از AI Overviews به این دلیل پاسخ اشتباهی ارائه می‌کند که اطلاعات با کیفیت چندانی در اینترنت وجود ندارد یا اینکه پرسش کاربر بیشتر با سایت‌های شوخی یا پست‌های خنده‌دار همخوانی دارد.

مشکل ارتباطی با کیفیت داده‌های آموزشی ندارد

با اینکه پیتزا همراه با چسب مثال درستی از اتکا به منابع نامعتبر بود اما این سیستم می‌تواند با منابع درست هم اطلاعات غلط ارائه کند. ملانی میشل، پژوهشگر هوش مصنوعی در موسسه Santa Fe در نیو مکزیکو، جمله «ایالات متحده چند رئیس‌جمهور مسلمان داشته است؟» را جستجو کرده بود که AI Overviews در پاسخ گفت : «ایالات متحده یک رئیس‌جمهور مسلمان داشته است، باراک حسین اوباما.»

با اینکه اوباما مسلمان نیست اما گوگل پاسخ اشتباه خود را از کتابی با عنوان باراک حسین اوباما: اولین رئیس جمهور مسلمان آمریکا؟ استخراج کرده است. در این مورد هوش مصنوعی هدف اصلی این کتاب را نادیده گرفته و برداشت عکس داشته است. میشل می‌گوید: «در اینجا چند مشکل برای هوش مصنوعی وجود دارد؛ یکی پیدا کردن منبع مناسبی که شوخی نباشد، اما دیگر تفسیر درست از گفته منبع است. تمام سیستم‌های هوش مصنوعی در این بخش مشکل دارند و باید بگوییم که حتی در صورت دسترسی به منبع درست هم احتمال اشتباه وجود دارد.»

آیا می‌توان مشکل را برطرف کرد؟

تا زمانی که سیستم‌های هوش مصنوعی از احتمالات برای تولید پاسخ خود اشتباه می‌کنند، اعتبار کامل آنها ممکن نیست و خطر توهم همواره در کمین است و در حالی که AI Overviews احتمالا تا حدی اصلاح می‌شود اما دقت ۱۰۰ درصدی هیچگاه ممکن نیست.

گوگل می‌گوید برای پرسش‌هایی که AI Overviews چندان مفید نبوده محدودیت‌هایی را در نظر می‌گیرد و اصلاحاتی را برای حوزه سلامت و درمان در نظر خواهد گرفت. این شرکت گامی را به فرایند باز‌پس‌گیری اطلاعات در نظر گرفته تا جستجوی خطرناک نشانه‌گذاری شود و سیستم در این موارد پاسخی ارائه نکند. شرکت قصد ندارد برای موضوعات بزرگسال یا خطرناک پاسخ‌های هوش مصنوعی ارائه کند.

ترفندی مثل یادگیری از بازخورد انسانی هم می‌توانند کیفیت پاسخ‌ّا را افزایش دهند.

همچنین می‌توان LLM‌ها را به طور خاص برای شناسایی مواردی آموزش داد که سوالی قابل پاسخ نیست و بهتر است کیفیت مستند منبع پیش از تولید پاسخ ارزیابی شود.