برای جدیدترین مدل هوش‌مصنوعی گوگل پنج برابر نسل قبلی داده متنی به کار رفته است

مدل‌های زبانی بزرگ که هسته هوشمند چت‌بات‌ها را تشکیل می‌دهند با تجزیه و تحلیل حجم زیادی اطلاعات، متونی انسان‌مانند تولید می‌کنند. این مدل‌های زبانی در واقع از طریق مقایسه و پیش‌بینی، محتوای خود را تولید می‌کنند و هرچه داده‌های آموزشی آنها بیشتر باشد، بازدهی بیشتری هم دارند.

مستندات داخلی گوگل که به رویت CNBC رسیده نشان می‌دهد PaLM2، جدیدترین مدل بزرگ زبانی (LLM) گوگل که هفته گذشته و در مراسم گوگل IO 2023 معرفی شد با ۳.۶ هزار میلیارد توکن آموزش دیده است. توکن به معنی زنجیره‌‌ای از کلمات است و پایه و اساس آموزش LLMها محسوب می‌شود. مدل‌های زبانی براساس همین توکن‌ها کلمه بعدی جملات را پیش‌بینی می‌کنند. نسخه قبلی PaLM که در سال ۲۰۲۲ منتشر شد با ۷۸۰ میلیارد توکن آموزش دیده بود.

با وجود اشتیاق گوگل در به رخ کشیدن قدرت هوش مصنوعی و کاربرد آن در جست‌وجو، ایمیل، پردازش کلمات و صفحات گسترده، این شرکت، اطلاعاتی در مورد مقیاس و جزئیات داده‌های آموزشی ارائه نکرده است. اوپن‌ای آی، سازنده ChatGTP که از پشتوانه مایکروسافت برخودار است نیز اینگونه اطلاعات GPT-4، تازه‌ترین مدل زبانی خود را مخفی نگه داشته است.

به گفته آنها افشا نکردن اطلاعات، به دلیل ماهیت رقابتی این صنعت است. گوگل و اوپن‌ای‌آی هر دو برای جذب مخاطبانی که چت‌بات را به موتورهای جست‌وجو ترجیح می‌دهند با یکدیگر در رقابت هستند. ChatGPT با جذب ۱۰ میلیون کاربر فعال تنها در ۴۰ روز رکورد شکنی کرده است.

اما رقابت هوش مصنوعی به حدی داغ شده است که جامعه تحقیقاتی خواستار شفافیت بیشتری در همین باره است.

گوگل پس از رونمایی از PaLM2 گفت:« این مدل کوچکتر از LLMهای قبلی است و از آنجایی که تکنولوژی این شرکت وظایف پیچیده‌تری را انجام می‌دهد و در عین حال بازدهی بیشتری دارد و این موضوع از اهمیت بالایی برخوردار است.» براساس مستندات داخلی گوگل، PaLM2 براساس ۳۴۰ میلیارد پارامتر آموزش دیده که نشان دهنده پیچیدگی این مدل است. اولین PaLM  براساس ۵۴۰ میلیارد پارامتر آموزش دیده بود.

گوگل در یک پست وبلاگی درمورد PaLM2 گفت که این مدل از «تکنیک جدیدی» به نام «پیمایش رایانش‌-بهینه» (Compute-optimal scaling) استفاده می‌کند و در نتیجه بازدهی بیشتر و عملکرد کلی بهتری دارد که شامل استنباط سریع‌تر، به کاربردن پارامترهای کمتر و هزینه پایین خواهد بود.

گوگل در مراسم IO 2023 گزارش‌های پیشین مبنی بر آموزش این مدل براساس ۱۰۰ زبان و انجام وظایف متعدد را تایید کرد. این مدل زبانی در حال حاضر برای ۲۵ قابلیت و محصول این شرکت از جمله چت‌بات آزمایشی بارد استفاده می‌شود و در چهار اندازه Gecko، Otter، Bison و Unicorn (به ترتیب از کوچک به بزرگ) قابل دسترسی است.

براساس اطلاعاتی که به صورت عمومی منتشر شده PaLM 2 قدرتمندتر از تمامی مدل‌های موجود فعلی است. متا (فیسبوک سابق) هم در ماه فوریه از مدل زبانی بزرگ LLaMA رونمایی کرد که با ۱.۴ هزار میلیارد توکن آموزش دیده است. آخرین باری که اوپن‌ای‌آی آماری از مقیاس نمونه آموزش ChatGPT ارائه کرد نیز به GPT-3 برمی‌گردد که با حدود ۳۰۰ میلیارد توکن آموزش دیده بود. این شرکت در ماه مارس از GPT-4، جدیدترین مدل زبانی خود، رونمایی کرد که در بسیاری از آزمون‌های حرفه‌ای، عملکردی مشابه انسان دارد.

LaMDA، مدل زبانی بزرگ که مختص مکالمه است، دو سال پیش از سوی گوگل معرفی شد. این مدل زبانی با ۱.۵ هزار میلیارد توکن آموزش دیده است.

هرچه کاربردهای هوش مصنوعی برای عموم بیشتر می‌شود، جنجال‌های مربوط به تکنولوژی زیرساختی آن نیز افزایش می‌یابد.

المهدی المحمدی، محقق ارشد تحقیقات گوگل، در ماه فوریه و به دلیل نبود شفافیت کافی از این شرکت جدا شد. سم آلتمن نیز به تازگی در اولین حضورش مقابل کنگره آمریکا با لزوم قوانین بیشتر هوش مصنوعی موافقت کرد.