بن‌بست اوپن‌ای‌آی در توسعه نسل بعدی مدل‌های زبان: مسیری که به مدل‌های استدلال محور رسید

به گزارش پیوست، افراد مطلع به وال‌استریت ژورنال می‌گویند از آغاز این پروژه بیش از ۱۸ ماه می‌گذرد و قرار بود توسعه نسل جدید مدل‌های زبانی،‌ پیشرفت بزرگی را در زیرساخت ChatGPT رقم بزند. در حالی که مایکروسافت، بزرگترین سرمایه‌گذار اوپن‌ای‌آی، در میانه سال ۲۰۲۴ منتظر توسعه مدل جدید بوده است اما به نظر تلاش‌های اوپن‌ای‌آی به بن‌بست خورده‌اند.

سم آلتمن، مدیرعامل اوپن‌ای‌آی، و شرکتش در نوامبر ۲۰۲۲ با عرضه ChatGPT جهان فناوری را به طور کامل دگرگون کردند و موجی از نوآوری‌ها را در دو سال گذشته تجربه کرده‌ایم.

زیرساخت این چت‌بات محبوب را مدل‌های زبانی تشکیل می‌دهند و این مدل‌ها برای توسعه و پیشرفت به مقدار زیادی داده نیاز دارند. اولین مدل‌های این شرکت (پیش از عرضه ChatGPT) تنها با چند میلیون پارامتر آموزش دیده‌ بودند اما طی چند سال، تعداد پارامتر‌های آموزشی این مدل‌ها به شکل تصاعدی افزایش یافت به گونه‌ای که تعداد پارامتر‌ها از ۱۱۷ میلیون در GPT-1 به ۱۷۵ میلیارد پارامتر در GPT-3 رسید.

اوپن‌ای‌آی در مارس ۲۰۲۳ جدیدترین مدل زبانی خود را با نام GPT-4 منتشر کرد و از همان تاریخ در حال کار روی مدل بعدی با نام GPT-5 است.

مدل‌های زبانی همچنین علاوه بر مقدار زیادی داده، به زیرساخت گسترده‌ای برای آموزش نیاز دارند و به طور کلی هزینه سرسام آوری برای استارت‌آپ‌های هوش مصنوعی دارند.

با اینکه به گفته آلتمن، آموزش مدل GPT-4 چیزی حدود ۱۰۰ میلیون دلار برای این استارت‌آپ هزینه داشت، انتظار می‌رود که هزینه آموزش برای مدل‌های آینده از یک میلیارد دلار عبور کند و بنابراین شکست اوپن‌ای‌آی در این مسیر با اتلاف هزینه چشمگیری همراه است.

وال‌استریت ژورنال می‌گوید اوپن‌ای‌آی از اواسط سال ۲۰۲۳ برای آموزش مدل بعدی خود آماده شده است اما از آنجایی که فرایند آموزش مدل بعدی بسیار زمان‌بر و هزینه‌بر است، تلاش‌های این شرکت طبق برنامه پیش نرفته است.

پژوهشگران اوپن‌ای‌آی سعی کردند تا با یک سری تغییرات فنی پروژه اوریون را تقویت کنند اما در نهایت به این نتیجه رسیدند که به داده‌های متنوع و با کیفیت‌تری برای آموزش مدل جدید نیاز است و چنین داده‌هایی در محیط عمومی اینترنت یافت نمی‌شود.

شاید همین مساله باعث شده است که اوپن‌ای‌آی به تازگی با چندین ناشر بزرگ برای استفاده از داده‌های آنها در روند آموزش‌ و پاسخ‌های ChatGPT قرارداد منعقد کند.

طبق گفته وال‌استریت ژورنال، اوپن‌ای‌آی برای رفع این مشکل حتی به توسعه داده‌های مصنوعی یا داده‌های ساخته هوش مصنوعی برای آموزش اوریون روی آورده است. تحقیقات نشان داده است که چرخه تولید داده توسط هوش مصنوعی برای استفاده در روند آموزش هوش مصنوعی ممکن است به عملکرد نادرست و پاسخ‌‌های نامفهوم منتهی شود.

مسیری که به مدل‌های استدلال محور منتهی شد

با اینکه اوپن‌ای‌آی بیش از یک سال است که مدل زبانی جدیدی را معرفی نکرده است اما این شرکت در حوزه دیگری مشغول پیشروی است.

این استارت‌آپ به تازگی از مدل متفاوتی به نام o1 و پس از آن o3 رونمایی کرد که عملکرد متفاوتی نسبت به مدل‌های پیشین این شرکت دارند.

این مدل‌های استدلال محور، پیش از پاسخ به درخواست کاربران فرایندی شبیه به فکر کردن را پشت سر می‌گذارند و پس از پشت سر گذاشتن چند مرحله که به کمی زمان نیاز دارد، پاسخ عمیق‌تری در اختیار کاربر می‌گذارند که به گفته اوپن‌ای‌آی برای موضوعاتی مثل برنامه‌ریزی و حل مشکلات پیچیده مناسب است.

مدل‌های استدلال محور در پشت زمینه چندین پاسخ برای یک سوال ارائه می‌کنند و سپس برای انتخاب بهترین گزینه این پاسخ‌ها را تجزیه‌تحلیل می‌کنند. این مدل‌ها عملکرد بهتری در وظایف پیچیده مثل برنامه‌ریزی تجاری یا ساخت یک پازل حروف دارند.

پژوهشگران اوپن‌ای‌آی سعی دارند که با این دسته از مدل‌های استدلال محور مشکل داده‌های مصنوعی را برطرف کنند.

با این حال پژوهشگران اپل پیش از این مقاله‌ای را منتشر کرده‌اند که مدعی است مدل‌های استدلال محور از جمله o1،‌ بیشتر از اینکه استدلال واقعی داشته باشند، در واقع الگوهای موجود در داده‌های حقیقی را تقلید می‌کنند.

اوپن‌ای‌آی چند روز پیش از نسخه جدیدی به نام o3 نیز برای مدل‌های استدلال محور خود رونمایی کرد. براساس گزارش وال‌استریت ژورنال، این مدل‌های استدلال‌محور قرار است پیش‌نیاز لازم برای توسعه مدل‌ زبانی بعدی یا پروژه اوریون را فراهم کنند. با این حال اوپن‌ای‌آی هنوز اشاره‌ای به نسل بعدی مدل زبانی خود یا GPT-5 نکرده است و مشخص نیست که بن‌بست مدل‌های زبانی این شرکت چه زمانی برطرف خواهد شد.