تقطیر دانش، ترفندی برای تولید مدل‌های کم‌هزینه اما دردسری برای شرکت‌های پیشگام

به گزارش پیوست، پس از عرضه مدل R1 از شرکت دیپ‌سیک، توجه بسیاری به کاهش هزینه‌ها جلب شد و پس از یک وقفه کوتاه اوپن‌ای‌آی مدعی شد که دیپ‌سیک با تقطیر دانش مدل‌های این شرکت موفق به توسعه مدل‌های ارزان‌قیمت شده است. این ترفند که پس از موفقیت شرکت چینی بسیاری را شگفت‌زده کرد به شرکت‌ها اجازه می‌دهد تا مدل‌هایی را در مقیاس کوچکتر و کم‌هزینه‌تر توسعه دهند و در عین حال قابلیت‌های قدرتمند مدل‌های بزرگ را حفظ کنند.

در فرآیند تقطیر دانش، یک مدل بزرگ زبانی در نقش آموزگار (Teacher Model) داده‌هایی را تولید می‌کند که سپس برای آموزش یک مدل کوچک‌تر در نقش دانش‌آموز (Student Model) مورد استفاده قرار می‌گیرد. نتیجه این کار، مدل‌هایی است که سرعت پردازش بالاتر و هزینه‌ی کمتری دارند، در حالی که در برخی کاربردهای خاص همچنان عملکرد قابل‌توجهی از خود نشان می‌دهند.

اولیویه گودمان، مدیر محصول اوپن‌ای‌آی، این روش را «جادویی» توصیف کرده و مدعی است این ترفند می‌تواند مدل‌های بسیار هوشمند و کم‌هزینه‌ای را برای کاربردهای خاص ایجاد کند.

گزارشی از فایننشال تایمز می‌گوید شرکت‌های بزرگ آمریکایی که پیش از این روی توسعه و بزرگتر کردن مدل‌های خود تمرکز داشتند، به استفاده از این ترفند روی آورده‌اند اما در عین حال نگران سو استفاده دیگر شرکت‌ها از زیرساختی هستند که گاه میلیارد‌ها دلار برای پیشگامان توسعه دهنده مدل‌های هوش مصنوعی هزینه می‌برد. تقطیر دانش برای کاهش هزینه‌های پردازش و افزایش دسترسی به مدل‌های پیشرفته، به خصوص روی دستگاه‌های شخصی مانند لپ‌تاپ‌ها و گوشی‌های هوشمند، بسیار مؤثر است.

البته که استفاده از این ترفند چندان هم تازه نیست. پیش از این شرکت‌هایی مانند مایکروسافت با استفاده از این ترفند، مدل‌های سبک‌تری مانند Phi را بر اساس مدل‌های اوپن‌ای‌آی توسعه داده‌اند. اما اوپن‌ای‌آی ادعا کرده است که دیپ‌سیک از همین روش برای تقطیر دانش مدل‌های این شرکت استفاده کرده و بدون اجازه، مدل رقیب خود را آموزش داده است و این مساله با شروط استفاده از مدل‌ها و قوانین این شرکت در تضاد است.

با وجود تمام مزایای این فناوری، تقطیر دانش یک چالش اساسی برای مدل‌های بزرگ‌تر ایجاد می‌کند. احمد عواد‌الله از مایکروسافت ریسرچ هشدار داده است که کوچک کردن مدل‌ها به ناچار باعث کاهش قابلیت‌های آن‌ها می‌شود. به عنوان مثال، ممکن است یک مدل دیستیل شده برای خلاصه‌سازی ایمیل‌ها عالی باشد، اما در سایر وظایف عملکرد قابل قبولی نداشته باشد. با این حال، دیوید کاکس، معاون بخش هوش مصنوعی شرکت IBM، معتقد است که برای بسیاری از کاربردهای تجاری مانند چت‌بات‌های خدمات مشتریان یا مدل‌های پردازش زبان روی موبایل، مدل‌های کوچک‌تر کفایت می‌کنند و هزینه‌ی راه‌اندازی آن‌ها به شدت کاهش می‌یابد.

با این حال این چالش اقتصادی باعث شده که شرکت‌های پیشرو در هوش مصنوعی به دنبال راه‌هایی برای جلوگیری از تقطیر دانش غیرمجاز باشند. اوپن‌ای‌آی برای شناسایی و مسدود کردن کاربران مشکوک که داده‌های زیادی تولید کرده و به احتمال زیاد برای آموزش مدل‌های رقبا از آن استفاده می‌کنند، تیم‌های نظارتی خود را گسترش داده است. با این حال دوی کیلای، مدیرعامل شرکت هوش مصنوعی Contextual AI، می‌گوید جلوگیری کامل از تقطیر دانش تقریبا غیرممکن است واوپن‌ای‌آی از مدت‌ها پیش با این مشکل دست‌وپنجه نرم می‌کند.

از سوی دیگر، این فناوری به نفع طرفداران مدل‌های متن‌باز نیز تمام شده است. شرکت دیپ‌سیک پس از استفاده از مدل‌های متا و علی‌بابا، مدل‌های خود را نیز به‌صورت متن‌باز منتشر کرده است. یان لکان، مدیر ارشد علمی هوش مصنوعی شرکت متا، تاکید کرده است که تقطیر دانش به توسعه سریع‌تر این فناوری کمک می‌کند و به دیگران اجازه می‌دهد از پیشرفت‌های علمی در این زمینه بهره ببرند. اما این امر سوالاتی در مورد مزیت «پیش‌گام بودن» در توسعه مدل‌های هوش مصنوعی ایجاد می‌کند، زیرا شرکت‌ها می‌توانند میلیاردها دلار برای توسعه مدل‌های جدید خرج کنند، اما رقبا به سرعت با استفاده از تقطیر دانش مدل‌های ضعیف‌تر خود را به صورتی کم‌هزینه به روز کنند و به رقیبی توانمند برای شرکت پیش‌گام تبدیل شوند.

در دنیایی که هوش مصنوعی با سرعتی بی‌سابقه در حال پیشرفت است، شرکت‌های بزرگ فناوری اکنون باید میان حفاظت از سرمایه‌گذاری‌های کلان خود و پذیرش واقعیت رشد سریع رقابت تعادل برقرار کنند. تقطیر دانش بدون شک تاثیر بزرگی بر آینده‌ی این صنعت خواهد گذاشت و استراتژی شرکت‌ها در مقابل این فناوری می‌تواند تعیین‌کننده‌ی جایگاه آن‌ها در آینده‌ی هوش مصنوعی باشد.