هوش مصنوعی طلای المپیاد ریاضی می‌گیرد ولی ساعت را اشتباه می‌خواند

به گزارش پیوست، وقتی ایران پشت دیوار خاموشی اینترنت قرار داشت یکی از مهمترین گزارش‌ها در مورد وضعیت فعلی هوش مصنوعی در جهان توسط دانشگاه استنفورد منتشر شد که تناقض‌های عجیبی در مورد عملکرد مدل‌های هوش مصنوعی را برجسته می‌کرد. در همین زمینه سوال‌ها و تردیدهای جدی مطرح شده اینکه آیا مدل‌های جدید واقعا استدلال می‌کنند یا صرفا در بازتولید الگوهای پیچیده آماری به سطحی رسیده‌اند که شبیه استدلال به نظر می‌رسد؟

ممکن است این بحث‌ها در نگاه اول موضوعی تخصصی به نظر برسد اما نشان می‌دهند هوش مصنوعی را نباید مانند یک انسان متخصص، یکپارچه دید. باید آن را مجموعه‌ای از توانایی‌های ناهموار دانست. بسیار قدرتمند در برخی مسیرها اما شکننده در برخی مسیرهای دیگر.

آیا مدل‌ها واقعا فکر می‌کنند؟

از زمان ظهور مدل‌های موسوم به مدل‌های استدلال‌گر، یعنی مدل‌هایی مانند o3، جمنای ۲.۵، کلاد اپوس و مدل‌های مشابه، بحث درباره ماهیت استدلال در هوش مصنوعی شدت گرفته است. این مدل‌ها پیش از ارائه پاسخ نهایی، زمان بیشتری صرف محاسبه، بررسی مسیرهای مختلف و حل چندمرحله‌ای مساله می‌کنند. در ظاهر، این رفتار به فرایند تفکر انسانی نزدیک‌تر است. اما پژوهش‌های جدید نشان می‌دهد که نباید میان نمایش استدلال و استدلال قابل اتکا به سرعت علامت مساوی گذاشت.

پژوهشگران اپل در مطالعه‌ای با عنوان The Illusion of Thinking تلاش کردند توانایی مدل‌های استدلالی را در محیط‌های کنترل‌شده بسنجند. آنها به جای اتکا به بنچمارک‌های مشهور ریاضی و کدنویسی، از پازل‌هایی استفاده کردند که پیچیدگی آنها قابل تنظیم بود و خطر آلودگی داده در آنها کمتر به نظر می‌رسید. نتیجه مطالعه بسیار قابل بحث است، مدل‌های استدلالی در سطح متوسط پیچیدگی بهتر از مدل‌های عادی عمل می‌کردند، اما با افزایش پیچیدگی، دچار فروپاشی کامل دقت می‌شدند. حتی عجیب‌تر اینکه در برخی موارد، با سخت‌تر شدن مساله، میزان تلاش مدل کاهش می‌یافت یعنی سیستم به جای ادامه استدلال، مسیر را رها می‌کرد.

این یافته‌ها به معنای بی‌ارزش بودن مدل‌های استدلالی نیست. برعکس، نشان می‌دهد این مدل‌ها واقعا در برخی سطوح مزیت دارند. اما مرز این مزیت هنوز شکننده است. آنها می‌توانند در بسیاری از مسائل ساختاریافته عملکردی چشمگیر داشته باشند، اما وقتی با ترکیبی از پیچیدگی، محدودیت‌های تازه و نیاز به تعمیم واقعی روبه‌رو می‌شوند، رفتارشان پایدار و انسانی نیست.

مرز دندانه‌دار هوش مصنوعی

گزارش دانشگاه استنفورد برای توضیح وضعیت مدل‌های هوش مصنوعی از مفهومی به نام «مرز دندانه‌دار» استفاده می‌کند که در سال‌های اخیر میان پژوهشگران رواج یافته است. منظور این است که توانایی‌های مدل‌ها مانند یک خط صاف و پیوسته رشد نمی‌کند. آنها در برخی وظایف به سرعت از سطح انسان عبور می‌کنند، اما در برخی وظایف دیگر عقب می‌مانند. گاهی به شکلی که از نگاه انسان غیرمنتظره یا حتی مضحک به نظر می‌رسد.

نمونه مشهور این تناقض، خواندن ساعت عقربه‌ای است. طبق گزارش AI Index، در حالی که Gemini Deep Think توانسته به سطح مدال طلای المپیاد ریاضی برسد، بهترین مدل‌ها در خواندن ساعت آنالوگ تنها حدود نیمی از موارد را درست پاسخ داده‌اند. این شکاف، مساله‌ای عمیق‌تر از یک خطای تصویری ساده را نشان می‌دهد. مدل می‌تواند در فضای نمادین ریاضیات عملکردی چشمگیر داشته باشد، اما در یک وظیفه بصری-فضایی روزمره دچار خطا شود.

این فقط درباره ساعت نیست. مدل‌های زبانی و چندوجهی هنوز در شمارش اشیا، تشخیص دقیق روابط فضایی، دنبال کردن محدودیت‌های ساده در برخی پازل‌ها، و پرهیز از تولید اطلاعات نادرست مشکل دارند. در بسیاری از موارد، آنها پاسخ‌هایی تولید می‌کنند که از نظر زبانی منسجم و حتی قانع‌کننده‌اند، اما از نظر واقعیت یا منطق نادرست‌اند. همین پدیده است که با عنوان Hallucination یا «توهم» شناخته می‌شود.

توهم در مدل‌های هوش مصنوعی فقط یک خطای فنی نیست مساله‌ای شناختی است. وقتی یک مدل با اعتمادبه‌نفس به مقاله‌ای جعلی ارجاع می‌دهد، نقل‌قولی ناموجود می‌سازد یا در تحلیل یک تصویر ساده اشتباه می‌کند، پرسش اصلی این نیست که «چرا یک بار خطا کرد؟» پرسش مهم‌تر این است که چگونه می‌توان به سیستمی اعتماد کرد که در برخی حوزه‌ها از متخصص انسانی پیشی می‌گیرد و در برخی حوزه‌ها نشانه‌های ساده فهم را از دست می‌دهد؟

جهشی که بنچمارک‌ها را پشت سر گذاشت

در گزارش استنفورد آمده است که عملکرد مدل‌ها در چندین بنچمارک پیشرفته به سطح انسان نزدیک شده یا از آن عبور کرده است. در آزمون‌های علمی سطح دکتری، استدلال چندوجهی و ریاضیات رقابتی، مدل‌های مرزی در برخی حوزه‌ها به رقیب جدی متخصصان انسانی تبدیل شده‌اند. در حوزه برنامه‌نویسی نیز جهش بسیار سریع بوده است. عملکرد مدل‌ها در بنچمارکی که مسائل واقعی نرم‌افزاری استخراج‌شده از گیت‌هاب را می‌سنجد (SWE-bench Verified) در یک سال از حدود ۶۰ درصد به نزدیکی خط پایه انسانی رسید.

هم‌زمان، عامل‌های هوش مصنوعی یا ایجنت‌ها نیز از مرحله نمایش‌های محدود عبور کرده‌اند. این سیستم‌ها دیگر فقط پاسخ تولید نمی‌کنند می‌توانند محیط نرم‌افزاری را ببینند، دستور اجرا کنند، فایل بسازند، کد را تغییر دهند و خروجی را آزمایش کنند. در بنچمارکی که توانایی مدل‌ها را در انجام وظایف واقعی روی سیستم‌عامل‌ها می‌سنجد (OSWorld) نرخ موفقیت عامل‌ها از حدود ۱۲ درصد به نزدیک ۶۶ درصد رسید. این عدد هنوز به معنای اتوماسیون کامل کارهای دیجیتال نیست، اما نشان می‌دهد فاصله میان چت‌بات و همکار نرم‌افزاری با سرعتی زیاد در حال کم شدن است.

نمادین‌ترین نمونه این جهش، عملکرد Gemini Deep Think در المپیاد جهانی ریاضی ۲۰۲۵ بود. گوگل دیپ‌مایند اعلام کرد نسخه پیشرفته‌ای از جمنای توانسته پنج مساله از شش مساله IMO را به طور کامل حل کند و با کسب ۳۵ امتیاز از ۴۲ امتیاز، به سطح مدال طلای المپیاد برسد. اهمیت این دستاورد فقط در حل چند چالش سخت نبود. موضوع این بود که مدل توانسته بود برخلاف سیستم‌های قبلی، مستقیما با ترکیب طبیعی مسائل کار کند و راه‌حل‌هایی ارائه دهد که داوران رسمی المپیاد آنها را ارزیابی کردند.

آزمون‌هایی که دیگر کافی نیستند

یکی از مشکلات بزرگ امروز این است که خود بنچمارک‌ها در حال فرسوده شدن‌ هستند. برای حل این مشکل، آزمون‌هایی مانند ARC Prize و ARC-AGI اهمیت بیشتری پیدا کرده‌اند. نکته مهم در ARC این است که فقط حل مساله کافی نیست هزینه حل مساله نیز مهم است. اگر یک مدل بتواند با مصرف عظیم محاسباتی مساله‌ای را حل کند، این الزاما نشانه هوش کارآمد نیست.

در همین زمینه، برخی پژوهش‌های جدید نشان می‌دهند که راه رسیدن به عملکردهای بالا فقط ساخت مدل بزرگ‌تر نیست. مقاله‌ای درباره حل مسائل المپیاد ریاضی در سال ۲۰۲۵ نشان داد که با یک مسیر «راستی‌آزمایی و اصلاح» می‌توان عملکرد مدل‌هایی مانند جمنای 2.5 پرو، گروک 4 و GPT-5 را به شکل چشمگیری افزایش داد. این نتیجه نشان می‌دهد بخشی از جهش فعلی نه فقط از خود مدل‌ها، بلکه از روش‌های استفاده از مدل‌ها می‌آید. به عبارت دیگر، آینده هوش مصنوعی احتمالا فقط رقابت بر سر مدل بزرگ‌تر نیست، رقابت بر سر معماری‌های ارزیابی، اصلاح، ابزاردهی و ترکیب مدل‌ها نیز هست.

هوشی که هنوز سازوکارش را کامل نمی‌فهمیم

شرکت‌ها و آزمایشگاه‌ها می‌توانند مدل‌هایی بسازند که در آزمون‌های دشوار عملکردی خیره‌کننده دارند. اما توضیح دقیق اینکه این مدل‌ها چه زمانی واقعا تعمیم می‌دهند، چه زمانی صرفا الگوهای آموخته‌شده را بازترکیب می‌کنند و چه زمانی با اعتمادبه‌نفس اشتباه می‌کنند، هنوز یکی از مسائل باز پژوهش است.

این تناقض ضعف حاشیه‌ای فناوری نیست بلکه دقیقا ماهیت مرحله فعلی هوش مصنوعی است.

ما با سیستمی روبه‌رو هستیم که بی‌تردید قدرتمندتر شده، اما هنوز به معنای انسانی کلمه قابل فهم، قابل پیش‌بینی و قابل اعتماد نیست. و شاید پرسش اصلی عصر هوش مصنوعی دقیقا همین باشد: نه اینکه آیا ماشین‌ها باهوش شده‌اند، بلکه اینکه آیا ما می‌فهمیم این هوش چگونه کار می‌کند؟