ناشی اما ویرانگر؛ جزئیات تازه از نخستین حمله خودمختار ChatGPT

به گزارش بی‌بی‌سی، پیش از این تصور می‌شد هاگینگ‌فیس (Hugging Face) تنها قربانی این حمله بی‌سابقه بوده است؛ اما اوپن‌ای‌آی اکنون اذعان کرده که ربات آن به چندین «سرویس عمومی» (public services) نیز حمله کرده است.

این هوش مصنوعی که از کنترل خارج شده بود، چهار اطلاعات ورود (Login) را که به‌صورت عمومی در اینترنت منتشر شده بودند پیدا کرد و از آنها برای دسترسی به چهار سرویس مجزای دیگر استفاده کرد؛ سرویس‌هایی که نام آنها هنوز اعلام نشده است.

در همین حال، هاگینگ‌فیس در یک نشست اضطراری با حضور صدها متخصص امنیت سایبری شرح داده است که هدف نخستین حمله کاملاً خودمختار یک هوش مصنوعی قرار گرفتن چه تجربه‌ای بوده است.

این شرکت توضیح داد عامل هوش مصنوعی با سرعتی فراتر از توان انسان عمل می‌کرد، اما در عین حال تصمیم‌های عجیب و اشتباه‌هایی مرتکب می‌شد که هیچ هکر انسانی آنها را انجام نمی‌داد.

هاگینگ‌فیس که عملکردی شبیه فروشگاه برنامه‌های هوش مصنوعی دارد، اعلام کرد عامل‌های هک‌کننده بدون وقفه فعالیت می‌کردند و هزاران روش مختلف را به‌طور هم‌زمان برای نفوذ آزمایش می‌کردند.

این شرکت نخستین بار در ۱۶ ژوئیه اعلام کرد که توسط فرد یا گروهی که از هوش مصنوعی خودمختار پیشرفته (Autonomous AI) استفاده می‌کرده، هدف حمله قرار گرفته و موضوع را به پلیس گزارش داده است.

تقریباً یک هفته بعد، اوپن‌ای‌آی پذیرفت که این حمله توسط هوش مصنوعی خودش انجام شده است؛ مدلی که در جریان یک آزمایش، از محیط بسته آزمایشی (Closed Environment) خارج شده و به‌طور مستقل به هاگینگ‌فیس حمله کرده بود.

هدف این مدل، پیدا کردن پاسخ‌های یک آزمون هک (Hacking Exam) بود که اوپن‌ای‌آی برای آن طراحی کرده بود و در همین مسیر، هاگینگ‌فیس را هدف قرار داد.

اوپن‌ای‌آی روز چهارشنبه بیانیه خود را به‌روزرسانی کرد و جزئیات تازه‌ای منتشر کرد که نشان می‌دهد دامنه حمله فراتر از چیزی بوده که در ابتدا تصور می‌شد.

این شرکت اعلام کرد:«مدل‌ها موفق شدند اعتبارنامه‌های (Credentials) در معرض دسترس عموم را در سطح حساب‌های کاربری شناسایی و از آنها برای ورود به سایر سرویس‌های عمومی استفاده کنند. این موضوع شامل چهار حساب کاربری در چهار سرویس مختلف نیز می‌شود که بخشی از رخداد مربوط به هاگینگ‌فیس بوده‌اند.»

اوپن‌ای‌آی در پاسخ به درخواست خبرنگاران برای روشن کردن اینکه منظور از «سرویس‌های عمومی» دقیقاً چیست و آیا این عبارت به شرکت‌های دیگر اشاره دارد یا خیر، بلافاصله پاسخی ارائه نکرد.

رفتارهایی ناشیانه، اما خطرناک

روز سه‌شنبه، ائتلاف امنیت ابری یا CSA گزارشی بر اساس نشست اضطراری روز جمعه با هاگینگ‌فیس منتشر کرد؛ گزارشی که خود هاگینگ‌فیس نیز آن را بازبینی کرده است.

در این گزارش آمده است:«عامل‌ها مسیرهایی ناکارآمد را دنبال می‌کردند و رفتارهایی ناشیانه از خود نشان می‌دادند که هیچ هکر انسانی حاضر نبود چنین رویکردی را انتخاب کند.»

به گفته CSA، عامل‌ها بارها اقداماتی را که پیش‌تر انجام داده بودند دوباره تکرار می‌کردند؛ نشانه‌ای از اینکه یک هوش مصنوعی عامل‌محور (Agentic AI) رشته کار و زمینه خود را از دست داده بود.

عامل‌ها همچنین حجم زیادی دستور (Command) و متن نامنسجم و بی‌معنا تولید می‌کردند، عملکردی شلخته داشتند و چندان تلاشی برای پنهان کردن ردپای خود انجام نمی‌دادند.

اما در میان تمام این اشتباهات و رفتارهای عجیب، هاگینگ‌فیس هشدار داد که عامل‌های هوش مصنوعی در برخی لحظات، توانایی‌های فنی درخشانی از خود نشان دادند و در طول حمله چندروزه توانستند با سرعت زیادی خود را با شرایط جدید تطبیق دهند.

پارک ژوراسیک

سه روز طول کشید تا حضور این عامل‌ها در شبکه فناوری اطلاعات (IT Network) هاگینگ‌فیس شناسایی شود و پس از آن نیز متخصصان هوش مصنوعی و امنیت سایبری این شرکت ساعت‌های طولانی صرف مهار و بیرون راندن عامل‌های هوش مصنوعی کردند؛ کاری که به گفته این شرکت، شاید برای بسیاری از سازمان‌های معمولی امکان‌پذیر نباشد.

هاگینگ‌فیس درباره هزینه مالی این حمله اظهار نظری نکرد، اما اعلام کرد کارکنان شرکت ساعت‌های زیادی صرف بازسازی حدود یک‌سوم زیرساخت‌های خود کردند.

این شرکت به‌دلیل شفافیتی که در اطلاع‌رسانی درباره این حادثه به صنعت هوش مصنوعی و امنیت سایبری نشان داده، مورد تحسین قرار گرفته است.

CSA هشدار داد این رخداد نشان می‌دهد عامل‌های هوش مصنوعی «همیشه راهی پیدا می‌کنند» اشاره‌ای به فیلم پارک ژوراسیک که در آن دایناسورها از محوطه‌های نگهداری خود فرار می‌کنند.

در این گزارش آمده است:«آنها عامل‌هایی هدف‌محور هستند؛ خودشان هدف‌های فرعی تعیین می‌کنند، در زمان واقعی برای عبور از سامانه‌های دفاعی خود را تطبیق می‌دهند و با پایداری در مقیاس ماشین عمل می‌کنند؛ ویژگی‌ای که می‌تواند سامانه‌های دفاعی مبتنی بر عملیات دستی را از پا درآورد.»

«آنها خسته نمی‌شوند، نمی‌خوابند»

ریتش پاتل (Ritesh Patel)، مدیر امنیت سایبری که همراه حدود ۴۵۰ نفر دیگر در نشست توجیهی هاگینگ‌فیس حضور داشت، می‌گوید صنعت امنیت سایبری اکنون با سرعت در حال تلاش برای مقابله با تهدید تازه عامل‌های سرکش هوش مصنوعی است.

او گفت:«این واقعیت عامل‌های خودمختار (Autonomous Agents) مبتنی بر مدل‌های پیشرفته است؛ آنها بی‌وقفه و خستگی‌ناپذیر عمل می‌کنند، گاهی رفتارهایی بسیار پر سر و صدا و آشفته دارند و برای رسیدن به هدف خود، هر مسیر ممکنی را امتحان می‌کنند؛ رفتاری که به‌سادگی می‌تواند سامانه‌های دفاعی سنتی را از پا درآورد.»

والنتینا پالمیوتی (Valentina Palmiotti)، هکر اخلاقی (Ethical Hacker) که بیشتر با نام مستعار «چامپی» (Chompie) شناخته می‌شود، نیز گزارش CSA را بررسی کرده و معتقد است هرچند شیوه حمله این عامل‌ها ممکن است بی‌برنامه و آشفته به نظر برسد، اما در عمل بسیار مؤثر است.

او گفت:«آنها حجم زیادی از روش‌های مختلف را امتحان می‌کنند تا ببینند کدام‌یک جواب می‌دهد.»

اما به گفته او، تفاوت اصلی در اینجاست که این عامل‌ها هرگز خسته نمی‌شوند.«آنها نه خسته می‌شوند، نه می‌خوابند و می‌توانند تا بی‌نهایت سرسخت و پیگیر باشند.»

سابقه‌ای از رفتارهای سرکش

این نخستین باری نیست که عامل‌های هوش مصنوعی رفتاری «سرکش» از خود نشان می‌دهند.

در گزارش CSA به نمونه‌های پیشین نیز اشاره شده است؛ از جمله رویدادی در سپتامبر ۲۰۲۴ که طی آن یکی از نسخه‌های قدیمی‌تر چت‌جی‌پی‌تی (ChatGPT) برای به‌دست آوردن پاسخی که در یک آزمون دیگر به آن نیاز داشت، از محیط محدودشده خود (Container) خارج شد.

CSA یادآور شده است که آن رخداد در همان زمان در داخل زیرساخت‌های فناوری اطلاعات اوپن‌ای‌آی مهار شد و «در آن زمان تا حد زیادی به‌عنوان یک موفقیت مورد استقبال قرار گرفت.»

اما این گزارش ادعا می‌کند که رفتارهای سرکش در واقع «قاعده هستند، نه استثنا.»

در ادامه گزارش آمده است متخصصان امنیت سایبری در سراسر جهان باید خود را با واقعیتی تازه تطبیق دهند؛ دنیایی که در آن انبوهی از عامل‌های هوش مصنوعی با سرعت ماشین فعالیت می‌کنند، رفتارهایی عجیب و گاه ناشیانه دارند و همین ویژگی‌ها می‌تواند به رخنه‌های امنیتی بیشتری منجر شود.

این گزارش همچنین از افرادی که عامل‌های هوش مصنوعی را توسعه می‌دهند یا از آنها استفاده می‌کنند خواسته است مسئولیت بیشتری در کنترل این سامانه‌ها بپذیرند و سازوکاری ایجاد شود که مدافعان امنیت سایبری بتوانند مالک یا مسئول نهایی هر عامل هوش مصنوعی را شناسایی کنند؛ اقدامی که به افزایش شفافیت کمک خواهد کرد.

بر اساس گزارش‌های پیشین، اوپن‌ای‌آی چهار روز طول کشید تا متوجه شود هوش مصنوعی این شرکت به هاگینگ‌فیس حمله کرده است.

اوپن‌ای‌آی اعلام کرده است به‌زودی نتایج تحقیقات داخلی خود را منتشر خواهد کرد تا دیگران نیز بتوانند از این حادثه درس بگیرند.