مدل جدید شرکت اوپنایآی (GPT-5) چه تفاوتی با نسل قبلی دارد؛ متخصص PhD در جیب شما
شرکت اوپنایآی دو روز پیش یعنی در تاریخ ۷ آگوست ۲۰۲۵ از جدیدترین و مورد…
۱۸ مرداد ۱۴۰۴
۱۹ مرداد ۱۴۰۴
زمان مطالعه : ۴ دقیقه
مجله وایرد میگوید دولت ایالات متحده یک گزارش کلیدی در حوزه ایمنی هوش مصنوعی را که در پایان دولت جو بایدن فرایند تکمیل آن به پایان رسیده بود هیچگاه منتشر نکرده است. این گزارش ماحصل نتایج یک آزمایش «رد تیمینگ» کمسابقه برای سنجش آسیبپذیری مدلهای زبانی پیشرفته و سایر سیستمهای هوش مصنوعی است اما به نظر سیاست دولت ترامپ برای کاهش فشار و محدودیتهای صنعت هوش مصنوعی مانع از انتشار آن شده است.
به گزارش پیوست، این آزمایش که اکتبر سال گذشته و در جریان کنفرانس امنیت رایانهای CAMLIS در آرلینگتون انجام گرفت، بخشی از برنامه «ارزیابی ریسکها و پیامدهای هوش مصنوعی» (ARIA) موسسه ملی استاندارد و فناوری آمریکا (NIST) بود و با همکاری شرکت Humane Intelligence انجام شد.
براساس این آزمایش که در مدت دو روز انجام گرفت، چندین تیم پژوهشی موفق به شناسایی ۱۳۹ روش جدید برای وادار کردن سیستمها به رفتارهای نامطلوب شدند؛ رفتارهایی که موضوعاتی همچون تولید اطلاعات نادرست تا افشای دادههای شخصی و تسهیل حملات سایبری را شامل میشد.
بر اساس گزارش منتشرشده در مجله وایرد، NIST این مستند را تا پایان دولت بایدن آماده انتشار کرده بود، اما انتشار آن هرگز صورت نگرفت.
منابع آگاه میگویند این گزارش یکی از چندین سند مرتبط با هوش مصنوعی است که به دلیل نگرانی از تعارض با رویکرد دولت جدید دونالد ترامپ و تغییر جهتگیری سیاسی، کنار گذاشته شد. یک منبع داخلی موسسه ملی استاندارد و فناوری آمریکا در این باره به وایرد گفت: «انتشار هرگونه مقالهای حتی در دوران بایدن هم بسیار دشوار شده بود. شرایط خیلی شبیه به جو پیرامون تحقیقات تغییرات اقلیمی یا دخانیات بود.»
با روی کار آمدن دولت ترامپ، مسیر تحقیقات موسسه ملی استاندارد و فناوری آمریکا از موضوعاتی مانند سوگیری الگوریتمی، عدالت در هوش مصنوعی، و مقابله با اطلاعات نادرست منحرف شد به طوری که طرح اقدام هوش مصنوعی که در جولای منتشر شد، به صراحت خواستار حذف ارجاعات به این حوزهها از چارچوب مدیریت ریسک هوش مصنوعی NIST شده است.
با این حال، جالب این است که همین طرح دولت ترامپ هم اجرای رویدادهایی مشابه آزمایش منتشرنشده NIST را توصیه کرده و از آژانسهای دولتی خواسته است یک «هکاتون ملی هوش مصنوعی» برای سنجش شفافیت، کارایی، کنترل و امنیت این سیستمها برگزار کنند.
وایرد میگوید براساس اطلاعات بهدست آمده در آزمایشی که در پایان دولت بایدن انجام شد، متخصصان چندین سیستم پیشرفته را مورد هدف قرار دادند: مدل زبانی متنباز Llama از شرکت متا، Anote که پلتفرم ساخت و بهینهسازی مدلهای هوش مصنوعی است، سیستم Robust Intelligence از شرکت سیسکو که یک سیستم ضد حملات هوش مصنوعی است و آخری هم یک پلتفرم ساختار آواتارهای هوش مصنوعی از شرکت Synthesia.
در این آزمایش تیمها با استفاده از چارچوب NIST AI 600-1 به ارزیابی پرداختند؛ چارچوبی که خطراتی همچون تولید اطلاعات جعلی، افشای دادههای حساس، حملات سایبری و وابستگی عاطفی کاربران به سیستمها را مورد ارزیابی قرار میدهد.
پژوهشگران در این آزمایش توانستند با روشهایی نو، از جمله طراحی پرامپتها به زبانهای روسی، گجراتی، مراتی و تلوگو، مدل Llama را وادار کنند تا دستورالعملهایی برای پیوستن به گروههای تروریستی ارائه دهد. همچنین مشخص شد که برخی دستهبندیهای ریسک در چارچوب NIST به اندازه کافی تعریف دقیق نداشته و در عمل کارایی محدودی دارند.
شرکتکنندگان در این رویداد معتقدند انتشار این گزارش میتوانست به جامعه علمی و صنعتی کمک کند. آلیس چیان ژانگ، دانشجوی دکترای دانشگاه کارنگی ملون و یکی از شرکتکنندگان این رویداد، میگوید: «این تجربه ارزشمند بود چون میتوانستیم مستقیما با سازندگان ابزارها تعامل داشته باشیم. انتشار گزارش میتوانست به دیگران نشان دهد چارچوب ریسک NIST در چه شرایطی کاربردی است و در چه مواردی اینطور نیست.»
برخی منابع گمان میبرند تصمیم به عدم انتشار، نتیجه تمرکز دولت جدید بر تهدیدهایی مانند استفاده از مدلهای هوش مصنوعی برای توسعه سلاحهای شیمیایی، بیولوژیکی یا هستهای، و نیز تمایل به نزدیکی بیشتر با شرکتهای بزرگ فناوری است. یکی از پژوهشگران با حفظ گمنامی در این رابطه میگوید «در نهایت، احتمالا پای سیسات در میان است. ما فکر میکردیم این رویداد پر از بینش علمی خواهد بود و هنوز هم همین عقیده را داریم.»
عدم انتشار این گزارش، پرسشهایی را درباره شفافیت و رویکرد دولت آمریکا در مواجهه با چالشهای ایمنی و امنیتی هوش مصنوعی برانگیخته است؛ چالشی که با سرعت رشد فناوری، اهمیت آن هر روز بیشتر میشود.