باگ نرم‌افزار هوش مصنوعی انویدیا اطلاعات خصوصی را درز می‌دهد

به گزارش پیوست، شرکت انویدیا سیستمی به نام «چارچوب NeMo» را ارائه کرده است که توسعه دهندگان از طریق آن می‌توانند با چند مدل بزرگ زبانی (قلب محصولات هوش مصنوعی از جمله چت‌بات‌ها) کار کنند.

این چارچوب به گونه‌ای طراحی شده تا کسب‌وکارهایی از داده‌های اختصاصی خود در کنار مدل‌های زبانی استفاده کرده و پاسخ بهتری برای سوالات دریافت کنند. برای مثال این قابلیت می‌تواند کار نمایندگان خدمات مشتری را شبیه‌سازی کرده یا توصیه‌های ساده‌ای در حوزه درمان ارائه کند.

فایننشال تایمز به نقل از محققان موسسه Robust Intelligence در سن‌فرانسیسکو می‌گوید محدودیت‌هایی که انویدیا برای تضمین امنیت هوش مصنوعی به کار گرفته به سادگی قابل دور زدن است.

این محققان پس از استفاده از سیستم انویدیا برای داده‌های خود تنها ظرف چند ساعت توانستند مدل‌های زبانی را به دور زدن محدودیت‌ها مجاب کنند.

آنها در یک مورد از سیستم انویدیا خواستند تا جای حرف I را با حرف J عوض کند. این دستور باعث شد تا سیستم انویدیا اطلاعات شناسایی شخصی یا PII را از دیتابیس استخراج کند.

محققان راهکارهای دیگری هم برای دور زدن محدودیت‌های پیدا کردند و مدل را مجاب کردند تا به گونه‌ای غیر معمول به مخالفت بپردازد.

آنها درست همانطور که انویدیا مثال زده بود بحث را به گزارش شغلی محدود کردند اما توانستند مدل هوش مصنوعی را به بحث درمورد سلامت ستاره سینما یا جنگ فرانسه و آلمان بکشانند در حالی که محدودیت‌های موجود قرار بود از حرکت هوش مصنوعی فراتر از برخی موضوعات جلوگیری کند.

نفوذ ساده محققان نشان می‌دهد که شرکت‌های هوش مصنوعی به چه چالش‌های بزرگی در زمینه محدود کردن این تکنولوژی روبرو هستند.

یارون سینگر، پروفسور علوم کامپیوتر دانشگاه هاروارد و مدیر ارشد رابوست اینتلجنس، می‌گوید: «می‌بینیم که این مشکل سختی است و به تخصص عمیق نیاز دارد. این یافته‌ها ماجرایی خطرناک را درمورد مشکلات فعلی روایت می‌کنند.»

محققان پس از رسیدن به این نتایج از مشتریان خود خواستند تا محصولات نرم‌افزاری انویدیا را کنار بگذارند. با این حال شرکت انویدیا پس از اطلاع‌رسانی فایننشال تایمز به محققان اطلاع داد که یکی از ریشه‌های مشکل را حل کرده است.

شرکت انویدیا سوار بر موج هوش مصنوعی و با عملکردی بهتر از برآورد‌های وال‌استریت رشد چشمگیری را تجربه کرد و ارزش سهام این شرکت در یک روز حدود ۲۰۰ میلیارد دلار افزایش یافت.

توجه سرمایه‌گذاران ناشی از افزایش تقاضا باری چیپ‌های هوش مصنوعی این شرکت است.

جانتان کوهن، نایب رئیس تحقیقات انویدیا، می‌گوید این چارچوب در واقع «نقطه شروعی برای ساخت چت‌بات‌هایی است که به دستورالعمل‌های موضوعی، امنیتی و ایمنی توسعه دهندگان پایبند باشند.»

او می‌گوید: «[این چارچوب] به عنوان یک نرم‌افزار متن‌باز برای جامعه منتشر شده تا توانمندی‌های خود را بررسی کنند، بازخورد ارائه کرده و تکنیک‌های جدیدی را خلق کنند.» وی افزود که تحقیقات رابوست اینتلجنس «دیگر گام‌های لازم برای تولید اپلیکیشن را مشخص کرد.»

کوهن از ارائه آمار مشخص درمورد تعداد کسب‌وکارهایی که از این محصول استفاده می‌کنند خودداری کرد اما گفت انویدیا هیچ گزارش دیگری از عملکرد نادرست این چارچوب دریافت نکرده است.

شرکت‌های بزرگ هوش مصنوعی از جمله گوگل و اوپن‌ای‌آی (با پشتوان مایکروسافت) چت‌بات‌هایی را با استفاده از مدل‌های زبانی خود منتشر کرده‌اند و محدودیت‌هایی برای نژادپرستی یا شخصیت سلطه‌گر در نظر گرفته‌اند.

دیگران هم به صورت آزمایشی در این مسیر پا گذشته‌اند اما هوش مصنوعی‌هایی که به دانش‌آموزان آموزش می‌دهند، توصیه ساد درمانی ارائه می‌کنند، ترجمه می‌کنند و توان کدنویسی دارند همگی با مشکلاتی روبرو هستند.

بی لانگورث،‌ مدیر امور انویدیا در اروپا، خاورمیانه و آفریقا، می‌گوید انویدیا و دیگر شرکت‌های صنعت هوش مصنوعی باید «به اعتماد عموم نسبت به این تکنولوژی شکل دهند.»

به گفته او باید این حس به عموم مردم القا شود که این تکنولوژی «پتانسیل بالایی دارد و تنها یک تهدید یا مایه ترس نیست.»