دیپسیک نسخه جدید هوش مصنوعی R1 را منتشر کرد
استارتاپ چینی دیپسیک (DeepSeek) با انتشار اطلاعیهای در گروه رسمی ویچت خود، از ارتقای مدل…
۸ خرداد ۱۴۰۴
۷ خرداد ۱۴۰۴
زمان مطالعه : ۱۰ دقیقه
هاروارد بیزینس ریویو طی مقالهای به قلم بلر لوین و لری داونز به بررسی بحث اعتماد به عاملهای هوش مصنوعی یا Agentic AIها، نقاط آسیبپذیر و راهکارهای اعتمادسازی پرداخته است. لوین و داونز در این مقاله بررسی میکنند که چطور ممکن است عاملهای هوش مصنوعی به جای کمک به کاربران خود مسیر اشتباهی را در پیش بگیرند و به عاملی آسیبزا تبدیل شوند. موضوعاتی همچون نفوذ هکرها و تبهکاران به این ابزارها که بدون مداخله انسانی وظیفهای را برعهده میگیرند، از جمله مهمترین خطرات است اما مباحث دیگری همچون اثرگذاری بازیگران مهم بازار از جمله مشتریان تبلیغات و توسعهدهندگان این ابزارها در جهتی به نفع سود شخصی نیز از جمله دیگر نگرانیها است.
به گزارش پیوست، لوین و داونز در ادامه این مقاله که چکیدهای از آن را در اینجا ارائه کردهایم توضیح میدهند که برای اعتمادسازی و افزایش اعتبار این عاملها که احتمالا در آینده نقش مهمی در اقتصاد و صنایع ایفا میکنند بهتر است ترکیبی از مقررات عمومی و خصوصی و همچنین تمرکز بر طراحی هوشمند نرمافزار و سختافزاری را در مرکز توجه قرار دهیم و برای تحقق این هدف، نهادهای تنظیمگر، شرکتهای بیمه، توسعهدهندگان و خدماتدهندگان باید همکاری یکدیگر برای بهبود شرایط گام برداند.
عاملهای هوش مصنوعی لایهای نرمافزاری بر فراز مدلهای زبانی بزرگ (LLM) هستند که امکان پیشروی و حرکت آنها را به سوی اهدافی مشخص را به صورت مستقل و بدون مداخله انسانی یا با مداخله حداقلی فراهم میکنند.
این لایه اضافه نهتنها گردآوری داده، تصمیمگیری، اقدام و تطبیقپذیری را امکانپذیر میسازد، بلکه به هوش مصنوعی اجازه میدهد با دیگر سیستمها تعامل کند، از منطق و استدلال بهره گیرد و مطابق با اولویتها و قواعد تعیینشده توسط کاربر اصلی دست به اقدام بزند.
شرکتهایی مانند Salesforce تا همین امروز عاملهایی را در رویه کاری خود ادغام کردهاند و این عاملها بهطور مستقل میتوانند درخواستهای مشتریان را در طیف گستردهای از صنایع پاسخ دهند و در صورت لزوم تشخیص دهند که چه زمانی نیاز به دخالت انسانی است.
اما آیندهی عاملهای شخصی را میتوان بخش هیجانانگیزتری از عاملهای هوش مصنوعی دانست: دستیارهایی دیجیتالی که میتوانند به نمایندگی از افراد، بهصورت خودکار اقدام کنند. این عاملها میتوانند تقویم شما را مدیریت کنند، تحقیقات تحلیلی انجام دهند، کالا و خدمات پیدا کرده، برسر قیمت مذاکره و در نهایت خرید کنند، به گزینش محتوا بپردازند، ارتباطات اولیه را بر عهده بگیرند و با گذر زمان عملکرد خود را بهینهسازی کنند.
اگرچه ایدهی عامل شخصی سالهاست مطرح شده است، اما اکنون فناوری هوش مصنوعی به حدی پیشرفته شد که تصور چنین چیزی دور از واقعیت نیست. پیشتازان هوش مصنوعی در حال حاضر اولین نمونههای عاملهای شخصی را در اختیار مشتریان، تامینکنندگان و سایر ذینفعان قرار دادهاند.
با این حال، این تحولات سوالات مهمی را از فنی و تجاری مطرح میکند: آیا میتوان به این عاملها اعتماد کرد؟ آیا تنها در راستای اهداف ما گام بر میدارند و یا وفاداریشان میان کاربران، توسعهدهندگان، تبلیغدهندگان و ارائهدهندگان خدمات تقسیم میشود؟ و مهمتر اینکه چگونه میتوان به وجود چنین سوگیری پی پرد؟
پاسخ به این پرسشها نقش تعیین کننده در اعتماد و اطمینان کاربران به عاملهای شخصی خواهد داشت و همچنین مشخص میشود که این عاملها در درازمدت باعث تقویت روابط تجاری و ارزش برند میشوند و یا آن را تضعیف میکنند.
عامل شخصی هوش مصنوعی را همانند کارمندی تصور کنید که برای انجام وظایف مشخصی استخدامش کردهاید. پیش از واگذاری مسئولیتها، باید بدانید که آیا آن فرد قابلاعتماد، درستکار و توانمند هست و از لحاظ قانونی وظیفه پیگری منافع شما را دارد یا خیر.
برای نمونه، اگر یک فرد حقیقی اختیار دسترسی به منابع مالیتان را داشته باشد، بیتردید به بررسی پیشینه و بیمه او میپردازید و در برخی موارد حتی از او ضمانتنامه مالی طلب میکنید.
در مورد عاملهای هوش مصنوعی نیز باید نسخهی دیجیتال چنین سازوکارهایی فراهم شود. چرا که عاملهای هوش مصنوعی نیز با خطراتی مشابه کارکنان یا پیمانکاران بدرفتار همراه هستند و چه بسا بهدلیل سرعت و وسعت عملکرد عاملهای دیجیتال، به سطح اطمینان بالاتری نیاز است.
در ادامه، مهمترین ریسکهایی که باید برای اعتماد به عاملهای هوش مصنوعی در نظر گرفت، را بررسی میکنیم.
بدترین سناریوی ممکن آن است که عاملهای شخصی بهگونهای برنامهنویسی یا حتی توسط هکرها دوباره برنامهریزی شوند تا علیه کاربران عمل کنند. چیزی شبیه به کارمندی با هویت جعلی یا کارمند فاسدی که دست به اختلاس میزند.
اگرچه هنوز گزارشهای گستردهای از ربوده شدن عاملهای شخصی در دست نیست، اما نهادهایی مانند موسسه ملی استاندارد و فناوری ایالات متحده (NIST) و شرکتهای امنیت سایبری بهطور مستمر در حال آزمایش مدلهای زبانی بزرگ و فناوریهای عاملی برای یافتن آسیبپذیریهای امنیتی هستند.
در این آزمایشهای شبیهسازیشده، حتی امنترین مدلهای کنونی نیز بهراحتی فریب خورده و دست به اقدامات مخرب همچون افشای رمز عبور یا ارسال ایمیل فیشینگ و افشای کدهای نرمافزاری اختصاصی میزنند.
در جهان خردهفروشی، این امکان وجود دارد که عاملهای شخصی بهگونهای طراحی شوند که گرایشهای بازاریابی خاصی داشته باشند و کاربران را به سمت خرید از شرکای تجاری خاصی هدایت کنند.
برای مثال، در خریدهای آنلاین که پیشاپیش آکنده از تبلیغات گمراهکننده و سوگیریهای پنهان پولی هستند، عاملهای هوش مصنوعی ممکن است بهجای جستجوی مستقل، به سمت گزینههایی کشیده شوند که به نفع توسعهدهنده یا شرکای آنها باشد. در این حالت، حتی اگر کاربر گمان کند عاملش در حال یافتن بهترین معامله است، فرآیند تحلیل و تصمیمگیری آن عامل ممکن است توسط ورودیهای تحریفشده تحت تاثیر قرار گیرد.
دستکاری میتواند در حوزه محتوا و بهویژه در بخشهایی مانند خبر، سرگرمی یا شبکههای اجتماعی نیز نمود پیدا کند. ممکن است عاملهای شخصی در اولویتبندی محتوا یا پیشنهاد خدمات، بهجای نیاز کاربر، منافع اسپانسرها یا ارائهدهندگان خدمات را در نظر بگیرند.
برای مثال، پلتفرم موسیقی Spotify به تازگی از ویژگی جدید «دیجی هوش مصنوعی» رونمایی کرده است که بر اساس سلیقهی شنونده، برای او موسیقی پخش میکند. این شرکت همچنین قابلیتی بهنام «Discovery Mode» دارد که به هنرمندان اجازه میدهد در ازای کاهش حقالزحمه، آثارشان بیشتر پیشنهاد داده شود. اگرچه Spotify تایید کرده که این ویژگی فعلا در دیجی هوش مصنوعی دخالت ندارد، اما ممکن است این روند در آینده تغییر پیدا کند.
عاملهای شخصی، همچون انسانها، ممکن است قربانی اطلاعات جعلی یا اشتباه شوند. این عاملها چه به صورت عمدی و چه سهوی، ممکن است تصمیمهایی بگیرند که بر دادههای نادرست بنا شده است.
از زمان عرضه اولین نسخههای ChatGPT و مدلهای مشابه، نمونههای متعددی از پاسخهای غلط یا حتی خطرناک در زمینههایی مانند سلامت گزارش شده است. حتی برخی دادگاهها، توسعهدهندگان را مسئول دانستهاند. برای مثال در یک پرونده، شرکت هواپیمایی Air Canada مجبور شد به مسافری که چتبات شرکت به اشتباه به او معده تخفیف داده بود، غرامت بپردازد.
از آنجایی که تولید اطلاعات غلط و گمراهکننده با اهداف مختلفی از جمله سیاسی و مالی یا حتی جنایی صورت میگیرد، تشخیص میزان خطر برای عاملهای شخصی دشوار است.
اگر قرار بر اعتماد به عاملهای شخصی باشد، همانند عاملها انسانی، باید به دنبال نظارت، بازرسی و محدودسازی قدرت آنها باشیم. اما نظارت دائمی، عملا مزایای این فناوری را از بین میبرد. بنابر این، ترکیبی از مقررات عمومی و خصوصی، بیمه و طراحی سختافزاری و نرمافزاری هوشمند میتواند راهحل بهتری باشد.
به همین منظور، لوین و داونز، سه اقدام کلیدی به شرح زیر را برای اعتمادسازی پیشنهاد میکنند:
وکلا، قیمها، متولیان دارایی، مشاوران مالی و اعضای هیئتمدیره از جمله کسانیاند که بهعنوان «امین» یا fiduciary شناخته میشوند. از این رو آنها موظفاند با صداقت و وفاداری رفتار کنند، تضاد منافع خود را به روشنی بیان کنند و رازداری، حسابپذیری و دقت معقول به نفع موکل را در پیش بگیرند.
اگر عاملهای هوش مصنوعی را امین در نظر بگیریم، قوانین باید به گونهای تعیین شوند که این ابزارهای دیجیتالی نیز موظف باشند تحت چنین استانداردهایی عمل کنند. برخی از پژوهشگران حقوقی باور دارند که رویههای موجود نیز از چنین الزامی را پشتیبانی میکنند، اما در صورت نیاز، قانونگذاری جدید میتواند به بهبود شرایط کمک کند.
در ایالات متحده، برخی نهادهای عمومی مانند کمیسیون بورس و اوراق بهادار یا وزارت کار بر فعالیتهای امینها نظارت دارند. همچنین نهادهای خودتنظیمگری مانند کانون وکلا یا هیئت مشاوران مالی نیز سازوکارهایی برای بازرسی و مجازات در اختیار دارند. مدلی مشابه را میتوان برای عاملهای هوش مصنوعی نیز در دستور کار قرار داد.
رهبران تجاری که از ارائه عاملهای شخصی به ذینفعان خود نفع میبرند، باید با نهادهای بیمه، نهادهای خصوصی و کارآفرینان در راستای تضمین امنیت و اعتماد در این حوزه همکاری کنند. گسترش بازار بیمه در این حوزه میتواند یکی از راهکارهای موثر باشد.
همچنان که با افزایش استفاده از اپلیکیشنهای خردهفروشی و بانکی، بحث سرقت هویت در اولویت قرار گرفت و یک صنعت چندین میلیارد دلاری برای دفاع از کاربران در برابر دسترسی غیرمجاز پیرامون آن توسعه یافت، در مورد عاملهای شخصی نیز میتوان ابزارهایی مشابهی ایجاد کرد. شرکتهای بیمه به طور خاص انگیزه زیادی برای نظارت بر فعالیت مدیریان داده و لابی برای قوانین محکمتر یا تعامل با ابزارهای تنظیمگری خصوصی از جمله شکایتهای حقوقی خواهند داشت.
دیگر نهادهایی که در حال حاضر به مدیریت ارتباط با طرفین امین کمک میکنند نیز میتوانند حوزه فعالیت خود را به عاملهای شخصی هوش مصنوعی گسترش دهند. برای مثال نهادهایی مشابه با نهادهای اعتبارسنجی، میتوانند علاوه بر نظارت بر طیف گستردهای از تراکنشها و ارائه هشدار براساس ملاکهای تعریف شده از سمت کاربر میتوانند به محدودسازی تصمیمگیری عاملها کمک کنند.
به همین ترتیب، کاربران عاملهای هوش مصنوعی باید بیمهکنندگان و دیگر ارائه دهندگان را تشویق کنند تا امکان نظارت، کنترل و حسابرسی رفتار عاملها را مستقل از سازنده و ادارهکننده نرمافزار، فراهم سازند. نهادهای اعتبارسنی هوش مصنوعی میتوانند ابزارهایی برای محدود کردن گستره تصمیمات مجاز ارائه کنند تا برای مثال تعداد یا گستره تصمیمات مهم یک عامل هوش صمنوعی در یک بازه زمانی را بتوان محدود کرد.
طراحی عاملها بهگونهای که دادهها و تحلیلها تا حد امکان در داخل دستگاهها (گوشی، لپتاپ، تبلت) انجام شود، میتواند از بسیاری تهدیدها جلوگیری کند. این کار علاوه بر کاهش خطر نفوذ خارجی، از افشای اطلاعات حساس نیز جلوگیری میکند.
برای نمونه، Apple Intelligence، بسته هوش مصنوعی شرکت اپل، دادههای حساس را روی دستگاه کاربران نگهداری میکند. تنها در مواقع خاص از «پردازش ابر خصوصی» کمک میگیرد و با رمزنگاری قوی و بدون ذخیرهسازی اطلاعات شخصی به افزایش اعتماد و امنیت کمک میکنند. همچنین اپل قول داده که پژوهشگران مستقل بتوانند امنیت سیستم را مورد بازبینی قرار دهند.
توسعهدهندگان عاملهای هوش مصنوعی باید بهطور شفاف اعلام کنند که آیا عاملهاشان تحتتاثیر اسپانسر یا تبلیغات عمل میکنند یا خیر. همچنین باید امکان نظارت مستقل بر رفتار عامل نیز فراهم شود.
عاملهای هوش مصنوعی پتانسیل آن را دارند که به راحتی و کارآمدی زندگی همه ما کمک کنند. اما بدون اعتماد عمومی، پذیرش آنها دشوار و خطرناک خواهد بود. کاربران باید توان اعتماد به این ابزارها را داشته باشند و بدانند که نهادهایی برای نظارت، گزارشدهی و اعمال محدودیت مستقل از توسعهدهندگان وجود دارند.
همانند رابطه هر معتمد یا امین دیگری، باید حقوق و مسئولیتهای قانونی عاملهای هوش مصنوعی نیز بهروشنی تعریف شود و بازارهایی مانند بیمه، ابزارهای نظارتی و نهادهای تنظیمگر در این حوزه نقش آفرینی کنند.
زمان آن رسیده است که توسعهدهندگان، قانونگذاران، فعالان صنعت، کاربران و مدافعان حقوق مصرفکننده برای ایجاد اکوسیستمی شفاف و قابلاعتماد گرد هم آیند تا آیندهای امن را برای عاملهای هوش مصنوعی ترسیم کنند.