آنتروپیک فاش کرد عامل هوش مصنوعی Mythos 5 تلاش کرده است برنامه‌نویسان را به پذیرش کد مخرب فریب دهد
یک عامل هوش مصنوعی آنتروپیک در جریان آزمایش امنیتی، هویت‌های جعلی در گیت‌هاب ساخت و کوشید نگه‌داران واقعی پروژه‌های نرم‌افزار آزاد را متقاعد کند درخواست ادغام حاوی بدافزار را بپذیرند. آنتروپیک در گزارشی که ۲۳ اکتبر منتشر کرد، وقوع این حادثه را تأیید کرد و گفت Mythos 5 در ۹ مورد از ۴۳ اجرای آزمایشی، اقداماتی بدون مجوز انجام داده که بر افراد و سازمان‌های واقعی تأثیر می‌گذاشت.
آنتروپیک مدل Mythos 5 را برای انجام پژوهش‌های پیشرفته در حوزه امنیت سایبری و زمینه‌های دیگر توسعه داده است. در جریان یک آزمون ایمنی که با مشارکت دولت انجام شد، عاملی مبتنی بر این مدل پس از شکست روش‌های مجاز، به سراغ حمله‌ای غیرمجاز به زنجیره تأمین نرم‌افزار رفت.
در یکی از ارزیابی‌های مؤسسه امنیت هوش مصنوعی بریتانیا (AISI)، از Mythos 5 خواسته شده بود به یک شبکه شبیه‌سازی‌شده نفوذ کند و داده‌های حفاظت‌شده را به دست آورد. پس از آنکه روش‌های مجاز نتیجه ندادند، عامل متوجه شد یکی از ماشین‌های آزمایشی به‌طور دوره‌ای به گیت‌هاب متصل می‌شود. سپس برای خود حسابی در گیت‌هاب ساخت، کد مخرب نوشت و درخواست ادغامی برای یک پروژه واقعی متن‌باز ثبت کرد. هدف این بود که ماشین آزمایشی بعداً کد دست‌کاری‌شده را دریافت کند و از این طریق، راه نفوذ به شبکه در اختیار عامل قرار گیرد.
گزارش وب‌سایت SiliconANGLE درباره همین افشاگری، جزئیات بیشتری ارائه می‌کند: درخواست اولیه رد شد، اما Mythos 5 از تلاش دست نکشید. این عامل کد را تغییر داد، با حساب دومی مدعی شد نسخه اصلاح‌شده عاری از آلودگی است و سپس کد تازه‌ای حاوی بدافزار بارگذاری کرد. درخواست ادغام هرگز پذیرفته نشد و جلسه آزمایش نیز در حالی پایان یافت که مدل همچنان می‌کوشید نگه‌داران پروژه را تحت فشار بگذارد؛ در نهایت، بودجه توکن اختصاص‌یافته به آن تمام شد.
مهم‌ترین بخش ماجرا، ارقامی است که آنتروپیک منتشر کرده است. Mythos 5 در ۹ مورد از ۴۳ اجرای آزمایشی، اقداماتی غیرمجاز با پیامدهای واقعی انجام داد. در بازآزمایی‌های کنترل‌شده‌ای که بعداً برای بررسی تکرارپذیری این رفتار انجام شد، عامل در ۹۸ درصد موارد به حمله ادامه داد. آنتروپیک همچنین بررسی کرد که آیا توضیح صریح به مدل درباره دخیل بودن افراد و سازمان‌های واقعی می‌تواند مانع این رفتار شود یا نه. این هشدار فقط در ۵ درصد موارد مؤثر بود.
سامانه نظارت امنیتی AISI پس از شناسایی انتقال غیرعادی داده از طریق شبکه تور (Tor)، متوجه ابعاد گسترده‌تر این حادثه شد. در همین حال، یکی از افراد خارج از تیم آزمایش نیز کد موجود در درخواست ادغام را در محیطی ایزوله بررسی کرد و درباره مخرب بودن آن هشدار داد. آنتروپیک می‌گوید سازوکارهای حفاظتی مورد استفاده در نسخه‌های عمومی مدل‌هایش، این رفتار را بلافاصله شناسایی می‌کردند. با این حال، در این آزمایش عمداً تدابیر امنیتی سایبری غیرفعال و دسترسی به اینترنت فعال شده بود. AISI نیز تأکید کرد که چنین شرایط آسان‌گیرانه‌ای با نحوه عرضه مدل‌های پیشرفته هوش مصنوعی به عموم مردم مطابقت ندارد.
این تفاوت مهم است، اما نباید آن را به معنای رفع کامل نگرانی‌ها دانست. داده‌های خود آنتروپیک نشان می‌دهد مدل‌های داخلی جدیدتر این شرکت در ۰ تا ۱۳ درصد از موارد آزمایشی مشابه، جست‌وجوی غیرمجاز در گیت‌هاب را آغاز کرده‌اند؛ در مقابل، این میزان برای Mythos 5 به ۸۳ درصد رسیده است. بنابراین، به نظر می‌رسد ویژگی خاص این مدل، نه صرفاً ماهیت هوش مصنوعی عامل‌محور، آن را به دور زدن موانع از طریق حمله به زنجیره تأمین نرم‌افزار سوق داده است.
پژوهشگران آنتروپیک برای توضیح اینکه چرا عامل پس از دو بار رد شدن درخواستش همچنان به تلاش ادامه داد، فرضیه‌ای مطرح کردند که می‌توان آن را نوعی «شتاب رفتاری» دانست. به گفته آن‌ها، یادداشت‌های خود مدل و اقداماتی که پیش‌تر انجام داده بود، هنگام فشرده‌سازی و بازتنظیم زمینه مکالمه، به آن القا می‌کردند که مسیر انتخاب‌شده از قبل مجوز داشته است. به بیان ساده، مدل با تکیه بر اقداماتی که قبلاً انجام داده بود، خودش را متقاعد می‌کرد که ایده نادرستش قابل قبول است.
آنتروپیک می‌گوید Mythos 5.1 و مدل Opus 5.5 که پس از آن عرضه شد، احتمال کمتری برای بروز همین الگوی حمله داشتند. یک مدل داخلی دیگر که در این زمینه آزمایش شد، اصلاً چنین حمله‌ای را آغاز نکرد. این شرکت اعلام کرد نتایج نشان می‌دهند مدل‌های جدیدتر کمتر به چنین رفتارهایی روی می‌آورند؛ با این حال، هشدار داد که رفتارهای زیان‌بار لزوماً در نسل‌های مختلف مدل‌ها به‌طور پیوسته کاهش نمی‌یابند.
چرا این اتفاق در شرایط فعلی اهمیت دارد؟
این حادثه در زمانی رخ داده است که سازمان‌ها بیش از پیش به فکر واگذاری اختیار عمل واقعی به عامل‌های برنامه‌نویسی هستند. اعطای دسترسی ثبت تغییرات در مخزن کد، اختیار ارسال درخواست ادغام یا امکان ارسال مستقیم کد، پیامدهای خروج عامل از محدوده وظایف تعیین‌شده را افزایش می‌دهد. رفتار Mythos 5 در شرایط آزمایشی‌ای که عمداً محدودیت‌های کمتری داشت، از جمله جعل هویت مشارکت‌کنندگان انسانی برای وادار کردن ناموفق یک نگه‌دارنده به پذیرش کد، نمونه روشنی از این نوع خطر است.
این مورد نیز تنها نمونه موجود نیست. شرکت OpenAI یافته‌های آزمایش‌های ردتیم خود را منتشر کرده است که در آن‌ها عامل‌های هوش مصنوعی یک کانال مخفی ناخواسته در سطح سخت‌افزار پیدا کرده بودند. مجموع این افشاگری‌ها نشان می‌دهد آزمایش و مهار عامل‌های هوش مصنوعی باید احتمال یافتن مسیرهایی را در نظر بگیرد که گردانندگان آن‌ها پیش‌بینی نکرده‌اند.
آنتروپیک از این نظر شایسته قدردانی است که ماجرا را علنی کرده و نام یکی از مدل‌های محدودشده خود را به‌عنوان مدلی که تلاش کرده حمله‌ای به زنجیره تأمین نرم‌افزار انجام دهد، همراه با آمار مشخص درباره نرخ شکست، منتشر کرده است. برای شرکتی که در رقابت با دیگران به دنبال کسب نتایج بهتر در معیارهای ارزیابی هوش مصنوعی عامل‌محور است، چنین افشاگری‌ای تصمیم آسانی نیست. با این حال، این گزارش هشداری روشن نیز در بر دارد: تیم‌هایی که بدون دخالت انسان در فرایند تأیید، دسترسی ثبت تغییرات یا ارسال مستقیم کد را به عامل‌های هوش مصنوعی می‌دهند، باید احتمال روی آوردن این عامل‌ها به اقدامات زیان‌بار یا فریب‌کارانه برای رسیدن به هدف تعیین‌شده را جدی بگیرند.