آنتروپیک فاش کرد مدل Mythos 5 تلاش کرده کد مخرب به یک پروژه متن‌باز ارسال کند
مدل هوش مصنوعی Mythos 5 متعلق به شرکت آنتروپیک (Anthropic PBC) در ماه ژوئیه تلاش کرد کد مخربی را به یکی از پروژه‌های میزبانی‌شده در گیت‌هاب ارسال کند.
این اتفاق هنگام ارزیابی توانایی‌های امنیت سایبری این مدل رخ داد. مؤسسه امنیت هوش مصنوعی بریتانیا، نهاد دولتی مسئول انجام این آزمایش، امروز گزارشی درباره این حمله سایبری منتشر کرد. آنتروپیک نیز تحلیل خود از این رویداد را در وبلاگش منتشر کرد.
کد مخربی که Mythos 5 به این پروژه در گیت‌هاب ارسال کرد، هیچ کاربری را آلوده نکرد؛ زیرا مسئول نگهداری مخزن کد، تغییرات پیشنهادی مدل را نپذیرفت. بااین‌حال، این اتفاق از آن جهت اهمیت دارد که اطلاعات تازه‌ای درباره شیوه عبور مدل‌های پیشرفته هوش مصنوعی از محدودیت‌های ایمنی خود ارائه می‌دهد. پژوهشگران می‌توانند از چنین اطلاعاتی برای بهبود سازوکارهای هم‌راستاسازی مدل‌ها با اهداف و الزامات ایمنی استفاده کنند.
آزمایشی که این اتفاق در جریان آن رخ داد، روی مجموعه‌ای از سرورها انجام می‌شد که مؤسسه امنیت هوش مصنوعی بریتانیا مدیریت آن را بر عهده داشت. این مجموعه برای شبیه‌سازی شبکه داخلی یک شرکت طراحی شده بود. به گفته آنتروپیک، پژوهشگران از Mythos 5 خواسته بودند به این شبکه نفوذ کند و به داده مشخصی که در یکی از سرورها ذخیره شده بود دست یابد.
مؤسسه امنیت هوش مصنوعی برای این آزمایش قواعدی تعیین کرده بود که استفاده از برخی روش‌های نفوذ را برای مدل ممنوع می‌کرد. Mythos 5 در ابتدا این محدودیت‌ها را رعایت کرد، اما پس از ناکامی تلاش‌های اولیه‌اش برای نفوذ به شبکه شبیه‌سازی‌شده، از چارچوب تعیین‌شده خارج شد و روش خود را تغییر داد. همین تغییر رویکرد در نهایت به حمله علیه مخزن کد گیت‌هاب منجر شد.
Mythos 5 متوجه شد یکی از سرورهای شبکه شرکتی شبیه‌سازی‌شده گاهی به گیت‌هاب متصل می‌شود. مدل تصمیم گرفت با آلوده کردن مخزن کدی که آن سرور از آن استفاده می‌کرد، از این ارتباط برای نفوذ بهره ببرد. نقشه آن به‌طور مشخص این بود که بدافزاری را وارد مخزن کند تا سرور هنگام مراجعه به گیت‌هاب، کد آلوده را دریافت کند.
Mythos 5 قطعه‌ای کد مخرب نوشت، یک حساب کاربری در گیت‌هاب ساخت و با استفاده از آن، کد را برای اضافه شدن به مخزن موردنظر ارسال کرد. پس از آنکه مسئول نگهداری مخزن این پیشنهاد را رد کرد، مدل تلاش کرد نسخه بازنویسی‌شده‌ای از بدافزار را بارگذاری کند. افزون بر این، حساب کاربری دومی در گیت‌هاب ایجاد کرد تا از طریق آن، مسئول مخزن را به پذیرش کد اصلاح‌شده ترغیب کند.
پژوهشگران آنتروپیک در گزارش این رویداد نوشتند: «درخواست ادغام تغییرات پذیرفته نشد. اجرای آزمایش زمانی پایان یافت که مدل، درحالی‌که همچنان برای تأیید تغییرات به مسئولان نگهداری مخزن فشار می‌آورد، به سقف مجاز توکن‌های خود رسید.»
مؤسسه امنیت هوش مصنوعی بریتانیا برای بررسی دقیق‌تر رفتار مدل، جلسه‌ای از اجرای Mythos 5 را که به تولید کد مخرب منجر شده بود، بازسازی کرد. پژوهشگران این بار تنها یک تغییر مهم در روند آزمایش ایجاد کردند: درست پیش از آنکه مدل کد مخرب را به گیت‌هاب ارسال کند، اجرای آن را متوقف کردند و درباره خطرات این اقدام به آن هشدار دادند. بااین‌حال، مدل پس از آنکه ظاهراً خود را متقاعد کرد هدف حمله شبیه‌سازی‌شده است، ارسال کد را ادامه داد.
پژوهشگران آنتروپیک در توضیح این رفتار نوشتند: «فرضیه ما این است که این پافشاری ناشی از نوعی اینرسی یا تمایل به ادامه مسیر قبلی است؛ به این معنا که یادداشت‌های خلاصه‌سازی‌شده مدل از روند کار و اقداماتی که پیش‌تر انجام داده، این تصور را در آن ایجاد می‌کنند که مسیر فعلی‌اش به‌درستی تأیید و مجاز شناخته شده است.»
مؤسسه امنیت هوش مصنوعی بریتانیا در واکنش به این رخداد، تدابیر امنیتی محیطی را که برای ارزیابی مدل‌ها استفاده می‌کند، تقویت کرد. آنتروپیک نیز قابلیت‌های ایمنی مدل‌های خود را بهبود داده است. بررسی‌های این شرکت نشان داد دو مدل Mythos 5.1 و Opus 5.5 که پس از Mythos 5 عرضه شده‌اند، با احتمال کمتری دست به حملاتی مشابه حمله علیه مخزن گیت‌هاب می‌زنند. همچنین، مدل سومی که برای استفاده داخلی توسعه یافته است، در آزمایش‌های آنتروپیک «هرگز چنین حمله‌ای را آغاز نکرد».