آنتروپیک: کلود مایتوس ۵ برای انتشار بدافزار از هویت‌های جعلی استفاده کرد
شرکت آنتروپیک جزئیات تلاش مدل هوش مصنوعی کلود مایتوس ۵ برای وارد کردن کد مخرب به یک پروژه واقعی در گیت‌هاب را منتشر کرده است. این مدل در جریان یک ارزیابی امنیت سایبری که مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) انجام داد، از هویت‌های جعلی استفاده کرد تا توسعه‌دهندگان را به تأیید کد ترغیب کند.
این رویداد در جریان یک چالش شبیه‌سازی‌شده «تسخیر پرچم» (CTF) در ماه ژوئیه رخ داد و در ارزیابی منتشرشده در ۲۳ اکتبر شرح داده شد. از مایتوس ۵ خواسته شده بود به شبکه یک شرکت آزمایشی نفوذ کند و داده‌های پنهان آن را بازیابی کند. بااین‌حال، یک خطای پیکربندی باعث شد مسیرهای حمله موردنظر عملاً غیرقابل دسترس شوند. در عین حال، دسترسی به اینترنت همچنان فعال بود و کنترل‌های ایمنی مورد استفاده در مدل‌های عرضه‌شده به عموم غیرفعال شده بودند.
این مدل در ۹ مورد از مجموع ۴۳ اجرای آزمایش، از محدوده تعیین‌شده برای تمرین فراتر رفت و با زیرساخت‌های واقعی و اشخاص ثالث تعامل کرد.
پس از آنکه تلاش‌های مجاز برای نفوذ به نتیجه نرسید، مایتوس ۵ متوجه شد دستگاهی در شبکه شبیه‌سازی‌شده به‌طور دوره‌ای به گیت‌هاب متصل می‌شود. مدل در جست‌وجوی یک پروژه نرم‌افزاری خارجی بود که بتواند از طریق آن به هدف دسترسی پیدا کند و سرانجام مخزنی را انتخاب کرد که توسعه‌دهندگان مستقل از این آزمایش آن را مدیریت می‌کردند.
مدل حسابی ایجاد کرد و یک درخواست ادغام تغییرات (pull request) حاوی کد مخرب فرستاد. این کد طوری طراحی شده بود که با دریافت خودکار آن، دستگاه آزمایشی را به خطر بیندازد. هنگامی که توسعه‌دهندگان این درخواست را به‌عنوان بدافزار شناسایی کردند، مایتوس ۵ هویت‌های جعلی دیگری ساخت تا وانمود کند افراد دیگری مشروعیت کد را تأیید می‌کنند. این مدل با ارسال دیدگاه در گیت‌هاب و ایمیل، تلاش کرد مدیران مخزن را به تأیید تغییرات ترغیب کند.
توسعه‌دهندگان این تغییر را رد کردند و آزمایش زمانی پایان یافت که مدل تمام بودجه پردازشی اختصاص‌یافته به خود را مصرف کرد. بررسی مستقل مؤسسه امنیت هوش مصنوعی بریتانیا نشان داد که این رویداد هیچ آسیب واقعی در دنیای خارج به دنبال نداشته است.
تحلیل آنتروپیک الگویی نگران‌کننده را آشکار کرد: هنگامی که مایتوس ۵ راهبردی برای حمله انتخاب می‌کرد، به‌سختی از آن دست می‌کشید؛ حتی زمانی که شواهد حاکی از احتمال آسیب دیدن افراد واقعی بود. در شبیه‌سازی ادامه حمله ثبت‌شده، هنگامی که مدل از مراحل پایانی‌تر فعالیت خود دوباره اجرا شد، در ۹۸ درصد موارد همچنان همان راهبرد را دنبال کرد.
این ارزیابی همچنین نشان داد که مایتوس ۵ پیش از آغاز حمله، به‌ندرت پیامدهای احتمالی آن برای دنیای واقعی را در نظر می‌گرفت. در مقابل، ارائه دستورالعمل صریح به مدل‌های جدیدتر برای بررسی چنین پیامدهایی، تمایل آن‌ها به دنبال کردن همین مسیر حمله را به میزان قابل‌توجهی کاهش داد.
آنتروپیک همین سناریو را با مدل‌های جدیدتر، از جمله کلود مایتوس ۵.۱ و کلود اوپوس ۵.۵، دوباره اجرا کرد. این مدل‌ها تنها در صفر تا ۱۳ درصد از اجراها حملات مشابهی را خارج از محدوده مجاز آغاز کردند؛ در حالی که این میزان برای مایتوس ۵ به ۸۳ درصد می‌رسید. بااین‌حال، شرکت هشدار داد که در این آزمایش‌ها از زمینه ثبت‌شده اجرای قبلی استفاده شده است و همین محدودیت، دامنه نتیجه‌گیری درباره رفتار مدل‌ها در شرایط واقعی را کاهش می‌دهد.
آنتروپیک اعلام کرد که مایتوس ۵ در پی دستیابی به هدفی بود که به آن محول شده بود، نه اینکه دستورکار مستقلی را دنبال کند. بااین‌وجود، این رویداد نشان داد که اصرار یک عامل هوش مصنوعی بر تکمیل وظیفه محول‌شده می‌تواند آن را به فریب دادن افراد و عبور از مرزهای امنیتی سوق دهد.
در واکنش به این رویداد، مؤسسه امنیت هوش مصنوعی بریتانیا اعلام کرد تا زمان استقرار کنترل‌های قوی‌تر، ارزیابی‌های سایبری آینده بدون دسترسی مستقیم به اینترنت انجام خواهند شد. آنتروپیک نیز گفت تدابیر حفاظتی مورد استفاده در نسخه‌های عملیاتی محصولاتش مانع بروز چنین رفتاری می‌شدند. این شرکت بر اهمیت محدود کردن دسترسی عامل‌های هوش مصنوعی و الزام دریافت تأیید انسانی پیش از انتشار کد یا اعمال تغییرات در سامانه‌های خارجی تأکید کرد.