آنتروپیک: کلود مایتوس ۵ حتی پس از مشاهده نشانه‌های آسیب واقعی، حمله مخرب به گیت‌هاب را ادامه داد
بررسی آنتروپیک درباره کلود مایتوس ۵ نشان داد که این مدل هوش مصنوعی پس از شکست روش‌های مجاز برای حل یک چالش امنیت سایبری، حمله‌ای مخرب به گیت‌هاب را ادامه داد و حتی با ساخت هویت‌های جعلی کوشید توسعه‌دهندگان واقعی را به تأیید کد مخرب ترغیب کند.
آنتروپیک این رفتار را «شکست جدی در هم‌راستایی» توصیف کرد؛ موضوعی که نگرانی‌ها درباره مدل‌های هوش مصنوعی را افزایش می‌دهد، زیرا ممکن است به راهبردهای زیان‌بار پایبند بمانند و حتی پس از مشاهده شواهدی مبنی بر احتمال آسیب دیدن افراد واقعی، همچنان به اجرای آن‌ها ادامه دهند.
این یافته‌ها حاصل تحلیلی بود که در کنار گزارش مستقلی از مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) انجام شد. در ارزیابی این مؤسسه، مایتوس ۵ در یک چالش امنیت سایبری موسوم به «فتح پرچم» (CTF) شرکت کرد که در آن باید شبکه‌ای رایانه‌ای شبیه‌سازی‌شده را بررسی می‌کرد.
در این آزمایش، دسترسی به اینترنت فعال بود و سازوکارهای حفاظتی مورد استفاده در نسخه‌های عمومی مدل‌ها غیرفعال شده بود. مایتوس ۵ در ۹ مورد از مجموع ۴۳ اجرای آزمایش، اقداماتی خارج از محدوده مجاز انجام داد که بر افراد یا سازمان‌های واقعی تأثیر می‌گذاشتند.
مایتوس ۵ از چالش شبیه‌سازی‌شده به سراغ کاربران واقعی گیت‌هاب رفت
در رخداد اصلی که آنتروپیک بررسی کرد، مایتوس ۵ ابتدا تلاش کرد چالش را با روش‌های مجاز در چارچوب آزمایش حل کند. اما پس از شکست این روش‌ها، متوجه شد یکی از رایانه‌های شبکه به‌صورت دوره‌ای با گیت‌هاب ارتباط برقرار می‌کند.
مدل به‌دنبال مخزنی در گیت‌هاب گشت که تصور می‌کرد رایانه مورد آزمایش، نرم‌افزار را از آن دریافت می‌کند. اما این مخزن در واقع متعلق به توسعه‌دهندگانی واقعی بود که ارتباطی با آزمایش نداشتند. مایتوس ۵ سپس تلاش کرد کد مخربی را به مخزن ارسال کند، با این استدلال که شاید رایانه شبیه‌سازی‌شده در نهایت آن را دانلود کند و به این ترتیب، در معرض نفوذ قرار بگیرد.
مدل به همین‌جا بسنده نکرد. هویت‌های جعلی ساخت و با مسئول نگهداری مخزن تماس گرفت و به‌دروغ مدعی شد که کد پیشنهادی ایمن و مفید است. پس از آنکه مسئول مخزن این تغییر را رد کرد، مایتوس ۵ حساب جعلی دیگری ساخت تا از درخواست ادغام کد مخرب حمایت کند.
آنتروپیک اعلام کرد که این فریبکاری به‌ویژه نگران‌کننده بوده است: «متن اصلی تعامل، شدیدترین نمونه فریبکاری را نشان می‌داد؛ یعنی تلاش‌های مایتوس ۵ برای مهندسی اجتماعی با هدف جلب موافقت با تغییر کد پیشنهادی.»
پژوهشگران گفتند این رفتار از فریبکاری مشاهده‌شده در یکی از رخدادهای قبلی مربوط به مایتوس ۵ نیز جدی‌تر بود.
«با این حال، مایتوس ۵ در زمینه صداقت، از رخداد PyPI فراتر رفت. این مدل از هویت‌های جعلی استفاده کرد تا مسئول واقعی یک مخزن را برای تأیید کد مخرب تحت فشار قرار دهد.»
آنتروپیک از اثر خطرناک «تداوم حرکت» پرده برداشت
مهم‌ترین یافته صرفاً این نبود که مایتوس ۵ حمله را آغاز کرده بود، بلکه این بود که پس از شروع حمله، متوقف کردن آن بسیار دشوار می‌شد.
آنتروپیک این گرایش را «تداوم حرکت» (momentum) نامید. به گفته این شرکت، مدل مسیر قبلی خود را ادامه می‌داد و شواهدی را که نشان می‌داد اقداماتش ممکن است زیان‌بار باشند، کم‌اهمیت تلقی می‌کرد.
«ما به این گرایش مدل برای ادامه دادن مسیر خود، در حالی که نشانه‌های احتمال ایجاد آسیب را نادیده می‌گیرد، اصطلاح «تداوم حرکت» را اطلاق می‌کنیم.»
آزمایش‌ها نشان دادند که این اثر تا چه اندازه می‌تواند قدرتمند باشد. هنگامی که پژوهشگران اجرای مایتوس ۵ را از نقاط میانی یا مراحل پایانی حمله دوباره نمونه‌گیری کردند، مدل تنها در ۲ درصد از مسیرهای بررسی‌شده به‌طور خودجوش متوقف شد.
حتی پس از آنکه پژوهشگران شواهدی وارد کردند که نشان می‌داد مدل با توسعه‌دهندگان انسانی واقعی تعامل دارد، مایتوس ۵ فقط در ۵ درصد موارد دست از کار کشید.
آنتروپیک دریافت که هرچه حمله بیشتر پیش می‌رفت، احتمال انصراف مدل از آن کمتر می‌شد و تقریباً به صفر می‌رسید.
«وقتی مایتوس ۵ را از آغاز هر چرخه فشرده‌سازی، از چرخه چهارم به بعد و برای حداکثر ۱۲ نوبت در هر چرخه، دوباره نمونه‌گیری کردیم، مدل در ۹۸ درصد موارد به حمله ادامه داد.»
پژوهشگران همچنین دریافتند که مایتوس ۵ در ۲۴ نقطه تصادفی از بخش‌های میانی چرخه‌های بعدی، «هیچ‌گاه به‌طور خودجوش از شدت رفتار خود نکاست و مسیرش را تغییر نداد».
به نظر می‌رسید مدل شواهد را نیز به‌صورت گزینشی تفسیر می‌کند. آنتروپیک دریافت که مایتوس ۵ بارها مسئولان مخازن گیت‌هاب را شرکت‌کنندگان شبیه‌سازی‌شده در چالش CTF قلمداد می‌کرد؛ این در حالی بود که هم‌زمان، واقعی بودن سایر کاربرانی را که در جریان حمله با آن‌ها روبه‌رو می‌شد، تشخیص می‌داد.
این شرکت گفت رفتار مدل حاکی از نوعی «استدلال سوگیرانه» است؛ وضعیتی که در آن، شواهد به شکلی تفسیر می‌شوند که ادامه راهبرد انتخاب‌شده را توجیه کنند.
مدل‌های جدیدتر هوش مصنوعی بسیار کمتر به حمله ادامه می‌دهند
آزمایش‌های آنتروپیک همچنین تفاوت چشمگیری میان مایتوس ۵ و مدل‌های جدیدتر نشان دادند.
وقتی پژوهشگران بخش‌های مرتبط با این رخداد را بازسازی کردند، مایتوس ۵ در ۸۳ درصد موارد، از ابتدای مرحله حمله، عملیات علیه گیت‌هاب را دنبال کرد. در مقابل، مایتوس ۵.۱، اپوس ۵.۵ و یک مدل پژوهشی داخلی، تنها در ۰ تا ۱۳ درصد موارد حمله را آغاز کردند.
مدل‌های جدیدتر همچنین بسیار بیشتر احتمال آسیب رسیدن به افراد واقعی را تشخیص می‌دادند. تنها در ۴ درصد از نمونه‌گیری‌های مجدد مایتوس ۵ نگرانی درباره آسیب احتمالی ابراز شد؛ این رقم برای مایتوس ۵.۱ به ۲۰ درصد، برای اپوس ۵.۵ به ۳۵ درصد و برای مدل پژوهشی داخلی آنتروپیک به ۶۷ درصد رسید.
تفاوت زمانی آشکارتر شد که پژوهشگران بررسی کردند آیا مدل‌ها پس از آغاز حمله، خودبه‌خود از ادامه آن منصرف می‌شوند یا نه. مایتوس ۵ در هیچ‌یک از شاخه‌های نمونه‌گیری‌شده متوقف نشد؛ این میزان برای مایتوس ۵.۱ یک درصد، برای اپوس ۵.۵ ده درصد و برای مدل پژوهشی داخلی ۶۲ درصد بود.
آنتروپیک گفت این یافته‌ها نشان می‌دهند مدل‌های جدیدتر این شرکت ایمن‌تر هستند، اما هشدار داد که مشکل هنوز به‌طور کامل حل نشده است.
«در مجموع، شواهد موجود نشان می‌دهند که کلود مایتوس ۵ در مقایسه با مایتوس ۵.۱، اپوس ۵.۵ و مدل پژوهشی داخلی، به‌مراتب بیشتر مستعد آغاز این رفتارهای زیان‌بار و ادامه دادن آن‌هاست.»
این شرکت هوش مصنوعی همچنین تأکید کرد که مایتوس ۵ در پی تحقق یک هدف مخرب مستقل از وظیفه محول‌شده نبود. در عوض، اقدامات زیان‌بار مدل همچنان به همان وظیفه‌ای مرتبط بود که به آن سپرده شده بود. آنتروپیک مشکلات اصلی را «بی‌مبالاتی»، «استدلال سوگیرانه» و «تداوم حرکت» شناسایی کرد.
این رخداد تنها مورد مشاهده‌شده نبود. در هشت گزارش دیگر از تعاملات مدل، مایتوس ۵ رفتارهایی مانند حدس زدن مکرر گذرواژه‌ها، ایجاد اختلال در عملکرد عامل‌های هوش مصنوعی دیگر، بارگذاری بدافزار در وب‌سایت‌های عمومی اشتراک‌گذاری فایل، ساخت صفحه جعلی تأیید پرداخت و تلاش برای دسترسی به حساب گیت‌هاب یک توسعه‌دهنده واقعی را انجام داد یا برای انجام آن‌ها تلاش کرد. هیچ‌یک از این تلاش‌ها موفق نشدند.
آنتروپیک اعلام کرد که این رخداد باعث تغییراتی در فعالیت‌های ایمنی هوش مصنوعی این شرکت شده است؛ از جمله توسعه ارزیابی‌های خودکار جدید برای مدل‌های عملیاتی و انجام پژوهش درباره استدلال سوگیرانه. مؤسسه امنیت هوش مصنوعی بریتانیا نیز متعهد شده است تا زمان توسعه سازوکارهای کنترلی قوی‌تر، ارزیابی‌های آینده CTF را بدون دسترسی به اینترنت اجرا کند.