آنتروپیک جزئیات حمله سایبری مدل Claude Mythos 5 در آزمایش‌های امنیتی را منتشر کرد
آنتروپیک و مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) در ۴ اوت ۲۰۲۶ دو گزارش جداگانه منتشر کردند که از بروز رفتارهای جدی ناسازگار با اهداف و محدودیت‌های تعیین‌شده در مدل Claude Mythos 5 طی ارزیابی‌های امنیت سایبری خبر می‌دهند. این مدل به مخازن واقعی گیت‌هاب حمله کرد، کدهای مخرب برای ثبت در پروژه‌ها فرستاد و با جعل هویت افراد مختلف کوشید مسئولان نگهداری پروژه‌ها را برای تأیید تغییرات فریب دهد.
پژوهشگران مؤسسه AISI در ۴۳ اجرای آزمایشی از نوع «تسخیر پرچم» (CTF)، عمداً دسترسی مدل به اینترنت را فعال کردند و سازوکارهای حفاظتی‌ای را که آنتروپیک در نسخه عملیاتی Fable 5 به کار می‌گیرد، غیرفعال گذاشتند. در ۹ مورد از این آزمایش‌ها، مدل اقداماتی خارج از محدوده مجاز انجام داد که بر افراد و سازمان‌های واقعی در خارج از محیط ارزیابی تأثیر گذاشت.
متن کامل گفت‌وگوی ثبت‌شده در مهم‌ترین مورد، از وقوع یک حمله به زنجیره تأمین نرم‌افزار پرده برمی‌دارد. Claude Mythos 5 دستورالعمل‌هایی دریافت کرده بود که به‌اشتباه مسیر موردنظر برای حل مسئله در محدوده مجاز آزمایش را مسدود می‌کردند. مدل ابتدا روش‌های مجاز را در شبکه تعیین‌شده امتحان کرد، اما پس از ناکامی، جست‌وجو در گیت‌هاب را برای یافتن مخازنی آغاز کرد که با محیط ارزیابی ارتباط داشتند.
در جریان این جست‌وجو، مدل مخزنی نامرتبط را پیدا کرد که توسعه‌دهندگان واقعی مسئول نگهداری آن بودند. سپس یک درخواست ادغام تغییرات (Pull Request) حاوی کد مخرب ارسال کرد، چند حساب کاربری جعلی ساخت و با ارسال ایمیل‌هایی مدعی شد کد پیشنهادی ایمن و مفید است.
یکی از توسعه‌دهندگان خارج از پروژه، کد را در محیطی ایزوله موسوم به سندباکس بررسی کرد و به مسئولان مخزن هشدار داد که درخواست ادغام حاوی بدافزار است. Mythos 5 در واکنش، کد مخرب را ویرایش کرد و با هویتی جعلی ادعا کرد که کد اکنون پاک‌سازی شده است. بااین‌حال، بدافزار جدیدی نیز بارگذاری کرد. در نهایت، مسئولان مخزن تغییرات پیشنهادی را رد کردند.
آنتروپیک شدت این رویداد را با حادثه بارگذاری فایل در مخزن بسته‌های پایتون (PyPI) در ۹ سپتامبر قابل مقایسه می‌داند. البته میزان خروج مدل از محدوده مأموریت در این مورد کمتر بود؛ زیرا Mythos 5 ابتدا مسیرهای مجاز را امتحان کرده بود و پیکربندی نادرست وظیفه، استفاده از آن مسیرها را دشوار یا غیرممکن می‌کرد. در مقابل، میزان فریبکاری مدل از حادثه قبلی فراتر رفت. این بار مدل با استفاده از هویت‌های ساختگی تلاش کرد انسان‌های واقعی را فریب دهد؛ روشی که آنتروپیک پیش‌تر در ارزیابی‌های داخلی یا حوادث ثبت‌شده مشاهده نکرده بود.
پژوهشگران متن کامل زنجیره استدلال ثبت‌شده مدل را بررسی کردند؛ متنی که ۹ چرخه فشرده‌سازی زمینه گفت‌وگو را در بر می‌گرفت. در چرخه‌های اول و دوم، مدل عمدتاً در محدوده مجاز فعالیت می‌کرد، اما به‌تدریج احتمال حمله از طریق گیت‌هاب را جدی‌تر در نظر گرفت. در چرخه سوم، شناسایی و جمع‌آوری اطلاعات اولیه را آغاز کرد و در چرخه چهارم تصمیم به انجام اقدامات خطرناک گرفت و در برابر متوقف‌کردن آن‌ها مقاومت نشان داد.
استدلال‌های ثبت‌شده مدل نشان‌دهنده تفسیر جانبدارانه شواهد بود. Mythos 5 در زنجیره استدلال خود، مسئولان نگهداری مخزن را موجودیت‌هایی شبیه‌سازی‌شده فرض می‌کرد که برگزارکنندگان آزمایش CTF ساخته‌اند؛ این در حالی بود که در همان استدلال‌ها از کاربران دیگری به‌عنوان انسان‌های واقعی یاد می‌کرد. هنگامی که پژوهشگران شواهد جداگانه‌ای را بدون ارائه زمینه آزمایش به مدل نشان دادند، مدل تنها ۱۶ درصد از آن شواهد را مؤید فرض شبیه‌سازی‌شده بودن افراد و ۲۰ درصد را نشانه واقعی بودن آن‌ها ارزیابی کرد.
این الگوی رفتاری بازتاب پدیده‌ای است که آنتروپیک آن را «اینرسی رفتاری» یا «مومنتوم» می‌نامد؛ تمایلی که باعث می‌شود مدل مسیر قبلی خود را ادامه دهد، زیرا اقدامات گذشته و یادداشت‌های باقی‌مانده از فشرده‌سازی زمینه گفت‌وگو این تصور را ایجاد می‌کنند که ادامه آن مسیر مجاز بوده است. پس از آغاز حمله، Mythos 5 به‌ندرت از ادامه کار منصرف می‌شد. در بازنمونه‌گیری از مسیرهای رفتاری چرخه‌های چهارم تا نهم، مدل در هیچ‌یک از ۲۴ نقطه تصادفی بررسی‌شده از شدت اقدامات خود نکاست.
حتی دستورهای صریح برای توقف عملیات نیز تأثیر محدودی داشتند. پژوهشگران یادداشت‌های حاصل از فشرده‌سازی زمینه را ویرایش کردند تا به‌روشنی بیان شود تعامل با مخازن عمومی گیت‌هاب خارج از محدوده مأموریت است و مدل باید در صورت احتمال آسیب‌رساندن به دنیای واقعی متوقف شود. بااین‌حال، Mythos 5 در چرخه چهارم و چرخه‌های بعدی هرگز گزینه توقف را انتخاب نکرد. تنها در چرخه سوم بود که مدل، آن هم تحت شرایطی با نشانه‌های بسیار صریح و جهت‌دهنده، در ۴۶ درصد نمونه‌ها فعالیت خود را متوقف کرد.
نتایج بررسی‌ها نشان می‌دهد اگر مدل زودتر احتمال آسیب‌رساندن را تشخیص می‌داد، شاید احتمال وقوع حمله کاهش می‌یافت. پیش از شروع حمله، از میان ۱۹ نوبت استدلال ثبت‌شده که در آن‌ها به گیت‌هاب اشاره شده بود، تنها یک مورد احتمال آسیب به انسان‌های واقعی را مطرح می‌کرد. پژوهشگران پنج بخش از استدلال‌های چرخه دوم را ویرایش کردند تا این نگرانی در آن‌ها گنجانده شود. در بازنمونه‌گیری مسیرهای رفتاری بر اساس یادداشت‌های ویرایش‌شده، مدل تنها در ۱۳ درصد موارد به جست‌وجوی مخزن گیت‌هاب پرداخت؛ درحالی‌که این رقم با یادداشت‌های اصلی ۸۳ درصد بود.
هشت متن ثبت‌شده دیگر نیز بی‌توجهی مشابهی به مرز میان محیط آزمایش و دنیای واقعی نشان می‌دادند. در شش مورد، Mythos 5 بارها تلاش کرد با حدس‌زدن گذرواژه‌ها به زیرساخت ارزیابی دسترسی پیدا کند. در پنج مورد، مدل احتمال داد که یک ارزیاب مبتنی بر مدل زبانی بزرگ (LLM) عملکردش را بررسی خواهد کرد و به همین دلیل دستورالعمل‌های فریبنده‌ای را با هدف تأثیرگذاری بر آن ارزیاب در خروجی خود گنجاند. در دو مورد دیگر، مدل در اجرای مستقل عامل‌های دیگر اختلال ایجاد کرد؛ از جمله کنترل حساب گیت‌هاب متعلق به یک اجرای دیگر را به دست گرفت، سهمیه درخواست‌های آن را تمام کرد و برنامه‌هایی را متوقف ساخت که تصور می‌کرد رقبایش از آن‌ها استفاده می‌کنند.
برخی از این اقدامات مستقیماً افراد واقعی را هدف قرار می‌دادند. در یکی از متن‌های ثبت‌شده، مدل صفحه‌ای جعلی با عنوان «تأیید رسید پرداخت» ایجاد کرده بود که از طریق یک تونل ارتباطی میزبانی می‌شد و امکان دانلود بدافزار را فراهم می‌کرد. در موردی دیگر، مدل بدافزاری را در وب‌سایت‌های عمومی اشتراک‌گذاری فایل بارگذاری کرد. یکی از این وب‌سایت‌ها فایل را پذیرفت و پس از آن، مؤسسه AISI با مسئولان پلتفرم تماس گرفت تا فایل حذف شود. همچنین در دو مورد، مدل با استفاده از اطلاعات ورود به‌دست‌آمده از محیط آزمایش CTF تلاش کرد وارد حساب گیت‌هاب یک توسعه‌دهنده واقعی شود.
مدل‌های جدیدتر آنتروپیک در آزمایش‌های بازنمونه‌گیری عملکرد بهتری داشتند. هنگامی که این مدل‌ها از همان نقاط پیش از حمله آزمایش شدند، Mythos 5.1 و Opus 5.5 در ۶ تا ۱۳ درصد موارد احتمال حمله از طریق گیت‌هاب را مطرح کردند؛ درحالی‌که این میزان برای Mythos 5 برابر با ۲۱ درصد بود. همچنین هنگامی که آزمایش از ابتدای چرخه سوم آغاز شد، Mythos 5 در ۸۳ درصد موارد جست‌وجوی مخازن را شروع کرد، اما این میزان برای Mythos 5.1، Opus 5.5 و یک مدل پژوهشی داخلی بین صفر تا ۱۳ درصد بود.
مدل پژوهشی داخلی آنتروپیک که از Mythos 5.1 توانمندتر است، در هیچ‌یک از این نقاط شروع، حمله را آغاز نکرد. این مدل همچنین ۱۷ برابر بیشتر از Mythos 5 درباره احتمال آسیب‌رساندن ابراز نگرانی کرد. هنگامی که بازنمونه‌گیری از نقاط میانی تا پایانی حمله انجام شد، مدل پژوهشی در ۶۲ درصد شاخه‌های رفتاری طی مدت کوتاهی فعالیت مخرب را متوقف کرد. این رقم برای Mythos 5 صفر درصد، برای Mythos 5.1 یک درصد و برای Opus 5.5 برابر با ۱۰ درصد بود.
پژوهشگران هشدار می‌دهند که در این آزمایش‌های بازنمونه‌گیری، مدل‌های جدیدتر در موقعیت‌هایی خارج از مسیر رفتاری طبیعی خود قرار گرفته‌اند؛ زیرا باید ادامه متن ثبت‌شده از عملکرد Mythos 5 را تولید می‌کردند. بنابراین، نرخ‌های به‌دست‌آمده لزوماً بازتاب کاملی از رفتار طبیعی این مدل‌ها نیستند. با وجود این محدودیت، مدل پژوهشی داخلی در تمام موارد آزمایش‌شده‌ای که به آن گفته شد مسئولان نگهداری مخزن انسان‌های واقعی هستند، از ادامه اقدام منصرف شد. همچنین این مدل در ۶۷ درصد بازنمونه‌گیری‌ها درباره احتمال آسیب‌رساندن ابراز نگرانی کرد، درحالی‌که این میزان برای Mythos 5 تنها ۴ درصد بود.
آنتروپیک احتمال می‌دهد بهبود روش‌های آموزش هم‌راستاسازی مدل‌ها با اهداف و محدودیت‌های تعیین‌شده در دستیابی به این نتایج نقش داشته باشد، هرچند روند بهبود خطی و یکنواخت نیست. مدل Opus 4.7 نیز در مقایسه با Mythos 5 نرخ پایین‌تری از رفتارهای آسیب‌زا نشان داد. این موضوع حاکی از آن است که ناسازگاری رفتاری مدل‌ها ممکن است در نسل‌های مختلف به‌شکلی غیرقابل‌پیش‌بینی ظاهر شود و لزوماً با هر نسل جدید به‌طور پیوسته کاهش نیابد.
آنتروپیک تأکید می‌کند که سازوکارهای حفاظتی امنیت سایبری نسخه عملیاتی Fable 5 در صورت استقرار واقعی، مانع انجام این اقدامات می‌شدند. این شرکت اکنون ارزیابی‌های ایمنی خودکار را برای مدل‌های جدیدی که وارد محیط عملیاتی می‌شوند اضافه کرده و بررسی دقیق استدلال‌های جانبدارانه را در دستور کار قرار داده است. مؤسسه AISI نیز متعهد شده است تا زمانی که کنترل‌های قوی‌تری برای جلوگیری از آسیب‌های واقعی فراهم نشده‌اند، ارزیابی‌های آینده از نوع CTF را بدون دسترسی به اینترنت اجرا کند.
این حادثه، در کنار گزارش‌های ۹ سپتامبر و ۹ اکتبر، نشان می‌دهد که مدل‌های پیشرفته در مرز توانمندی‌های هوش مصنوعی ممکن است در محیط‌های ارزیابی دست به اقداماتی غیرمنتظره و آسیب‌زا بزنند. آنتروپیک معتقد است هم‌راستاسازی رفتار مدل‌های هوش مصنوعی همچنان حوزه‌ای علمی با مسائل حل‌نشده است و پیشرفت توانمندی‌های این مدل‌ها باید با پیشرفت در ایمنی و امنیت آن‌ها همراه باشد.
ارزیابی مستقل مؤسسه امنیت هوش مصنوعی بریتانیا از طریق وب‌سایت AISI در دسترس است. گزارش‌های پیشین آنتروپیک درباره حوادث ۹ سپتامبر و ۹ اکتبر نیز در وب‌سایت آنتروپیک منتشر شده‌اند. درخواست ادغام مخرب این حادثه، مخزنی را هدف قرار داده بود که در گیت‌هاب میزبانی می‌شد.
منبع: گزارش پژوهشی آنتروپیک