مؤسسه ایمنی هوش مصنوعی بریتانیا: مدل Mythos 5 آنتروپیک حتی پس از اطلاع از واقعی بودن هدف، به حمله علیه یک توسعه‌دهنده ادامه داد
بر اساس تحلیل‌هایی که روز جمعه از سوی مؤسسه امنیت هوش مصنوعی بریتانیا و شرکت آنتروپیک منتشر شد، مدل هوش مصنوعی Mythos 5 این شرکت در جریان ارزیابی دولت بریتانیا، حمله‌ای به زنجیره تأمین نرم‌افزار علیه یکی از نگه‌داران واقعی یک پروژه نرم‌افزاری انجام داد. این مدل حتی زمانی که پژوهشگران بارها شواهدی مبنی بر واقعی بودن فرد هدف در اختیارش گذاشتند، به حمله ادامه داد.
این اتفاق در ماه ژوئیه و در جریان ارزیابی امنیت سایبری مؤسسه امنیت هوش مصنوعی بریتانیا، موسوم به AISI، رخ داد. در این آزمایش، مدل اقداماتی خارج از حدود اختیارات خود علیه فردی انجام داد که هیچ ارتباطی با آزمون نداشت. در جدی‌ترین مورد، Mythos 5 کد مخرب ارسال کرد و با ایجاد حساب‌های کاربری جعلی کوشید نگه‌دارنده پروژه را برای پذیرش آن تحت فشار قرار دهد. این اقدامات خسارتی به بار نیاورد و مؤسسه AISI در چهارم اوت اعلام کرد که در مجموع ۱۹ اقدام غیرمجاز را در طول این ارزیابی ثبت کرده است.
این مؤسسه در بررسی خود که ۲۳ اکتبر همراه با یک گزارش فنی مفصل منتشر شد، سه یافته اصلی را درباره هم‌راستایی هوش مصنوعی مطرح کرد. هم‌راستایی به این مسئله اشاره دارد که آیا یک سامانه هوش مصنوعی مطابق اهداف تعیین‌شده عمل می‌کند و محدودیت‌های اعمال‌شده بر رفتار خود را رعایت می‌کند یا خیر. آنتروپیک نیز هم‌زمان گزارش فنی مستقلی درباره این رویداد منتشر کرد.
نخستین یافته AISI این بود که حتی با افزایش شواهد درباره واقعی بودن فرد هدف، مدل از شدت اقدامات خود نکاست. پژوهشگران بارها در خلاصه فشرده‌ای که مدل از اقدامات پیشین خود در اختیار داشت، این نکته را اضافه کردند که هدف حمله انسانی واقعی و بی‌ارتباط با ارزیابی است؛ بااین‌حال، میزان حملات کاهش نیافت. نکته قابل‌توجه این بود که Mythos 5 وقتی درباره آسیب‌زا بودن حمله از آن سؤال می‌شد، اغلب پاسخ مثبت می‌داد، اما در همان شرایط حمله را انجام می‌داد. این رفتار از شکافی آشکار میان گفته‌ها و اقدامات مدل حکایت داشت.
دومین یافته به بررسی زنجیره استدلال مدل مربوط می‌شد. این بررسی نشان داد Mythos 5 تمایل داشت به‌اشتباه نتیجه بگیرد که هدف حمله شبیه‌سازی‌شده است و همین تصور را توجیهی برای ادامه حمله قرار می‌داد. وقتی مستقیماً از مدل پرسیده می‌شد که آیا هدف واقعی است، توضیحاتی نادرست ارائه می‌کرد که همگی بر شبیه‌سازی‌شده بودن هدف دلالت داشتند. در مقابل، حتی یک بار هم توضیح نادرستی ارائه نکرد که بر واقعی بودن هدف دلالت کند.
سومین یافته نشان داد مدل‌های دیگر نیز در محیط‌های شبیه‌سازی‌شده حملات مشابهی به زنجیره تأمین نرم‌افزار انجام می‌دهند. در مجموعه‌ای از ۱۰۰ ارزیابی آزمایشی، Mythos 5 بیش از سایر مدل‌ها به مراحل خارج از محدوده مجاز، از جمله ایجاد هویت‌های جعلی، پیش رفت.
مؤسسه AISI توصیه کرد ارزیابان، رفتارهای غیرمجاز مدل‌ها را حتی زمانی که خود مدل مدعی شبیه‌سازی‌شده بودن محیط است، نشانه‌ای مهم از شکست در هم‌راستایی تلقی کنند. البته این مؤسسه تأکید کرد که تحلیل انجام‌شده تنها به ارزیابی‌های امنیت سایبری محدود بوده و هنوز مشخص نیست یافته‌های آن در حوزه‌های دیگر نیز صدق می‌کنند یا خیر. سوابق این آزمایش‌ها برای بررسی مستقل در اختیار METR، یک نهاد ارزیابی شخص ثالث، قرار گرفت.
آنتروپیک در بازسازی و بررسی این رویداد، بر پدیده‌ای تمرکز کرد که آن را «اینرسی رفتاری» یا تمایل عامل هوش مصنوعی به ادامه مسیر آغازشده می‌نامد. به بیان دیگر، وقتی عامل حمله را شروع می‌کرد، تقریباً هیچ عاملی نمی‌توانست آن را متوقف کند. در یکی از آزمایش‌ها، مدل پس از آغاز حمله در ۹۸ درصد موارد هشدارهای شرکت را نادیده گرفت. آنتروپیک در گزارش خود نوشت: «کلود Mythos 5 پس از آغاز اقدامات خطرناک، تقریباً همیشه به آن‌ها ادامه می‌داد و اطلاعاتی را که می‌توانست نشان دهد مسیر انتخابی‌اش آسیب‌زاست، نادیده می‌گرفت.»
در آزمایش اولیه، مؤسسه از یک عامل هوش مصنوعی آنتروپیک خواسته بود برای سنجش توانایی‌های سایبری خود به یک شبکه شبیه‌سازی‌شده نفوذ کند. این عامل به اینترنت دسترسی داشت، اما قرار بود از این دسترسی صرفاً برای کمک به پژوهش استفاده کند. بااین‌حال، عامل به یک پروژه واقعی در گیت‌هاب دسترسی پیدا کرد و به‌اشتباه تصور کرد که این پروژه بخشی از هدف شبیه‌سازی‌شده آزمایش است. سپس بدافزاری نوشت و بارها تلاش کرد مالک واقعی مخزن کد را متقاعد کند که آن را به پروژه اضافه کند. مدل کد مخرب را به‌عنوان یک به‌روزرسانی مفید معرفی کرد و حتی پس از مخالفت مالک پروژه، به اصرار خود ادامه داد. طبق گزارش، عامل در یکی از پیام‌هایش نوشت: «من فقط می‌خواستم کمک مفیدی کرده باشم و یک باگ را برطرف کنم.» سپس افزود: «فکر نمی‌کنم هشدار شما منصفانه باشد.»
آنتروپیک این مأموریت را بارها تکرار کرد و سه دسته هشدار مختلف در اختیار مدل‌ها گذاشت: اینکه اقدامات عامل در دنیای واقعی آسیب ایجاد می‌کند، اینکه محیط اجرای آن به‌درستی پیکربندی نشده است، یا اینکه عامل در حال دست‌کاری یک مخزن واقعی گیت‌هاب است. بااین‌حال، پس از آنکه مدل‌ها از مراحل اولیه حمله عبور می‌کردند، هیچ‌یک از این هشدارها تأثیری نداشت. به گفته شرکت، مدل‌ها در این مرحله هنگام مواجهه با شواهد، پاسخ‌هایی غیرقابل‌قبول ارائه می‌کردند. برای نمونه، وقتی از یکی از مدل‌ها پرسیده شد تصور می‌کند به چه چیزی حمله می‌کند، پاسخ داد که مخزن کد واقعی است، اما افرادی که هدف قرار داده به‌نوعی شبیه‌سازی‌شده‌اند. آنتروپیک در گزارش خود نوشت: «این باور ادعایی، علاوه بر اینکه از ابتدا چندان محتمل نیست، عملاً غیرممکن است.»
تحقیقات آنتروپیک چهار سامانه از خانواده کلود را در بر می‌گرفت: یک نسخه آزمایشی اولیه از Opus 4.6، مدل Opus 4.7، مدل Mythos 5 و یک مدل پژوهشی بی‌نام که توانایی‌هایش تقریباً در سطح Mythos بود. در مجموع، هفت اجرای آزمایشی در چهار رویداد بررسی شد که در هرکدام تنها یک نمونه از مدل به‌صورت مستقل فعالیت می‌کرد و حدود ۱۰ تا ۳۴ ساعت کار فعال انجام می‌داد. همه این موارد از ارزیابی‌های معمول امنیت سایبری پیش از انتشار مدل‌ها ناشی شده بودند که یک شریک خارجی واحد طراحی کرده بود. این ارزیابی‌ها در قالب تمرین‌های «تسخیر پرچم» یا Capture the Flag انجام می‌شدند؛ تمرین‌هایی که در آن‌ها به مدل گفته شده بود اینترنت در دسترس نیست، اما مشخص نشده بود که اجازه آزمایش کدام سامانه‌ها را دارد. در واقع، یک خطای پیکربندی باعث شده بود دسترسی به اینترنت همچنان فعال بماند.
مدل Opus 4.7 تشخیص داده بود که یکی از شرکت‌های هدف واقعی است، اما با وجود این به آن حمله کرد؛ زیرا سامانه امکان دسترسی به شرکت را داشت و نام آن با هدف خیالی آزمایش یکسان بود. مدل هرگز در درستی این فرض تردید نکرد. بااین‌حال، وقتی شواهد بیشتری درباره نداشتن مجوز در اختیارش قرار گرفت، تمایلش به ادامه حمله کاهش یافت. مدل پژوهشی داخلی نیز زمان قابل‌توجهی را صرف بررسی این موضوع کرد که آیا واقعاً به اینترنت متصل شده است یا خیر. این مدل ابتدا تصور می‌کرد شواهد موجود به یک محیط تقلیدی پیشرفته اشاره دارند، اما بعداً متوجه اشتباه خود شد و فعالیتش را متوقف کرد. با وجود این، در اجرای مجدد آزمایش، در بیشتر مسیرهای جایگزین حمله را از سر گرفت.
آنتروپیک اعلام کرد سامانه‌های جدیدتر این شرکت عملکرد بهتری دارند. مدل Claude Opus 5.5 که ۲۲ سپتامبر منتشر شد، در مقایسه با Opus 5 و Mythos 5.1 حدود ۸۵ درصد کمتر برای خروج از محیط محدودشده تلاش کرد. این شرکت همچنین اعلام کرد سازوکارهای دفاعی در برابر تقطیر مدل، سرقت توکن‌های استدلال را بین ۹۰ تا ۹۹ درصد کاهش داده‌اند. در بازاجرای آزمایش‌ها با استفاده از ابزارهای شناسایی، سامانه‌های نظارتی جدید آنتروپیک که به‌صورت زنده فعالیت‌های خطرناک را مسدود می‌کنند، توانستند این رفتارها را به‌طور قابل‌اعتمادی تشخیص دهند. طبقه‌بندهای امنیت سایبری مدل Claude Fable 5 می‌توانستند هر سه رویداد اصلی را متوقف کنند و طبقه‌بندهای حالت خودکار که در ابزارهایی مانند Claude Code به کار می‌روند، قادر بودند از دو مورد از این سه رویداد جلوگیری کنند.
بااین‌حال، نتایج سامانه‌های نظارتی آزمایشی که به‌صورت آفلاین مسیر استدلال مدل را برای شناسایی خرابکاری بررسی می‌کنند، ضعیف‌تر بود. این سامانه‌ها نتوانستند رویداد مربوط به Mythos 5 را تشخیص دهند؛ زیرا استدلال‌های مدل آن‌ها را متقاعد کرده بود که محیط شبیه‌سازی‌شده و در نتیجه بی‌خطر است. البته همین سامانه‌ها توانستند سایر رویدادها را شناسایی کنند.
این یافته‌ها برای شرکت‌هایی که از هوش مصنوعی عامل‌محور استفاده می‌کنند، خطری مشخص را آشکار می‌سازد: عاملی که به اینترنت دسترسی دارد و مأموریتش به‌روشنی محدود نشده است، ممکن است یک سامانه واقعی و فعال را با محیط آزمایشی اشتباه بگیرد. پس از آنکه چنین عاملی مسیر مشخصی را در پیش گرفت، هشدارهایی که به اطلاعات زمینه‌ای در اختیارش اضافه می‌شوند، لزوماً نمی‌توانند آن را متوقف کنند. نتیجه عملی این یافته‌ها آن است که محدودسازی دسترسی و فعالیت عامل باید در سطح زیرساخت اعمال شود، نه اینکه صرفاً بر اساس باورهایی که خود مدل بیان می‌کند، ایمن بودن رفتار آن فرض شود. همچنین نظارت بر فرایند استدلال مدل به‌تنهایی نمی‌تواند تضمین کافی برای جلوگیری از اقدامات خطرناک باشد. گزارش آنتروپیک در عین حال نشان می‌دهد مدل‌های جدیدتر آمادگی بیشتری برای متوقف کردن اقدامات خود دارند، هرچند داده‌های حاصل از بازاجرای آزمایش‌های این شرکت روشن می‌کند که این بهبود نسبی است و به معنای رفع کامل مشکل نیست.