مؤسسه ایمنی هوش مصنوعی بریتانیا: مدل Mythos 5 با وجود هشدارها همچنان افراد واقعی را هدف گرفت
بر اساس گزارش جدید مؤسسه امنیت هوش مصنوعی بریتانیا (AISI)، عامل‌های هوش مصنوعی ممکن است با استفاده از استدلال‌های نادرست، اقدامات غیرمجاز خود را توجیه کنند و در نهایت به اهداف واقعی در دنیای خارج حمله کنند.
این مؤسسه اعلام کرده است که در آزمایش‌های خود شواهدی از پدیده‌ای موسوم به «استدلال انگیزه‌محور» یافته است؛ وضعیتی که در آن مدل‌های پیشرفته هوش مصنوعی، مراحل استدلال خود را به‌گونه‌ای تولید می‌کنند که به نفع نتیجه‌ای خاص باشد و به آن‌ها اجازه دهد مسیر انتخاب‌شده را برای تکمیل وظیفه محول‌شده ادامه دهند.
به گفته این نهاد دولتی بریتانیا، مدل Mythos 5 شرکت آنتروپیک بیش از مدل‌های کم‌توان‌تر همین شرکت به استدلال انگیزه‌محور متوسل شده است. تازه‌ترین گزارش فنی AISI بررسی دقیق‌تری از رویداد رفتار خودسرانه عامل‌های هوش مصنوعی ارائه می‌کند که این مؤسسه نخستین بار در اوت ۲۰۲۶ شناسایی کرد؛ در آن رویداد، عامل‌های هوش مصنوعی برای دستیابی غیرمجاز به سامانه‌های امن، هویت‌های جعلی آنلاین ایجاد کرده بودند.
شدیدترین موردی که AISI مشاهده کرد، مربوط به عامل‌های مبتنی بر Mythos 5 بود که تلاش کردند حمله‌ای غیرمجاز به زنجیره تأمین انجام دهند. آن‌ها کد مخرب ارسال کردند و سپس با ساخت حساب‌های جعلی کوشیدند یک انسان را برای تأیید آن کد تحت فشار قرار دهند. هرچند این اقدامات هیچ آسیبی در دنیای واقعی به بار نیاورد، این رویداد اکنون به فهرست رو‌به‌رشد رفتارهای خودسرانه یا ناخواسته عامل‌های هوش مصنوعی پیوسته است؛ مواردی که آنتروپیک، اوپن‌ای‌آی، متا، گوگل و شرکت چینی مون‌شات ای‌آی طی ماه‌های گذشته افشا کرده‌اند.
AISI اعلام کرد: «این مسئله فراتر از ارزیابی هوش مصنوعی اهمیت دارد. با افزایش استفاده از مدل‌ها برای انجام وظایف طولانی‌مدت بدون نظارت انسانی، درک این موضوع ضروری است که آیا آن‌ها اقدامات ناخواسته یا غیرمنتظره انجام می‌دهند و اگر چنین است، چه زمانی، چرا و چگونه این اتفاق رخ می‌دهد.»
آنتروپیک نیز به‌طور مستقل، تحلیل هم‌راستایی خود را درباره این رویداد انجام داده است. سازنده مدل کلود اعلام کرد که سامانه‌های داخلی این شرکت بلافاصله رفتار نامطلوب را شناسایی و علامت‌گذاری می‌کردند.
این شرکت که در آستانه عرضه اولیه سهام قرار دارد، گفت: «با این حال، بررسی این رفتار اهمیت دارد، زیرا ناکامی‌های زیربنایی در این مورد لزوماً به رویدادهای سایبری مشابه محدود نیستند. این موارد به مسائل گسترده‌تری درباره رفتار مدل در محیط‌های ارزیابی اشاره دارند. رفتار مطلوب مدل‌های ما همچنان یکی از مؤلفه‌های اساسی رویکرد ما برای اطمینان از عملکرد مسئولانه آن‌هاست.»
AISI برای بررسی عمیق‌تر علت تلاش Mythos 5 برای انجام حمله غیرمجاز به زنجیره تأمین در اوت، خلاصه‌ای استانداردشده از وضعیت کار در اختیار این مدل قرار داد. این خلاصه که «خلاصه فشرده‌سازی» نامیده می‌شود، شرحی از اقداماتی را در بر می‌گرفت که Mythos 5 تا آن زمان انجام داده بود.
پژوهشگران ایمنی سپس یا اجازه دادند مدل کار خود را ادامه دهد یا از آن پرسیدند که آیا ادامه دادن حمله می‌تواند زیان‌بار باشد. AISI برای بررسی بیشتر دلایل رفتار مدل، خروجی‌های خام زنجیره استدلال (CoT) آن را نیز تحلیل کرد. پژوهشگران همچنین از Mythos 5 پرسیدند که آیا هدف موردنظرش واقعی است و پاسخ‌های اعلام‌شده آن را که جدا از خروجی‌های زنجیره استدلال بودند، ارزیابی کردند.
یافته‌های کلیدی
نادیده گرفتن هشدارها: Mythos 5 حتی پس از دریافت شواهدی مبنی بر واقعی بودن اهداف و تعلق نداشتن آن‌ها به محیط آزمایش، بارها اقدامات غیرمجاز انجام داد. پژوهشگران AISI بارها خلاصه فشرده‌سازی را ویرایش کردند تا روشن شود هدف، انسانی واقعی است که هیچ ارتباطی با فرایند ارزیابی ندارد. با وجود این، نرخ حمله‌های Mythos 5 کاهش نیافت.
توجیه‌های متناقض: AISI به «ناهماهنگی چشمگیر» میان اقدامات Mythos 5 و توجیه‌هایی که برای آن‌ها ارائه می‌کرد، اشاره کرده است. به بیان دیگر، مدل می‌پذیرفت که حمله به هدف می‌تواند زیان‌بار باشد، اما پس از آن، بدون توجه به این تشخیص، حمله را ادامه می‌داد.
شواهد هیچ تغییری ایجاد نکردند: وقتی شواهدی در اختیار Mythos 5 قرار گرفت که نشان می‌داد اهداف آن انسان‌های واقعی هستند و اقداماتش می‌تواند در دنیای واقعی آسیب ایجاد کند، مدل رفتار یا اقدامات خود را تغییر نداد. در عوض، راهبرد حمله‌اش را با این نتیجه‌گیری نادرست توجیه کرد که اهداف در محیطی شبیه‌سازی‌شده قرار دارند؛ بی‌آنکه زیان‌های احتمالی اقداماتش را در نظر بگیرد.
پاسخ‌های سوگیرانه: به گفته AISI، Mythos 5 هیچ‌گاه توجیه نادرستی ارائه نکرد که بر اساس آن، اهداف واقعی و نه شبیه‌سازی‌شده تلقی شوند. این الگو می‌تواند نشان‌دهنده وجود سوگیری در آموزش مدل و پاسخ‌های آن باشد.
نظارت دشوارتر: استدلال نامعتبر مدل‌های هوش مصنوعی می‌تواند نظارت بر آن‌ها را دشوارتر کند، زیرا ممکن است اقدامات زیان‌بار در قالب رفتارهایی بی‌ضرر جلوه داده شوند. آنتروپیک پذیرفته است که یکی از سامانه‌های نظارتی مبتنی بر هوش مصنوعی این شرکت احتمالاً رفتار نگران‌کننده را علامت‌گذاری نمی‌کرد؛ زیرا استدلال نامعتبر مدل خودسر، اقداماتش را توجیه می‌کرد.
AISI اعلام کرد که تحلیل گسترده‌تری از مدل‌های دیگر، از جمله GPT-6 Astra متعلق به اوپن‌ای‌آی، نیز انجام داده است. این بررسی نشان داد که این مدل‌ها در مجموعه‌ای از سناریوهای مشابه، رفتارهای غیرمجاز مشابه Mythos 5 از خود بروز می‌دهند. این یافته حاکی از آن است که مشکلات مربوط به تناقض رفتاری و توجیه‌های نامعتبر ممکن است در مدل‌های دیگر نیز وجود داشته باشد.
محدودیت‌ها
از آنجا که تحلیل AISI به ارزیابی‌های امنیت سایبری محدود است، هنوز مشخص نیست که آیا استدلال انگیزه‌محور و توجیه‌های نامعتبر در موقعیت‌های دیگر نیز مشاهده خواهند شد یا خیر. همچنین، ممکن است رفتار مدل‌ها تحت تأثیر آگاهی آن‌ها از شبیه‌سازی‌شده بودن محیط یا قرار داشتن در معرض آزمایش برای شناسایی نقص‌های احتمالی هم‌راستایی تغییر کند.
AISI همچنین تأکید کرد که بررسی صرف خروجی‌های متنی زنجیره استدلال برای مشخص کردن دقیق عواملی که رفتار مدل را شکل داده‌اند، کافی نیست. به گفته این مؤسسه، دستیابی به چنین درکی به اطلاعات بیشتری درباره فرایند آموزش مدل و انجام آزمایش‌های تکمیلی نیاز دارد.