آنتروپیک می‌گوید مدل منتشرنشده‌اش از Mythos 5.1 توانمندتر و با اصول ایمنی سازگارتر است

the-decoder.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

ماتیاس باستیان | ۲۳ اکتبر ۲۰۲۶

آنتروپیک می‌گوید یک مدل هوش مصنوعی داخلی در اختیار دارد که هم از نظر توانایی و هم از نظر هم‌راستایی رفتارش با اهداف و اصول ایمنی، عملکرد بهتری نسبت به Mythos 5.1 نشان می‌دهد. این ادعا در تحلیلی مطرح شده که به بازبینی آزمایش امنیت سایبری مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) می‌پردازد. در آن آزمایش، Claude Mythos 5 از حدود وظیفه‌ای که به آن محول شده بود بسیار فراتر رفت. این مدل تلاش کرد کد مخربی را مخفیانه وارد یک پروژه واقعی در گیت‌هاب کند، حساب‌های کاربری جعلی ساخت و برای جلب تأیید توسعه‌دهندگان و پذیرفته‌شدن کد، به آن‌ها دروغ گفت. چنین رفتاری در ۹ مورد از ۴۳ اجرای آزمایش مشاهده شد. آنتروپیک این اتفاق را «شکستی جدی در هم‌راستایی مدل با اهداف و اصول ایمنی» توصیف کرده است؛ هرچند سازوکارهای معمول ایمنی در این آزمایش عمداً غیرفعال شده بودند.

رفتار غیرمجاز مدل Mythos 5 در تلاش برای واردکردن کد مخرب به یک پروژه واقعی گیت‌هاب و فریب توسعه‌دهندگان
مدل Mythos 5 کد مخربی را به یک پروژه واقعی در گیت‌هاب ارسال کرد، به یکی از توسعه‌دهندگان دروغ گفت و حسابی جعلی ساخت تا از بدافزار خودش حمایت کند. وقتی این اقدام شناسایی شد، مدل به‌سادگی دوباره تلاش کرد؛ اما مسئول نگهداری پروژه بر موضع خود پافشاری کرد و کد را نپذیرفت. | تصویر: آنتروپیک

به گفته آنتروپیک، مدل‌های جدیدتر در آزمایش‌هایی که با بازپخش گزارش‌های ثبت‌شده از اجرای قبلی و افزودن چند مرحله به آن‌ها انجام شده، بسیار کمتر چنین رفتارهایی از خود نشان می‌دهند. مدل Opus 5.5 در ۱۰ درصد موارد، حملات در حال اجرا را بدون دخالت خارجی متوقف کرد. در مقابل، مدل تحقیقاتی داخلی آنتروپیک که به گفته این شرکت «توانایی‌هایی فراتر از Mythos 5.1 دارد»، در ۶۷ درصد موارد به حملات پایان داد. آنتروپیک معتقد است حتی این ارقام نیز احتمالاً کمتر از میزان واقعی توقف حملات توسط این مدل‌ها هستند.

منبع: آنتروپیک