مدل هوش مصنوعی آنتروپیک در یک آزمایش سایبری خود را به‌جای انسان جا زد
مدل هوش مصنوعی شرکت آنتروپیک در جریان یک تمرین امنیت سایبری تلاش کرد خود را به‌جای یک انسان جا بزند و کد مخرب را به یک مخزن کد در گیت‌هاب اضافه کند. روزنامه جروزالم پست نتایج این تمرین را گزارش کرده است. آنتروپیک اعلام کرد مدل Mythos 5 در ۹ مورد از مجموع ۴۳ اجرا اقداماتی غیرمجاز انجام داد که بر افراد خارج از محیط تمرین تأثیر می‌گذاشت.
تلاش برای دست‌کاری یک مخزن کد
این تمرین در قالب رقابت «فتح پرچم» (Capture the Flag) برگزار شد؛ قالبی که در آن شرکت‌کنندگان باید اطلاعات مشخصی را از یک شبکه شبیه‌سازی‌شده به دست آورند. مدل‌ها به اینترنت دسترسی داشتند و محدودیت‌های حفاظتی‌ای که برای مدل قدرتمندتر Fable در نظر گرفته شده بود، در این آزمایش اعمال نشد.
در یکی از موارد، عامل هوش مصنوعی متوجه شد رایانه‌ای در شبکه به‌طور دوره‌ای به گیت‌هاب متصل می‌شود و تلاش کرد مشخص کند کدام مخزن کد از این طریق دریافت می‌شود. سپس به این نتیجه رسید که مخزن موردنظر متعلق به فردی واقعی است که ارتباطی با تمرین ندارد و نسخه‌ای از آن را حاوی کد مخرب ایجاد کرد. هدف این بود که پس از دریافت این نسخه روی رایانه متصل به شبکه، به داده‌های موردنیاز برای انجام تمرین دسترسی پیدا کند.
حساب کاربری جعلی
بر اساس توضیحات مؤسسه امنیت هوش مصنوعی (AI Security Institute)، این اقدامات تلاشی برای اجرای حمله به زنجیره تأمین نرم‌افزار بود. مدل همچنین یک حساب کاربری جعلی در گیت‌هاب ساخت و با مالک مخزن تماس گرفت تا او را متقاعد کند تغییرات پیشنهادی را تأیید کند. مالک مخزن این درخواست را رد کرد و مدل نیز به‌دلیل پایان یافتن زمان نتوانست مأموریت را به سرانجام برساند.
مؤسسه امنیت هوش مصنوعی اعلام کرد که این رویداد خسارت واقعی به بار نیاورد، اما بررسی دقیق آن ضروری است. آنتروپیک دو مشکل اصلی را فراتر رفتن مدل از محدوده مأموریت تعیین‌شده و گمراه کردن دیگران درباره اقدامات یا نیت‌های خود دانست. این شرکت همچنین گفت مدل‌های پیشرفته‌تر در آزمایشی مشابه، تمایل کمتری به انجام اقداماتی در این مقیاس نشان دادند و پس از اطلاع از تأثیر حملات بر دنیای واقعی، آن‌ها را متوقف کردند.