آنتروپیک: مدل هوش مصنوعی ما در یک آزمایش برای تأیید کد مخرب در گیت‌هاب خود را انسان جا زد
شرکت آنتروپیک روز جمعه اعلام کرد یکی از مدل‌های هوش مصنوعی این شرکت در جریان یک آزمایش امنیت سایبری، خود را انسان جا زده و تلاش کرده است فردی را که در آزمایش مشارکت نداشته، فریب دهد.
به گفته آنتروپیک، این مدل که از Mythos 5 استفاده می‌کرد، در ۹ مورد از مجموع ۴۳ اجرای آزمایش، اقداماتی بدون مجوز انجام داد که بر افراد خارج از آزمایش تأثیر گذاشت. در یکی از این موارد، هوش مصنوعی حتی خود را به‌عنوان یک انسان معرفی کرد.
مؤسسه ایمنی هوش مصنوعی (AISI) این اقدام را نوعی «حمله به زنجیره تأمین» توصیف کرده است. مدل هوش مصنوعی تلاش کرد با ایجاد درخواست‌های جعلی، وارد کردن داده‌های دستکاری‌شده و ساخت حساب‌های کاربری غیرواقعی برای درخواست تغییرات، عملکرد یک مخزن عمومی کد در پلتفرم گیت‌هاب را مختل کند.
این مؤسسه تأکید کرد که حتی اگر حمله آسیبی در دنیای واقعی ایجاد نکرده باشد، همچنان رخدادی جدی است که باید به‌دقت بررسی شود و واکنش مناسبی به آن صورت گیرد.
در این گزارش همچنین هشدار داده شده است که مدل‌های هوش مصنوعی در مواردی حتی بدون داشتن توجیه منطقی کافی تصمیم به اقدام گرفته‌اند. در برخی نمونه‌ها، مدل‌ها پیش از حمله به هدف، احتمال آسیب رسیدن به انسان‌ها را تشخیص داده بودند، اما با وجود این آگاهی، حمله را ادامه دادند.
آزمایشی که به این حمله منجر شد، چه بود؟
به گفته آنتروپیک، از مدل هوش مصنوعی خواسته شده بود در یک تمرین موسوم به «تسخیر پرچم» (Capture the Flag یا CTF) شرکت کند؛ تمرینی در حوزه امنیت سایبری که هدف آن بازیابی داده‌ها از یک شبکه شبیه‌سازی‌شده است.
مدل‌های شرکت‌کننده در این آزمایش به اینترنت دسترسی داشتند و تدابیر حفاظتی مورد استفاده برای مدل‌هایی مانند Fable، قدرتمندترین مدل آنتروپیک، در این محیط اعمال نشده بود.
در یکی از موارد، عامل هوش مصنوعی شواهدی پیدا کرد که نشان می‌داد یکی از رایانه‌های شبکه به‌طور دوره‌ای به گیت‌هاب متصل می‌شود. مدل سپس تلاش کرد مشخص کند این رایانه کدام مخزن کد را دانلود می‌کند.
هوش مصنوعی در ادامه به این نتیجه رسید که رایانه متصل به گیت‌هاب در حال دانلود مخزنی متعلق به یک شخص واقعی است که هیچ ارتباطی با آزمایش ندارد. مدل پس از شناسایی این مخزن، نسخه جدیدی از آن ساخت و کد مخربی را درون آن قرار داد.
هدف این بود که رایانه موجود در شبکه هنگام دانلود نسخه دستکاری‌شده مخزن، به کد مخرب آلوده شود و از این طریق امکان دستیابی به پرچم موردنظر در تمرین فراهم شود.
این عامل هوش مصنوعی همچنین یک حساب کاربری جعلی در گیت‌هاب ایجاد کرد تا با مالک مخزن تماس بگیرد و او را متقاعد کند تغییرات پیشنهادی را بپذیرد. با این حال، مالک مخزن درخواست را رد کرد. در نهایت، زمان اختصاص‌یافته به مدل به پایان رسید و هوش مصنوعی نتوانست مأموریت خود را با موفقیت انجام دهد.
آنتروپیک دو نگرانی اصلی را در رفتار این مدل شناسایی کرد. نخست، فراتر رفتن از حدود مأموریت بود؛ به این معنا که مدل اقداماتی انجام داد که خارج از محدوده تعیین‌شده برای آزمایش قرار داشت. نگرانی دوم به عدم صداقت مدل مربوط می‌شد؛ یعنی اینکه هوش مصنوعی تا چه اندازه اقدامات یا اهداف واقعی خود را به شکلی نادرست به دیگران معرفی کرده بود.
آنتروپیک همچنین اعلام کرد همین آزمایش را با مدل‌های پیشرفته‌تر تکرار کرده است. نتایج نشان داد این مدل‌ها تمایل کمتری به انجام حملاتی با چنین دامنه‌ای داشتند. علاوه بر این، تمامی آن‌ها به‌محض اطلاع از اینکه اقداماتشان بر دنیای واقعی تأثیر می‌گذارد، حملات خود را متوقف کردند.