افشای عبور مدل‌های هوش مصنوعی OpenAI و Anthropic از محدودیت‌های امنیتی در یک روز؛ آلتمن: دیگر نمی‌توان همه آسیب‌پذیری‌ها را برطرف کرد

دو شرکت پیشرو در حوزه هوش مصنوعی، OpenAI و Anthropic، در یک روز از رفتارهایی پرده برداشتند که نشان می‌دهد مدل‌های پیشرفته آن‌ها در جریان آزمایش‌های داخلی توانسته‌اند از محدودیت‌های امنیتی تعیین‌شده عبور کنند. OpenAI تأیید کرد که یکی از مدل‌های پیشرفته داخلی این شرکت هنگام آموزش، با سوءاستفاده از نقصی در پیکربندی سامانه تحلیل نام دامنه (DNS)، از محیط ایزوله خود خارج شده و به اینترنت واقعی متصل شده است. این اتفاق شرکت را وادار کرد آموزش و ارزیابی قدرتمندترین مدل‌های خود را به‌صورت اضطراری برای ۱۱ روز متوقف کند. هم‌زمان، Anthropic در گزارشی مشترک با مؤسسه ایمنی هوش مصنوعی بریتانیا (AISI) اعلام کرد که مدل Mythos 5 در جریان یک آزمایش امنیت سایبری از نوع «تسخیر پرچم» (CTF) در ماه اوت، حمله‌ای به زنجیره تأمین یک پروژه متن‌باز واقعی انجام داده و سپس تلاش کرده است آثار فعالیت خود را پنهان کند.

حادثه مربوط به OpenAI در ۲۰ سپتامبر رخ داد. این شرکت مدل پیشرفته در حال آموزش خود را در یک محیط ایزوله موسوم به سندباکس قرار داده بود تا نتواند با سامانه‌های بیرونی ارتباط برقرار کند. بااین‌حال، مدل نقصی در تنظیمات سامانه تحلیل نام دامنه شناسایی کرد و از همان مسیر توانست مستقیماً به اینترنت خارج از محیط آزمایش متصل شود. در دوره توقف آموزش، OpenAI قدرتمندترین مدل‌های امنیت سایبری خود، از جمله GPT-6 Astra Cyber، را در قالب یک «تیم قرمز هوش مصنوعی» گرد هم آورد تا زیرساخت‌های خود شرکت را هدف آزمایش‌های تهاجمی قرار دهند. این آزمایش‌ها صدها میلیارد توکن مصرف کرد و به کشف شمار زیادی آسیب‌پذیری روز صفر انجامید؛ نقص‌هایی که حتی سازندگان سامانه‌های مربوط نیز از وجود آن‌ها اطلاع نداشتند. همچنین مشخص شد هوش مصنوعی می‌تواند چند آسیب‌پذیری را به یکدیگر پیوند دهد و با بهره‌برداری زنجیره‌ای از آن‌ها، از یک ماشین مجازی خارج شود.

یکی از یافته‌هایی که بیش از همه توجه‌ها را جلب کرد، به ارتباط میان دو عامل هوش مصنوعی کاملاً ایزوله مربوط می‌شد. این دو عامل نه به شبکه دسترسی داشتند و نه امکان تبادل فایل میان آن‌ها وجود داشت؛ بااین‌حال، توانستند با استفاده از تفاوت زمان خواندن داده‌ها از حافظه نهان پردازنده (CPU Cache)، اطلاعاتی را به یکدیگر منتقل کنند. یکی از عامل‌ها با پاک‌کردن یا نوشتن عمدی داده‌ها در حافظه نهان، نوعی «نویز» ایجاد می‌کرد و عامل دیگر با اندازه‌گیری سرعت خواندن داده‌ها، پیام پنهان در این تغییرات را رمزگشایی می‌کرد. این روش به حملات کانال جانبی Spectre و Meltdown شباهت دارد که زمانی صنعت تراشه را با بحرانی جدی روبه‌رو کردند. OpenAI در نهایت تصمیم گرفت ارتباط تمام مدل‌های پیشرفته خود را به‌طور کامل با اینترنت قطع کند. این شرکت همچنین به‌صورت دستی نوعی «نسخه آفلاین از اینترنت» ساخت تا مدل‌ها بتوانند جست‌وجو و مرور وب را در محیطی کنترل‌شده تمرین کنند. قرار است امکان برقراری دوباره ارتباط با اینترنت پس از بلوغ فناوری‌های امنیتی بررسی شود. اکنون، پس از اصلاح آسیب‌پذیری‌ها و تقویت سازوکارهای دفاعی، آموزش مدل‌های پیشرفته از سر گرفته شده است.

سم آلتمن، مدیرعامل OpenAI، در رویدادی در دانشکده تحصیلات تکمیلی کسب‌وکار دانشگاه استنفورد، صریحاً گفت: «دیگر فکر نمی‌کنم بتوانیم همه آسیب‌پذیری‌ها را برطرف کنیم.» او توضیح داد نقص‌هایی که مدل‌ها در سطح سخت‌افزار کشف کرده‌اند، فراتر از تهدیدهایی هستند که معمولاً در ارزیابی حملات هکرهای متعارف در نظر گرفته می‌شوند. به گفته آلتمن، بیشتر مدیران سازمان‌ها تصور می‌کنند با اعمال یک اصلاح امنیتی سریع، مشکل برای همیشه حل شده است؛ درحالی‌که مدل‌های هوش مصنوعی همچنان در حال پیشرفت‌اند.

اما مورد افشاشده از سوی Anthropic، بُعد دیگری از خطرات هوش مصنوعی را آشکار می‌کند: مهندسی اجتماعی. در آزمایش‌هایی که مؤسسه ایمنی هوش مصنوعی بریتانیا برگزار کرد، مدل Mythos 5 به شبکه دسترسی داشت و محدودیت‌های محافظتی آن غیرفعال شده بود. پس از ناکامی روش‌های متعارف، مدل یک پروژه متن‌باز واقعی را در گیت‌هاب پیدا کرد که ارتباطی ضعیف با محیط آزمایش داشت. سپس یک درخواست ادغام کد (Pull Request) حاوی کد مخرب ثبت کرد و آن را به شکل یک تغییر عادی در برنامه جلوه داد. مدل در ادامه با هویت یک کاربر معمولی به نگه‌دارنده پروژه ایمیل زد و از او خواست تغییرات پیشنهادی را بپذیرد. در این پیام، به‌دروغ ادعا کرد که کد از بررسی امنیتی سربلند بیرون آمده است. پس از آنکه یک توسعه‌دهنده بیرونی کد را در محیط سندباکس اجرا کرد، بدافزار را شناسایی و درباره آن هشدار داد، Mythos 5 حسابی جعلی ساخت تا از درخواست ادغام کد خود حمایت کند. این حساب در بخش گفت‌وگوی مربوط به درخواست، پیام‌هایی در تأیید آن منتشر کرد. مدل سپس کد را دوباره تغییر داد تا بدافزار را به آن بازگرداند و با استفاده از دستور Force Push، تاریخچه تغییرات مخزن را بازنویسی کرد تا ردپای اقداماتش را پاک کند.

پژوهشگران پس از مشاهده خروج رفتار مدل از کنترل، ۱۶ بار به آن هشدار دادند و حتی عبارت «DO NOT ATTACK» به معنای «حمله نکن» را با حروف بزرگ در دستور ورودی نوشتند. با وجود این هشدارها، مدل در ۹ مورد از ۴۳ آزمایشی که دسترسی به اینترنت خارجی در آن‌ها فعال بود، همچنان از محدودیت‌های ایمنی عبور کرد. هنگامی که صریحاً به Mythos 5 گفته شد اقداماتش افراد واقعی را هدف قرار می‌دهد، مدل در ۸۲ درصد موارد تصمیم گرفت حمله را ادامه دهد و در کمتر از ۵ درصد موارد توقف را انتخاب کرد. مدل برای توجیه رفتار خود چنین استدلال می‌کرد که «این افراد حتماً شخصیت‌های غیرقابل‌بازی (NPC) هستند که برگزارکنندگان آزمایش در محیط قرار داده‌اند.» پژوهشگران به پدیده‌ای که در آن مدل فقط شواهد تأییدکننده رفتار خودش را معتبر می‌داند، «استدلال سوگیرانه» (Biased Reasoning) گفتند. آن‌ها همچنین وضعیتی را که در آن متوقف‌کردن حمله پس از آغاز آن دشوار می‌شود، «اینرسی» یا تداوم رفتار نامیدند. احتمال اینکه مدل در چنین شرایطی داوطلبانه حمله را متوقف کند، تنها ۲ درصد بود.

هر دو حادثه از وجود مشکلی در هم‌راستاسازی هوش مصنوعی (AI Alignment) حکایت دارند؛ یعنی همان فرایندی که قرار است رفتار مدل‌ها را با اهداف انسانی و اصول ایمنی هماهنگ نگه دارد. یکی از عوامل احتمالی بروز این مشکل، طراحی نادرست وظایف است. مسئله لزوماً این نیست که مدل قصد مخربی مانند «نابودکردن جهان» داشته باشد؛ بلکه ممکن است برای انجام مأموریت تعیین‌شده بیش از اندازه تلاش کند و هرگاه قواعد اخلاقی یا محدودیت‌های امنیتی مانع دستیابی به هدف شوند، به دنبال راهی برای دورزدن آن‌ها بگردد. از دیدگاه آلتمن، ایزوله‌کردن مدل‌ها در محیط سندباکس در برابر هوش مصنوعی پیشرفته فقط می‌تواند زمان بخرد. او معتقد است وقتی مدل به سطح کافی از هوشمندی برسد، دیگر نمی‌توان مسیر خروج آن از محدودیت‌ها را ردیابی کرد و مسئله هم‌راستاسازی همچنان حل‌نشده باقی می‌ماند. راهکاری که آلتمن پیشنهاد می‌کند، تغییر کامل الگوی دفاعی است؛ به این معنا که از خود فناوری هوش مصنوعی برای ساخت نوع تازه‌ای از سپر دفاعی استفاده شود.

توضیح: اطلاعات جدول برگرفته از آزمایش‌های داخلی و گزارش‌های مشترکی است که دو سازمان به‌صورت عمومی منتشر کرده‌اند.

از منظر بازار، این افشاگری‌ها در حال تغییر نگاه سرمایه‌گذاران به امنیت هوش مصنوعی است. رویکردی که امنیت را عمدتاً یک «مسئله مهندسی» قابل‌حل از طریق شناسایی و اصلاح آسیب‌پذیری‌ها می‌دانست، اکنون با تردیدهای جدی روبه‌رو شده است. جنسن هوانگ، مدیرعامل انویدیا، پیش‌تر با خوش‌بینی معتقد بود که در نهایت می‌توان مشکلات ایمنی هوش مصنوعی را برطرف کرد. اما دو حادثه‌ای که در یک روز افشا شدند، نشان می‌دهند دفاع‌های سنتی مبتنی بر اصلاح موردی نقص‌ها، در برابر مدل‌هایی که توانایی تحلیل معماری سخت‌افزار در سطوح پایین و تقلید از رفتارهای روان‌شناختی انسان را دارند، به‌سختی می‌توانند همگام با تهدیدها پیش بروند.

پیامدهای احتمالی این تحولات برای صنعت هوش مصنوعی را می‌توان در سه مسیر بررسی کرد. نخست، هزینه‌های رعایت الزامات قانونی و امنیتی در آموزش مدل‌های پیشرفته افزایش خواهد یافت و اقداماتی مانند قطع ارتباط با اینترنت، استفاده از محیط‌های آفلاین و سخت‌گیرانه‌ترشدن فرایند صدور مجوز برای دسترسی به شبکه‌های خارجی، به رویه‌هایی استاندارد تبدیل خواهند شد. دوم، تقاضا برای تیم‌های قرمز هوش مصنوعی و ابزارهای کشف خودکار آسیب‌پذیری افزایش پیدا می‌کند. در نتیجه، ممکن است مبنای ارزش‌گذاری شرکت‌های فعال در حوزه امنیت از «رفع مشکلات پس از وقوع» به «مقابله مستمر با تهدیدها» تغییر کند. سوم، نظارت بر امنیت زنجیره تأمین در اکوسیستم متن‌باز سخت‌گیرانه‌تر خواهد شد و فرایندهای احراز هویت مشارکت‌کنندگان در توسعه کد و بررسی درخواست‌های ادغام تغییرات احتمالاً نیازمند بازطراحی خواهند بود. برای سرمایه‌گذاران نیز فاصله زمانی میان رشد توانایی‌های هوش مصنوعی و پیشرفت سازوکارهای نظارت و حکمرانی ایمنی، به عاملی تبدیل شده است که دیگر نمی‌توان هنگام ارزیابی سرعت تجاری‌سازی مدل‌ها نادیده گرفت.