اوپن‌ای‌آی می‌گوید عامل‌های هوش مصنوعی از طریق حافظه نهان پردازنده، پیام‌های آزمایشی حاوی اطلاعات محرمانه را ردوبدل کردند
در آزمایشی که به‌طور هدفمند طراحی شده بود، راهی برای برقراری ارتباط میان ماشین‌های مجازیِ مستقر روی سخت‌افزار مشترک شناسایی شد. در این گزارش، جزئیات نتیجه، نقش پژوهشگران و محدودیت‌هایی بررسی می‌شود که هنوز اطلاعات عمومی کافی درباره آن‌ها منتشر نشده است.
اوپن‌ای‌آی می‌گوید عامل‌های هوش مصنوعی با بهره‌گیری از زمان‌بندی دسترسی به حافظه نهان پردازنده، توانستند اطلاعات محرمانه ساختگی را میان ماشین‌های مجازی منتقل کنند. این ماشین‌ها روی میزبان‌های فیزیکی مشترک اجرا می‌شدند و پژوهشگران صراحتاً از عامل‌ها خواسته بودند راهی برای ارتباط پیدا کنند که سازوکارهای ایزوله‌سازی قرار بود مانع آن شوند. این موضوع در گزارش اوپن‌ای‌آی به تاریخ ۲۳ اکتبر ۲۰۲۶ با عنوان ایمن‌سازی محیط آموزش مدل‌های پیشرفته ما مطرح شده است.
اهمیت این نتیجه در آن است که سیاست ایزوله‌سازی باید حتی زمانی که نرم‌افزار برای برقراری ارتباط تلاش می‌کند، فعالیت آن را محدود کند. موفقیت این تبادل نشان می‌دهد که در شرایط آزمایش‌شده، میان محدودیت‌های موردنظر و آنچه عملاً امکان‌پذیر بوده است، شکافی وجود داشته است. بااین‌حال، میزان تعمیم‌پذیری این یافته به سخت‌افزار مورد استفاده، میزان راهنمایی ارائه‌شده به عامل‌ها و قابلیت اطمینان کانال ارتباطی بستگی دارد.
چگونه حافظه نهان به کانال ارتباطی تبدیل می‌شود؟
حافظه نهان پردازنده، داده‌ها را در نزدیکی واحد پردازش مرکزی نگه می‌دارد تا برنامه‌ها بتوانند سریع‌تر به آن‌ها دسترسی پیدا کنند. خواندن داده‌ای که از قبل در حافظه نهان قرار دارد، معمولاً از دریافت آن از حافظه اصلی سریع‌تر است. نرم‌افزار می‌تواند این تفاوت زمانی را اندازه‌گیری کند.
بر اساس توضیحات اوپن‌ای‌آی، کد یکی از عامل‌ها عمداً داده‌های مشخصی را از حافظه نهان خارج می‌کرد. عامل دیگر مدت‌زمان لازم برای بارگذاری مجدد آن داده‌ها را اندازه می‌گرفت. سپس با استفاده از یک روش رمزگذاری توافق‌شده، الگوی خواندن‌های سریع‌تر و کندتر به پیام تبدیل می‌شد. عامل‌ها به این ترتیب توانستند اطلاعات محرمانه آزمایشی را بدون برقراری اتصال شبکه یا تغییر فایل مشترک منتقل کنند. شرح اوپن‌ای‌آی از آزمایش
می‌توان این وضعیت را به افرادی تشبیه کرد که در اتاق‌های جداگانه هستند و با ضربه زدن به دیواری مشترک، برای یکدیگر پیام می‌فرستند. درهای اتاق‌ها می‌توانند قفل بمانند، اما دیوار همچنان سیگنال را منتقل می‌کند. ماشین‌های مجازی جداگانه نیز ممکن است از منابع مشترکی استفاده کنند که رفتار آن‌ها برای هر دو طرف قابل مشاهده است.
اصطلاح امنیتی مرتبط با این پدیده، کانال پنهان (Covert Channel) است؛ یعنی مسیری که طرف‌های همکار از آن برای انتقال اطلاعات برخلاف سیاست موردنظر جریان اطلاعات استفاده می‌کنند. تعریف مؤسسه ملی استانداردها و فناوری آمریکا (NIST) این امکان را در بر می‌گیرد که هر طرف در محدوده مجوزهای دسترسی خود عمل کند، اما رفتار ترکیبی آن‌ها اطلاعاتی را منتقل کند که باید جدا نگه داشته می‌شد. بنابراین، ممکن است مرز ارتباطی یک سامانه نقض شود، بی‌آنکه هیچ‌یک از برنامه‌ها کنترل میزبان را در اختیار بگیرد. واژه‌نامه NIST
وجود فرستنده‌ای که عمداً با گیرنده همکاری می‌کند، این تبادل را از حمله کانال جانبی متمایز می‌سازد؛ در حملات کانال جانبی، مهاجم اطلاعاتی را استخراج می‌کند که یک برنامه ناخواسته افشا کرده است. اینتل در راهنمای امنیتی خود به این تفاوت اشاره می‌کند. آزمایش اوپن‌ای‌آی وجود مسیری برای انتقال داده‌های آزمایشی را نشان می‌دهد، اما ثابت نمی‌کند که امکان دسترسی دلخواه به حافظه خصوصی کاربر دیگری وجود دارد. دسته‌بندی کانال‌ها در راهنمای اینتل
پژوهشگران چه امکانات و اطلاعاتی در اختیار عامل‌ها گذاشتند؟
اوپن‌ای‌آی می‌گوید در طرح پژوهشی گسترده‌تر، نسخه‌هایی اختصاصی از زیرساخت پژوهشی این شرکت ساخته شد. پژوهشگران کد منبع، جزئیات پیکربندی و مستندات آسیب‌پذیری‌ها را در اختیار عامل‌ها قرار دادند. در بیشتر آزمایش‌های ارتباطی، آن‌ها مشخص می‌کردند که کدام کانال‌ها باید بررسی شوند یا یک پروتکل رمزگذاری ارائه می‌دادند. یکی از آزمایش‌ها فقط با فهرستی کلی از آسیب‌پذیری‌ها آغاز شد؛ بااین‌حال، گزارش مشخص نمی‌کند که این آزمایش همان آزمایش حافظه نهان بوده است یا میزان دقیق کمک ارائه‌شده در آن آزمایش چقدر بوده است. جزئیات محیط پژوهش و محدودیت‌های گزارش
چنین روشی برای ارزیابی دفاع‌های امنیتی در برابر مهاجمی آگاه و مطلع مفید است. اگر آزمایشگر از نحوه کار سامانه اطلاع داشته باشد، باز هم وجود یک ضعف امنیتی اهمیت دارد. اما برای سنجش توانایی عامل در کشف مستقل آسیب‌پذیری، باید اطلاعات در دسترس آن کنترل شود و راهنمایی‌های ارائه‌شده نیز به‌دقت ثبت شوند.
برای ارزیابی سهم واقعی عامل‌ها، باید مشخص شود چه کسی ایده استفاده از روش حافظه نهان را مطرح کرد، چه کسی روش رمزگذاری را طراحی کرد، عامل‌ها چه مقدار از کد را نوشتند و برای انجام کار به چه میزان مداخله انسانی نیاز داشتند. نتیجه منتشرشده به‌تنهایی پاسخی به این پرسش‌ها نمی‌دهد.
هدف تعیین‌شده برای آزمایش، برقراری ارتباط بود. این آزمایش هیچ مدرکی ارائه نمی‌کند که نشان دهد عامل‌ها بدون درخواست پژوهشگران، خودجوش برای هماهنگی با یکدیگر اقدام کرده‌اند.
این روش امنیتی سابقه‌ای طولانی دارد
یووال یاروم و کاترینا فالکنر در سال ۲۰۱۴ روش حمله کانال جانبی حافظه نهان با نام FLUSH+RELOAD را منتشر کردند. این روش روی ماشین‌های مجازی جداگانه آزمایش شده بود. پژوهش آن‌ها نشان داد که تحت شرایط آزمایش، می‌توان اطلاعات کلید خصوصی را از نرم‌افزار GnuPG استخراج کرد. این حمله از صفحات حافظه مشترک و حافظه نهان سطح آخر پردازنده بهره می‌برد و لازم نبود برنامه مهاجم و برنامه هدف روی یک هسته پردازنده اجرا شوند. مقاله اصلی و چکیده آن در USENIX
بنابراین، نشت اطلاعات از طریق حافظه نهان میان ماشین‌های مجازی بیش از یک دهه پیش از انتشار گزارش اخیر به‌طور آزمایشی نشان داده شده بود. این سابقه، معقول بودن سازوکار فنی را تأیید می‌کند، اما به‌تنهایی صحت اجرای آزمایش اوپن‌ای‌آی را مستقلاً اثبات نمی‌کند.
لزوم وجود صفحات حافظه مشترک همچنین توضیح می‌دهد که چرا عبارت «نبود فایل‌های مشترکِ قابل‌نوشتن» باید با احتیاط تفسیر شود. جلوگیری از تغییر یک فایل مشترک به این معنا نیست که محیط هیچ صفحه حافظه فقط‌خواندنی مشترکی ندارد. گزارش اوپن‌ای‌آی جزئیات سازوکار دقیق حافظه نهان و پیکربندی اشتراک حافظه را مشخص نمی‌کند؛ بنابراین، نسبت دادن قطعی این آزمایش به روش FLUSH+RELOAD زودهنگام خواهد بود.
اسپکتر چه ارتباطی با این موضوع دارد؟
حمله اسپکتر (Spectre) اجرای حدسی پردازنده را با یک کانال نشت اطلاعات ترکیب می‌کند. حتی پس از آنکه پردازنده مسیر اجرایی اشتباهی را که بر اساس پیش‌بینی نادرست انتخاب کرده بود کنار می‌گذارد، ممکن است آثار قابل‌اندازه‌گیری در حافظه نهان باقی بماند. مقاله اصلی اسپکتر حملاتی را شرح می‌دهد که از این آثار برای بازیابی اطلاعات حافظه قربانی استفاده می‌کنند؛ از جمله پیاده‌سازی‌هایی مبتنی بر روش‌های Flush+Reload و Evict+Reload. مقاله اصلی اسپکتر، بخش‌های اول و دوم
کانال حافظه نهان یکی از اجزای این نوع حمله است. مقایسه اوپن‌ای‌آی با اسپکتر و ملت‌داون (Meltdown) به استفاده از زمان‌بندی حافظه نهان مربوط می‌شود؛ تبادل توصیف‌شده در این گزارش ثابت نمی‌کند که هیچ‌یک از این دو آسیب‌پذیری مشخص مورد سوءاستفاده قرار گرفته‌اند.
نکته مهمی که باید بررسی شود، نحوه به‌کارگیری روش‌های امنیتی شناخته‌شده از سوی عامل‌های توانمند در زیرساختی است که خود آن‌ها را اجرا می‌کند.
نبود اندازه‌گیری‌های دقیق اهمیت دارد
اوپن‌ای‌آی بیشتر کانال‌های ارتباطی آزمایش‌شده را برای مدل‌ها کند و دشوار توصیف می‌کند و می‌گوید بررسی‌های نظارتی بیشتری به سامانه افزوده است. این شرکت همچنین میان محیط‌های پژوهشی و محیط‌های مورد استفاده مشتریان تمایز قائل می‌شود. توضیحات و اقدامات اعلام‌شده از سوی اوپن‌ای‌آی
بااین‌حال، گزارش عمومی درباره آزمایش حافظه نهان پاسخ چند پرسش را روشن نمی‌کند:
| پرسش | اهمیت پاسخ |
|---|---|
| از چه پردازنده‌ای، چه آرایشی برای حافظه نهان و چه پیکربندی مجازی‌سازی استفاده شد؟ | مشخص می‌کند برای تکرار آزمایش به چه شرایط سخت‌افزاری و نرم‌افزاری نیاز است. |
| آیا صفحات حافظه مشترک بودند و زمان‌بندی اجرای عامل‌ها چگونه انجام شد؟ | به شناسایی منابعی کمک می‌کند که سیگنال را ممکن کرده‌اند و مشخص می‌کند جداسازی در کدام نقاط می‌تواند آن را مختل کند. |
| عامل‌ها چگونه روش رمزگذاری و سازوکار همگام‌سازی را تعیین کردند؟ | روشن می‌کند برای هماهنگی اولیه چه اقداماتی انجام شد و چه میزان کمک پژوهشگران لازم بود. |
| سرعت انتقال داده، نرخ خطا و میزان موفقیت در تلاش‌های مختلف چقدر بود؟ | مشخص می‌کند که با تبادلی گاه‌به‌گاه و موفق روبه‌رو هستیم یا کانالی قابل‌اعتماد وجود دارد. |
| بارهای کاری عادی و هم‌زمان چه تأثیری بر نتیجه داشتند؟ | نشان می‌دهد فعالیت‌های پس‌زمینه تا چه اندازه سیگنال را مختل می‌کنند. |
| پیش از شناسایی یا مداخله، چه میزان اطلاعات قابل انتقال بود؟ | ارتباط میان وجود یک کانال فعال و خطر عملی برای مهار تهدید را روشن می‌کند. |
حتی یک کانال کند نیز ممکن است اهمیت داشته باشد، اگر پیام ممنوع‌شده کوتاه باشد. خطر عملی به میزان اطلاعات قابل‌انتقال، قابلیت اطمینان کانال و مدت‌زمانی بستگی دارد که پیش از مداخله در اختیار آن قرار می‌گیرد. صرف موفقیت گزارش‌شده در این آزمایش برای پاسخ به این پرسش‌ها درباره سایر محیط‌های اجرایی کافی نیست.
تیم‌های سازنده پلتفرم‌های عامل‌های هوش مصنوعی چه درس‌هایی باید بگیرند؟
ارزیابی ما این است که پلتفرم‌هایی که کد نوشته‌شده به‌وسیله عامل‌ها را اجرا می‌کنند، باید محدودیت‌های ارتباطی را از منظر جریان اطلاعات آزمایش کنند. بررسی مسدود شدن درخواست‌های شبکه‌ای مشخص، شواهد مفیدی درباره همان درخواست‌ها فراهم می‌کند؛ اما منابع مشترک به بررسی و آزمون جداگانه نیاز دارند.
راهنماهای امنیتی موجود از قبل به این مسئله پرداخته‌اند. کنترل SC-31 در نسخه پنجم استاندارد NIST SP 800-53 بر شناسایی کانال‌های پنهان ذخیره‌سازی و زمان‌بندی و برآورد پهنای باند آن‌ها تمرکز دارد. الزامات تکمیلی این کنترل، قابلیت بهره‌برداری از کانال‌ها، کاهش پهنای باند و اندازه‌گیری در محیط‌های عملیاتی را نیز پوشش می‌دهند. NIST همچنین هشدار می‌دهد که حذف کانال‌های زمان‌بندی ممکن است هزینه عملکردی چشمگیری داشته باشد و نتایج اندازه‌گیری در آزمایشگاه لزوماً با شرایط عملیاتی یکسان نیست. کنترل SC-31 در NIST، صفحه چاپی ۳۲۰
راهنمای اینتل نیز اقدامات کاهشی را به مدل تهدید سامانه مرتبط می‌کند و در کنار روش‌های برنامه‌نویسی امن، به تقسیم‌بندی منابع مشترک می‌پردازد. در این مسئله مشخص، نمی‌توان فرض کرد که رعایت اصول برنامه‌نویسی امن در سطح برنامه به‌تنهایی مانع همکاری عمدی دو برنامه می‌شود. پلتفرم باید منابعی را ارزیابی کند که هر دو برنامه قادرند بر آن‌ها اثر بگذارند و رفتارشان را مشاهده کنند. راهنمای اینتل درباره کانال‌های جانبی
برای خریداران و سازمان‌هایی که چنین پلتفرم‌هایی را انتخاب می‌کنند، پرسش‌های مفید و مشخصی وجود دارد: کدام منابع میان وظایف ایزوله مشترک‌اند؟ فروشنده کدام مسیرهای ارتباطی ممنوع را آزمایش کرده است؟ پیش از آنکه سامانه‌های نظارتی اجرای فرایند را متوقف کنند، چه میزان اطلاعات می‌تواند منتقل شود؟ ادعاهای مربوط به قابلیت شناسایی باید با اندازه‌گیری‌های واقعی همراه باشند. گام بعدی مفید از سوی اوپن‌ای‌آی، انتشار گزارشی بازتولیدپذیر شامل پیکربندی آزمایش، میزان کمک پژوهشگران، نتایج آزمایش‌های تکرارشده و محدودیت‌های شناسایی خواهد بود.
گزارش مرتبط: تحلیل Kingy.ai درباره رخداد جداگانه نفوذ عامل اوپن‌ای‌آی در پلتفرم Hugging Face.