عامل‌های تیم قرمز OpenAI با سوءاستفاده از حافظه نهان پردازنده، میان ریزماشین‌های مجازی ایزوله ارتباط برقرار کردند
عامل‌های OpenAI در آزمایش‌های تیم قرمز، با وجود نداشتن اتصال شبکه یا فایل‌های مشترکِ قابل‌نوشتن، از سخت‌افزار مشترک پردازنده برای تبادل اطلاعات سوءاستفاده کردند. این آزمایش‌ها سه کانال مخفی دیگر را نیز آشکار کرد که به گفته OpenAI، بیشتر آن‌ها کند هستند و استفاده مؤثر از آن‌ها برای مدل‌ها دشوار است.
OpenAI عامل‌های هوش مصنوعی را با استفاده از نرم‌افزار ایزوله‌سازی خود، در ریزماشین‌های مجازی (microVM) جداگانه‌ای اجرا کرد که روی میزبان‌های سخت‌افزاری مشترک قرار داشتند. از عامل‌ها خواسته شد بدون اتصال شبکه یا دسترسی به فایل‌های مشترکِ قابل‌نوشتن، اطلاعات محرمانه ساختگی را با یکدیگر مبادله کنند. یکی از عامل‌ها داده‌های مشخصی را از حافظه نهان پردازنده خارج می‌کرد و عامل دیگر مدت‌زمان لازم برای بارگذاری مجدد آن داده‌ها را اندازه می‌گرفت. دو عامل با استفاده از پروتکلی که از پیش بر سر آن توافق کرده بودند، اطلاعات را به شکل خواندن‌های سریع یا کند رمزگذاری می‌کردند.
این موضوع را وب‌سایت Tom’s Hardware گزارش کرده است.
این روش به‌جای استفاده از یک کانال نرم‌افزاری مجاز، بر سخت‌افزار مشترک تکیه دارد. فرایندهایی که از نظر نرم‌افزاری ایزوله شده‌اند، همچنان می‌توانند بر وضعیت ریزمعماری مشترک پردازنده تأثیر بگذارند و اختلاف زمانی ایجاد کنند؛ اختلافی که امکان انتقال اطلاعات را فراهم می‌کند. در حملات Spectre و Meltdown نیز از روش‌های مبتنی بر زمان‌بندی حافظه نهان برای استخراج داده‌ها استفاده شده بود. بااین‌حال، کانال ارتباطی شناسایی‌شده در آزمایش OpenAI برخلاف آن حملات، به دو طرفی نیاز دارد که آگاهانه در فرایند تبادل اطلاعات مشارکت کنند.
رایان اورهان، مفسر حوزه فناوری، در شبکه اجتماعی X نوشت که این ایزوله‌سازی «لزوماً در سطح نرم‌افزار شکسته نشده بود» و آن را «نمایشی واقعاً چشمگیر از این موضوع» دانست که چرا مهار امن عامل‌های هوش مصنوعی تا این اندازه دشوار است.
OpenAI نگران است که مدل‌ها راه‌هایی غیرمجاز برای برقراری ارتباط با عامل‌های مستقر در محیط‌های سندباکس دیگر پیدا کنند. هرگونه ارتباط خارج از کانال‌های مجاز، به‌منزله شکست سازوکار مهار امنیتی خواهد بود. در مقاله‌ای که سال ۲۰۱۷ در کنفرانس امنیتی NDSS ارائه شد، ایجاد یک کانال مخفی مبتنی بر حافظه نهان میان دو ماشین مجازی Amazon EC2 نشان داده شده بود؛ کانالی که سرعت آن برای انتقال یک اتصال SSH کافی بود. آزمایش‌های OpenAI نشان داد عامل‌های هوش مصنوعی نیز، در صورت درخواست، می‌توانند چنین کانالی بسازند و حتی پروتکل رمزگذاری اطلاعات را طراحی کنند.
از نظر نظری، مهاجم می‌تواند فرستنده را کنترل یا هدایت کند؛ برای مثال، از طریق عاملی در یک سندباکس ابری که با تزریق دستور دست‌کاری شده است. در همین حال، فرایندی روی همان دستگاه فیزیکی می‌تواند نقش گیرنده را بر عهده بگیرد. در چنین شرایطی، داده‌ها ممکن است بدون ایجاد ترافیک شبکه‌ای که سامانه‌های نظارتی بتوانند شناسایی کنند، از محیط خارج شوند. این سناریو یک خطر بالقوه است و به معنای آن نیست که عامل‌های آزمایش‌شده واقعاً برای سرقت داده‌ها به کار گرفته شده‌اند.
عامل‌ها سه کانال ارتباطی دیگر را نیز شناسایی کردند: فضای ذخیره‌سازی مشترک، که در آن یک عامل دوره‌های کوتاه نوشتن داده را با وقفه‌های بدون فعالیت جابه‌جا می‌کرد و عامل دیگر اختلاف زمانی را اندازه می‌گرفت؛ رقابت بر سر زمان استفاده از پردازنده در یک محفظه اجرای مشترک؛ و حافظه نهان گواهی‌های TLS در محیط وب آفلاین OpenAI. این شرکت اعلام کرد که در بیشتر آزمایش‌ها، مسیر ارتباطی را به عامل‌ها نشان داده یا پروتکل لازم را در اختیارشان گذاشته است. به گفته OpenAI، بیشتر این کانال‌ها کند هستند و بهره‌برداری از آن‌ها برای مدل‌ها دشوار است.
این پروژه تیم قرمز با استفاده از گروه‌هایی از عامل‌های مبتنی بر مدل‌های پیشرفته انجام شد که به‌صورت موازی و مشارکتی فعالیت می‌کردند. عملکرد آن‌ها در برابر سه هدف ارزیابی شد: دسترسی به اینترنت عمومی، عبور از یک مرز امنیتی داخلی و برقراری ارتباط میان محیط‌های ایزوله. در آزمایش‌های تکمیلی، فرض بر این بود که لایه‌های حفاظتی داخلی از قبل شکست خورده‌اند و عاملی خارج از سندباکس، از نظارت سامانه‌های پایش عبور کرده و کنترل کامل میزبان خود را در اختیار دارد. هدف این مرحله بررسی این بود که آیا چنین عاملی همچنان می‌تواند به اینترنت عمومی دسترسی پیدا کند یا خیر.
در این آزمایش‌ها از برخی مدل‌های توانمند OpenAI، از جمله «مدل سایبری GPT-6 Astra که قرار است به‌زودی عرضه شود و یک مدل پیشرفته داخلی» استفاده شد. کد منبع زیرساخت، جزئیات پیکربندی و مستنداتی درباره آسیب‌پذیری‌های احتمالی نیز در اختیار عامل‌ها قرار گرفت تا دفاع‌های امنیتی در شرایطی آزمایش شوند که به شرایط مطلوب یک مهاجم نزدیک بود. آزمایش‌ها روی نسخه‌های جداشده و اختصاصی از زیرساخت پژوهشی OpenAI اجرا شدند و در مجموع از «صدها میلیارد توکن» استفاده کردند.
این گزارش پس از چند رخداد امنیت سایبری مرتبط با عامل‌های OpenAI منتشر شده است؛ از جمله رخنه‌ای در ماه ژوئیه در Hugging Face و یک حادثه مرتبط با DNS در ۲۰ سپتامبر که به توقف ۱۱روزه آموزش مدل‌ها انجامید. آموزش در اول اکتبر از سر گرفته شد. OpenAI همچنان آسیب‌پذیری‌های مربوط به «چندین پروژه ریزماشین مجازی» را افشا می‌کند و آزمایش امنیتی با مدل‌های توانمند خود را به بخشی از ارزیابی‌های ایمنی تبدیل کرده است؛ ارزیابی‌هایی که برای تصمیم‌گیری درباره ادامه آموزش و آزمایش مدل‌ها به کار می‌روند. این شرکت معتقد است مدل‌های آینده قادر خواهند بود آسیب‌پذیری‌هایی را کشف کنند که هنوز شناسایی نشده‌اند.
«لزوماً در سطح نرم‌افزار شکسته نشده بود» و «نمایشی واقعاً چشمگیر از این موضوع که چرا مهار امن عامل‌ها تا این اندازه دشوار است.»
— رایان اورهان