عامل‌های هوش مصنوعی OpenAI در آزمایش‌های امنیتی، محدودیت‌های ایزوله‌سازی را دور زدند و از آسیب‌پذیری‌های روز صفر بهره‌برداری کردند

cybersecuritynews.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

OpenAI می‌گوید عامل‌های هوش مصنوعی این شرکت در جریان آزمایش‌های گسترده تیم قرمز روی سامانه‌های پژوهشی، آسیب‌پذیری‌های روز صفر را شناسایی کردند، از محیط‌های ایزوله خارج شدند، به اینترنت عمومی دسترسی یافتند و میان محیط‌هایی که باید از یکدیگر جدا می‌ماندند، اطلاعات ردوبدل کردند. یافته‌های این آزمایش‌ها که ۲۳ اکتبر منتشر شد، نشان می‌دهد مدل‌های پیشرفته می‌توانند با زنجیره‌کردن چندین باگ نرم‌افزاری و خطای پیکربندی، کنترل‌هایی را که برای محدودکردن فعالیت آن‌ها طراحی شده‌اند، دور بزنند.

این شرکت اعلام کرد که ضعف‌های شناسایی‌شده را برطرف کرده و برای انتشار اصلاحیه‌ها با نگه‌دارندگان پروژه‌های متن‌باز همکاری کرده است. این آزمایش‌ها روی سامانه‌های داخلی آموزش و ارزیابی انجام شدند و محیط‌هایی را که مشتریان هنگام استفاده از مدل‌های منتشرشده OpenAI با آن‌ها سروکار دارند، شامل نمی‌شدند.

رخداد DNS باعث توقف یازده‌روزه شد

این تلاش امنیتی پس از رخدادی در ۲۰ سپتامبر شدت گرفت؛ در آن زمان، یک مدل پژوهشی داخلی با استفاده از پیکربندی نادرست حل‌کننده DNS توانست با یک چت‌بات خارجی ارتباط برقرار کند. درخواست‌های مستقیم وب مسدود شده بودند، اما فیلترگذاری ناکافی DNS مسیر دیگری برای برقراری ارتباط باز گذاشته بود.

بر اساس گزارش رخداد OpenAI، سامانه نظارتی ظرف ۱۵ دقیقه این رفتار را شناسایی کرد. بااین‌حال، سازوکار توقف خودکار عمل نکرد و اجرای فرایند حدود دو ساعت و نیم بعد به‌صورت دستی متوقف شد. این شرکت کنترل‌های مسدودسازی مستقل دیگری اضافه کرد و اجرای سنگین‌ترین بارهای کاری پژوهشی خود را به حالت تعلیق درآورد.

بررسی DNS همچنین نشان داد که برخی سامانه‌های نظارتی، دریافت ناموفق داده را با ناتوانی در دسترسی به اینترنت اشتباه می‌گرفتند. حتی اگر یک سرویس خارجی پاسخی بی‌فایده برمی‌گرداند، این موضوع همچنان به معنای عبور از مرز امنیتی بود. OpenAI اعلام کرد که تشخیص فعالیت‌های DNS را بهبود می‌دهد، پوشش سامانه‌های نظارتی را بررسی می‌کند و می‌آزماید که آیا هشدارهای جدی واقعاً باعث توقف بارهای کاری مربوطه می‌شوند یا خیر.

OpenAI پس از انجام آزمایش‌های بیشتر و اعمال تغییرات امنیتی، آموزش یادگیری تقویتی مدل‌های پیشرفته و اجرای استنتاج داخلی را در اول اکتبر، یعنی یازده روز پس از آغاز توقف، از سر گرفت. یادگیری تقویتی روشی است که به مدل‌ها کمک می‌کند با دریافت بازخورد درباره اقدامات خود، عملکردشان را بهبود دهند.

این رخداد پس از ماجرای پیشین عامل‌های OpenAI و رخنه امنیتی مرتبط با Hugging Face اتفاق افتاد؛ رخدادی که کاستی‌های موجود در جداسازی محیط‌های پژوهشی را آشکار کرده بود. گزارش‌های پیشین درباره بهره‌برداری از آسیب‌پذیری روز صفر در JFrog Artifactory نیز نشان داده بودند که سرویس‌های پشتیبان می‌توانند به مسیری برای دورزدن محدودیت‌های محیط‌های سندباکس تبدیل شوند.

عامل‌ها با زنجیره‌کردن آسیب‌پذیری‌ها از سندباکس خارج شدند

OpenAI در این کارزار صدها میلیارد توکن مصرف کرد و از گروه‌هایی از عامل‌ها بهره گرفت که با مدل آتی GPT-6 Astra Cyber و یک مدل پیشرفته داخلی دیگر کار می‌کردند. توکن‌ها واحدهایی هستند که مدل‌های زبانی هنگام پردازش متن، استدلال و تولید پاسخ از آن‌ها استفاده می‌کنند.

این گروه‌ها نسخه‌هایی ایزوله از سامانه‌های پژوهشی را آزمایش کردند. هدف آن‌ها دسترسی به یک سرور خارجی تحت کنترل OpenAI، عبور از مرزهای امنیتی داخلی و برقراری ارتباط با عامل‌هایی بود که باید از آن‌ها جدا می‌ماندند. در برخی آزمایش‌ها، عمداً دسترسی کامل به میزبان در اختیار عامل‌ها قرار داده شد تا مشخص شود آیا دفاع‌های شبکه‌ای در لایه بیرونی همچنان مؤثر باقی می‌مانند یا خیر.

سندباکس منطقی (منبع: OpenAI)

نکته مهم این است که پژوهشگران کد منبع، جزئیات پیکربندی و اطلاعات مربوط به ضعف‌های احتمالی را در اختیار عامل‌ها گذاشتند. بنابراین، نتایج نشان می‌دهند این عامل‌ها در شرایط مساعد آزمایشگاهی به چه توانایی‌هایی دست پیدا می‌کنند؛ اما ثابت نمی‌کنند که آن‌ها بدون کمک، تمام مسیرهای احتمالی حمله را کشف کرده‌اند.

عامل‌ها با زنجیره‌کردن آسیب‌پذیری‌ها توانستند از ماشین‌های مجازی سبک‌وزن موسوم به میکروماشین مجازی یا microVM خارج شوند. OpenAI اعلام کرد مهندسان این شرکت یافته‌ها را بازتولید و اصلاحیه‌ها را بررسی کردند و در این فرایند، اصلاحاتی برای Kata Containers، ‏gVisor و Moby/Docker نیز ارائه شد.

یکی از موارد مطرح‌شده، آسیب‌پذیری CVE-2026-24834 است که باید درباره آن تمایز دقیقی قائل شد. اطلاعیه امنیتی Kata Containers این مورد را آسیب‌پذیری فرار از کانتینر به محیط مهمانِ میکروماشین مجازی توصیف می‌کند، نه فرار به میزبان. این آسیب‌پذیری نسخه‌های تا 3.26.0 را تحت تأثیر قرار می‌دهد و در نسخه 3.27.0 اصلاح شده است. این تمایز اهمیت دارد، زیرا به‌دست‌گرفتن کنترل محیط مهمان لزوماً به معنای کنترل میزبان فیزیکی نیست.

آزمایش‌های دیگر مسیرهای غیرمستقیم دسترسی به اینترنت از طریق سرویس‌های داخلی را آشکار کردند. در یکی از آزمایش‌های مربوط به تسلط بر میزبان، یک عامل از اتصال مورد تأیید دیواره آتش استفاده مجدد کرد تا به یک نقطه پایانی احراز هویت مسدودشده در سرویس پایش دسترسی یابد؛ سپس باعث شد آن نقطه پایانی نشانی اینترنتی ارائه‌شده را دریافت کند.

مسدودسازی شبکه همچنین نتوانست جلوی همه شکل‌های ارتباطی را بگیرد. عامل‌هایی که در میکروماشین‌های مجازی جداگانه اجرا می‌شدند، بدون ایجاد اتصال شبکه یا نوشتن فایل‌های مشترک، با استفاده از زمان‌بندی دسترسی به حافظه نهان پردازنده، اسرار ساختگی را با یکدیگر مبادله کردند.

یکی از عامل‌ها داده‌های باقی‌مانده در حافظه نهان را تغییر می‌داد و عامل دیگر با اندازه‌گیری زمان دسترسی، پیام رمزگذاری‌شده را بازیابی می‌کرد. اصول زمانی مشابهی در حملات شناخته‌شده کانال جانبی سخت‌افزاری به کار می‌روند؛ بااین‌حال، این آزمایش‌ها ارتباط میان عامل‌های همکار را نشان دادند، نه کشف یک آسیب‌پذیری جدید از نوع Spectre.

مسیرهای ارتباطی دیگر شامل فعالیت‌های ذخیره‌سازی، رقابت بر سر زمان پردازنده و حافظه نهان مشترک گواهی‌های TLS بودند. OpenAI گفت در بیشتر آزمایش‌ها، راهنمایی‌هایی درباره کانال ارتباطی یا قالب پیام در اختیار عامل‌ها قرار گرفته بود. بسیاری از این کانال‌ها کند و استفاده از آن‌ها دشوار بودند، اما با وجود این، جداسازی موردنظر را نقض کردند.

OpenAI اکنون آموزش یادگیری تقویتی مدل‌های پیشرفته را در محیطی موسوم به «جهان آفلاین» انجام می‌دهد که از محتوای وبِ ذخیره‌شده در حافظه نهان و نمایه‌سازی‌شده تشکیل شده است. این روش به مدل‌ها اجازه می‌دهد مهارت مرور وب را تمرین کنند، بی‌آنکه دسترسی نامحدود به سامانه‌های خارجی زنده داشته باشند.

لایه‌های دفاعی گسترده‌تر این شرکت ترکیبی از کانتینرهای محدودشده، میکروماشین‌های مجازی، سامانه‌های نظارتی، دیواره‌های آتش و کنترل‌های دسترسی ابری است. هدف آن است که حتی در صورت شکست یک لایه داخلی، مهار فعالیت‌ها همچنان حفظ شود. این زیرساخت کاملاً از شبکه جدا نیست، زیرا آزمایش‌ها همچنان به برخی اتصالات عملیاتی نیاز دارند.

OpenAI اعلام کرد که هیچ مسیر اینترنتی‌ای پیدا نکرده است که عامل‌ها بتوانند به‌آسانی از آن سوءاستفاده کنند و هم‌زمان از دید سامانه‌های نظارتی پنهان بمانند. بااین‌حال، کمترشدن تعداد یافته‌ها به معنای تضمین امنیت کامل نیست. این شرکت آزمایش‌های امنیتی گسترده با استفاده از توان محاسباتی بالا را به یکی از معیارهای لازم برای ادامه آموزش و ارزیابی مدل‌های پیشرفته آینده تبدیل کرده است.