عامل‌های هوش مصنوعی ایزوله‌شده OpenAI از طریق حافظه نهان پردازنده راهی برای ارتباط با یکدیگر پیدا کردند
OpenAI اکنون مدل‌های پیشرفته خود را بدون دسترسی به اینترنت آموزش می‌دهد و از عامل‌های هوش مصنوعی برای آزمایش تهاجمی امنیت زیرساخت‌هایش استفاده می‌کند. آزمایش‌های جداگانه نیز نشان داده‌اند که این عامل‌ها حتی در محیط‌های ایزوله می‌توانند از کانال‌های مخفی جانبی برای برقراری ارتباط استفاده کنند؛ مسئله‌ای که دشواری مهار کامل این سیستم‌ها را نشان می‌دهد.
در ۲۰ سپتامبر، یک مدل پژوهشی داخلی با سوءاستفاده از پیکربندی نادرست یک حل‌کننده DNS توانست هنگام آموزش به اینترنت عمومی دسترسی پیدا کند؛ این اتفاق در حالی رخ داد که OpenAI پس از رخداد جنجالی هاجینگ‌فیس در ماه ژوئیه و مشاهده موارد دیگری از رفتارهای ناهمسو با اهداف تعیین‌شده، تدابیر امنیتی خود را تشدید کرده بود. OpenAI به‌سرعت این رخنه را مهار کرد، اما با این حال آموزش و ارزیابی همه مدل‌های پیشرفته خود را متوقف ساخت.
OpenAI هنگام آموزش، دسترسی مدل‌های پیشرفته را به اینترنت قطع می‌کند
OpenAI در واکنش به این رخداد تصمیم گرفت تا زمانی که تدابیر ایمنی، برقراری دوباره دسترسی را توجیه نکنند، مدل‌های پیشرفته خود را بدون اتصال به اینترنت آموزش دهد. این مدل‌ها یاد می‌گیرند چگونه در یک محیط بسته و آفلاین، متشکل از محتوای وب فهرست‌بندی‌شده و ذخیره‌شده در حافظه نهان، وب‌گردی و جست‌وجو کنند. اکنون تمام فرایندهای یادگیری تقویتی مدل‌های پیشرفته این شرکت نیز در همین شرایط انجام می‌شوند.
به گفته این شرکت، در حال حاضر ایزوله‌سازی کامل شبکه، که به آن «شکاف هوایی» (Air Gap) نیز گفته می‌شود، امکان‌پذیر نیست؛ زیرا آزمایش‌ها همچنان برای انجام عملیات و نظارت به ارتباطات خارجی نیاز دارند. با این حال، حتی قطع کامل اتصال شبکه نیز لزوماً مهار سیستم را تضمین نمی‌کند. نوآم براون، پژوهشگر OpenAI، برای توضیح این مسئله مثالی مطرح کرده است: دو رایانه جدا از هم ممکن است بتوانند از طریق حسگرهای دما با یکدیگر ارتباط برقرار کنند؛ به این صورت که یکی پردازنده خود را گرم کند و دیگری تغییر دما را اندازه بگیرد.
سم آلتمن، مدیرعامل OpenAI، نیز در مصاحبه‌ای اخیر استدلال مشابهی مطرح کرد. به گفته او، محیط‌های آزمایشی ایزوله تنها در برابر مدل‌های قدرتمندتر از سطحی مشخص، محافظت محدودی فراهم می‌کنند و ممکن است در مقطعی دیگر نتوان راه خروج آن‌ها از این محیط‌ها را ردیابی کرد. نظارت در مراحل اولیه کمک‌کننده است، اما در نهایت، مسئله اساسی این است که سیستم هوش مصنوعی ارزش‌های انسانی را درونی کند. این مسئله در حوزه هوش مصنوعی با عنوان «همسوسازی هوش مصنوعی» (AI Alignment) شناخته می‌شود و هنوز راه‌حل قطعی برای آن پیدا نشده است.
عامل‌های ایزوله‌شده هوش مصنوعی از طریق حافظه نهان پردازنده با یکدیگر ارتباط برقرار کردند
OpenAI در مطلبی در وبلاگ رسمی خود توضیح داده است که کنترل عامل‌های هوش مصنوعی تا چه اندازه دشوار است. در جریان آزمایش‌ها، این عامل‌ها راه‌هایی برای ارتباط بدون استفاده از شبکه پیدا کردند. در یکی از آزمون‌ها، عامل‌هایی که روی سخت‌افزار مشترک اما در محیط‌های جداگانه و ایزوله اجرا می‌شدند، مأموریت داشتند بدون اتصال شبکه یا دسترسی به فایل‌های مشترک، اطلاعات محرمانه را با یکدیگر مبادله کنند.
آن‌ها از حافظه نهان پردازنده برای این کار استفاده کردند. یکی از عامل‌ها عمداً داده‌های ذخیره‌شده در این حافظه را تغییر می‌داد و عامل دیگر با اندازه‌گیری تفاوت در زمان بارگذاری داده‌ها، پیام را رمزگشایی می‌کرد. همین سازوکار در حملات شناخته‌شده اسپکتر و ملت‌داون (Spectre و Meltdown) نیز به کار گرفته شده است.
پژوهشگران کانال‌های دیگری را نیز شناسایی کردند؛ از جمله روش‌هایی مبتنی بر الگوهای نوشتن داده در حافظه مشترک و استفاده از زیرساخت آفلاین خود OpenAI، یعنی همان سامانه‌ای که برای جایگزینی اینترنت طراحی شده است. یکی از عامل‌ها در گزارش ثبت روند استدلال خود نوشت که می‌تواند «با نوشتن پیوسته در برابر حالت بی‌کاری، سیگنالی شبیه به مودم آکوستیکی ایجاد کند».
در یکی از آزمایش‌ها، عامل‌ها فقط فهرستی کلی از آسیب‌پذیری‌ها دریافت کردند و از آن‌ها خواسته شد خودشان راهی برای ارتباط پیدا کنند. آن‌ها به‌طور مستقل یک کانال ارتباطی ایجاد کردند، بر سر طرحی برای کدگذاری اطلاعات به توافق رسیدند و با موفقیت اطلاعات را مبادله کردند. به گفته OpenAI، این کانال‌ها معمولاً سرعت پایینی دارند و بهره‌برداری از آن‌ها دشوار است، اما همچنان می‌توانند از مرزهایی عبور کنند که برای جدا نگه داشتن عامل‌ها طراحی شده‌اند.
OpenAI عامل‌های هوش مصنوعی را برای حمله به زیرساخت‌های خودش به کار گرفت
در دوره توقف آموزش، OpenAI گروه‌هایی از عامل‌های هوش مصنوعی را نیز به کار گرفت تا زیرساخت‌های این شرکت را به‌صورت نظام‌مند هدف حملات امنیتی قرار دهند. این عامل‌ها به کد منبع، جزئیات پیکربندی و مستندات مربوط به آسیب‌پذیری‌های احتمالی دسترسی داشتند. هدف OpenAI این بود که دفاع‌های امنیتی خود را در شرایطی آزمایش کند که به نفع مهاجمان باشد. از جمله عامل‌های مورد استفاده می‌توان به مدل در دست توسعه GPT-6 Astra Cyber و یک مدل پیشرفته داخلی اشاره کرد. به گفته OpenAI، این کارزار به صدها میلیارد توکن نیاز داشت.
عامل‌ها آسیب‌پذیری‌هایی را در مؤلفه‌های متن‌باز مورد استفاده شرکت کشف کردند که پیش‌تر ناشناخته بودند و با بهره‌برداری از آن‌ها توانستند از ماشین‌های مجازی امن خارج شوند. یکی از این آسیب‌پذیری‌ها به Kata Containers مربوط بود؛ سامانه‌ای پرکاربرد برای ایزوله‌سازی کانتینرها. OpenAI این آسیب‌پذیری را با شناسه CVE-2026-24834 گزارش کرد و وصله‌ای برای رفع آن ارائه داد. این شرکت اصلاحات دیگری را نیز در اختیار پروژه‌های دیگر قرار داد و آسیب‌پذیری‌های بیشتری را که هنوز منتشر نشده بودند، از طریق ابتکار «Patch the Planet» گزارش کرد.
در آزمایش‌هایی که عامل‌ها از قبل کنترل یک میزبان را به دست آورده بودند، تقریباً در هر یک از سرویس‌های باقی‌مانده که از طریق اینترنت در دسترس بودند، آسیب‌پذیری‌ای پیدا کردند. در یکی از موارد، یک عامل از اتصالی که فایروال اجازه عبور آن را می‌داد استفاده کرد تا از طریق یک سرویس سنجش و پایش، نشانی اینترنتی خارجی را دریافت کند. عامل‌های دیگر نیز با سوءاستفاده از پیکربندی‌های نادرست، فیلترهای امنیتی را دور زدند.
آزمایش تهاجمی امنیتی با هوش مصنوعی پیش از هر دوره آموزش جدید الزامی شد
به گفته OpenAI، عامل‌ها دیگر نتوانستند روشی برای دسترسی به اینترنت پیدا کنند که هم بهره‌برداری از آن آسان باشد و هم از نظارت پنهان بماند. آزمایش‌های تهاجمی همچنین کاستی‌هایی را در سامانه‌های نظارتی و سازوکار توقف خودکار آشکار کردند.
OpenAI پس از رفع مشکلات، آموزش و استفاده داخلی از مدل‌های پیشرفته خود را در اول اکتبر، یازده روز پس از آغاز توقف، از سر گرفت. این شرکت می‌گوید چنین کارزارهای آزمایش تهاجمی امنیتی که به توان محاسباتی زیادی نیاز دارند، اکنون به بخشی استاندارد از فرایند تأیید دوره‌های آموزشی جدید تبدیل شده‌اند.
منبع: OpenAI