اوپن‌ای‌آی پس از کشف ارتباطات مخفیانه هوش مصنوعی و تلاش آن برای دسترسی به اینترنت، فعالیت‌های توسعه مدل‌هایش را متوقف کرد
اوپن‌ای‌آی اعلام کرده است که به‌دلیل بروز یک مشکل امنیتی، آموزش و ارزیابی مدل‌های پیشرفته هوش مصنوعی خود را به مدت ۱۱ روز متوقف کرده است.
علت این تصمیم آن بود که یکی از مدل‌های پژوهشی داخلی شرکت با سوءاستفاده از نقصی در پیکربندی سامانه نام دامنه (DNS)، بدون مجوز به اینترنت واقعی دسترسی پیدا کرد. همچنین، در آزمایش‌های بعدی مشخص شد که برخی عوامل هوش مصنوعی توانسته‌اند از ماشین‌های مجازی خارج شوند و از طریق کانال‌های مخفی با یکدیگر ارتباط برقرار کنند.
شرکت تحت مدیریت سم آلتمن می‌گوید این رخداد را «بلافاصله» شناسایی و مهار کرده است. اوپن‌ای‌آی همچنین آموزش یادگیری تقویتی و فرایندهای استنتاج داخلی را متوقف کرد تا زیرساخت‌های خود را به‌طور کامل بررسی کند و از بروز رفتارهای ناخواسته جلوگیری شود.
اوپن‌ای‌آی برای مقابله با این مشکلات، سیاست سخت‌گیرانه‌ای مبتنی بر قطع کامل ارتباطات شبکه‌ای در پیش گرفت و کارزار گسترده‌ای برای شناسایی و رفع آسیب‌پذیری‌ها به راه انداخت. در این کارزار، از مدل‌های هوش مصنوعی خود شرکت، از جمله GPT-6 Astra Cyber، برای شناسایی نقص‌های امنیتی و برطرف کردن آن‌ها استفاده شد.
این شرکت می‌گوید برای رسیدگی به این مشکل، صدها میلیارد توکن محاسباتی را به کار گرفته است.
توقف فعالیت‌ها در ۲۰ سپتامبر ۲۰۲۶، پس از شناسایی نفوذ، آغاز شد و پس از تقویت تدابیر دفاعی، عملیات در اول اکتبر از سر گرفته شد.
اوپن‌ای‌آی برای رفع این محدودیت، بدون آنکه توانایی یادگیری عوامل هوش مصنوعی را کاهش دهد، محیطی آفلاین ایجاد کرد؛ زیرا این عوامل برای یادگیری به تعامل با صفحات وب و ابزارهای دیجیتال نیاز دارند. این محیط بسته شامل نسخه‌ای نمایه‌سازی‌شده و ذخیره‌شده از محتوای وب است که هوش مصنوعی می‌تواند در آن به گشت‌وگذار بپردازد و کد اجرا کند، بی‌آنکه خطر آسیب زدن به سامانه‌های خارجی واقعی یا ایجاد تغییر در آن‌ها وجود داشته باشد.
اوپن‌ای‌آی در یک پست وبلاگی توضیح داد: «اگرچه دسترسی به اینترنت می‌تواند به مدل‌ها در کسب مهارت‌های مفید کمک کند، اما در عین حال به یک عامل توانمند با برنامه‌نویسی نامناسب این امکان را می‌دهد که بر سامانه‌هایی خارج از کنترل ما تأثیر بگذارد.»
این شرکت افزود: «بنابراین، معماری امنیتی محیط‌های پژوهشی خود را بر اساس یک اصل اساسی طراحی کرده‌ایم: باید همواره بتوانیم مانع دسترسی غیرمجاز و خودسرانه یک مدل پیشرفته به اینترنت در زمان واقعی شویم.»
کشف آسیب‌پذیری‌ها در مدل‌های متن‌باز
نتایج آزمایش‌ها از وجود آسیب‌پذیری‌های پیچیده حکایت داشت. عوامل هوش مصنوعی توانستند از سد محیط‌های ایزوله و محدودکننده موسوم به سندباکس و همچنین ماشین‌های مجازی سبک عبور کنند. در جریان این آزمایش‌ها، نقص‌های امنیتی روز صفرِ پیش‌تر شناسایی‌نشده‌ای در پروژه‌های متن‌باز پرکاربردی مانند Kata Containers، gVisor و Moby/Docker کشف شد.
یکی از چشمگیرترین یافته‌ها زمانی به دست آمد که پژوهشگران توانایی عوامل هوش مصنوعی را برای برقراری ارتباط با یکدیگر در محیط‌هایی کاملاً ایزوله بررسی کردند؛ محیط‌هایی که نه اتصال شبکه‌ای داشتند و نه فایلی میان آن‌ها به اشتراک گذاشته می‌شد.
هوش مصنوعی راهی برای انتقال اطلاعات از طریق تغییرات در زمان دسترسی به حافظه نهان پردازنده (کش) پیدا کرد. این روش به حملات کانال جانبی شناخته‌شده‌ای مانند Spectre و Meltdown شباهت دارد. در این آزمایش، یک عامل با نوشتن داده‌ها وضعیت حافظه نهان را تغییر می‌داد و عامل دیگر با اندازه‌گیری زمان خواندن داده‌ها، پیام‌ها را رمزگشایی می‌کرد و اسرار ساختگی را میان عوامل به اشتراک می‌گذاشت.
پس از اصلاح نقص‌های پیکربندی، گزارش خطاهای کشف‌شده به توسعه‌دهندگان نرم‌افزارهای متن‌باز و تقویت سازوکارهای توقف خودکار اجرا، اوپن‌ای‌آی به این نتیجه رسید که تدابیر حفاظتی کافی هستند و آموزش مدل‌ها را در اول اکتبر از سر گرفت.
بااین‌حال، این رخداد، در کنار حادثه دیگری مرتبط با هاجینگ فیس در ماه ژوئیه و موارد دیگری از رفتارهای غیرمنتظره مدل‌های هوش مصنوعی، شرکت اوپن‌ای‌آی را به اعمال تغییرات اساسی در تدابیر امنیتی خود واداشته است.
اوپن‌ای‌آی تأکید کرد: «ما متعهد هستیم هم‌زمان با افزایش توانایی مدل‌های پیشرفته خود، زیرساخت‌های مهار، نظارت و آزمون نفوذ را تقویت کنیم. معتقدیم این اقدامات بخش اساسی مدیریت مسئولانه توسعه مدل‌های پیشرفته ما خواهد بود.»