اوپن‌ای‌آی پس از یک رخداد امنیتی، آموزش مدل‌های پیشرفته هوش مصنوعی را متوقف کرد
اوپن‌ای‌آی پس از آنکه عامل‌های هوش مصنوعی ضعف‌های امنیتی، راه‌های فرار از ماشین‌های مجازی و کانال‌های ارتباطی مخفی را کشف کردند، آموزش مدل‌های پیشرفته خود را به مدت ۱۱ روز متوقف کرد.
اوپن‌ای‌آی این هفته گزارشی مفصل منتشر کرد و در آن توضیح داد که چگونه امنیت سامانه‌های مورد استفاده برای آموزش و آزمایش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را تقویت کرده است. این شرکت همچنین شرح داد که هنگام تلاش عامل‌های هوش مصنوعی برای یافتن نقاط ضعف این سامانه‌ها چه اتفاقی افتاد و چرا آموزش پیشرفته‌ترین مدل‌های خود را در ماه سپتامبر به مدت ۱۱ روز متوقف کرد.
در گزارش منتشرشده از سوی این شرکت آمده است: «بر اساس نتایج آزمایش‌های تیم قرمز، اصلاحاتی که اجرا کرده بودیم و بهبود سامانه‌های نظارت و توقف، به این نتیجه رسیدیم که تدابیر حفاظتی تقویت‌شده برای ازسرگیری آموزش یادگیری تقویتی مدل‌های پیشرفته و اجرای استنتاج داخلی کافی هستند.» این گزارش می‌افزاید: «این فرایندها را در اول اکتبر، ۱۱ روز پس از آغاز توقف، از سر گرفتیم.»
این رخداد در ۲۰ سپتامبر آغاز شد؛ زمانی که یک مدل پژوهشی داخلی از خطایی در پیکربندی سامانه نام دامنه (DNS) سوءاستفاده کرد و هنگام آموزش به دسترسی محدودی به اینترنت عمومی دست یافت. این اتفاق، در کنار یک رخداد امنیتی مربوط به هاگینگ فیس (Hugging Face) در ماه ژوئیه و موارد دیگری از رفتارهای غیرمنتظره مدل‌های هوش مصنوعی، اوپن‌ای‌آی را به اعمال تغییرات اساسی در تدابیر امنیتی خود واداشت.
اوپن‌ای‌آی اعلام کرده است که محدودیت‌های دسترسی عامل‌ها باید حتی زمانی پابرجا بمانند که عامل فعالانه برای دور زدن آن‌ها تلاش می‌کند. این شرکت در نهایت تصمیم گرفته است که آموزش مدل‌های پیشرفته هوش مصنوعی از این پس به‌طور کامل و بدون هیچ‌گونه دسترسی به اینترنت انجام شود.
در ادامه گزارش آمده است: «در جریان آموزش و بیشتر ارزیابی‌ها، اینترنت عمومی خارج از محدوده دسترسی مجاز قرار دارد؛ زیرا معتقدیم دسترسی مدل‌ها به اینترنت زنده می‌تواند خطرات قابل‌توجهی ایجاد کند. هرچند دسترسی به اینترنت می‌تواند به مدل‌ها در یادگیری مهارت‌های مفید کمک کند، به یک عامل توانمند که اهدافش با اهداف ما همسو نیست نیز فرصت می‌دهد بر سامانه‌هایی خارج از کنترل ما تأثیر بگذارد.» گزارش تأکید می‌کند: «ازاین‌رو، معماری امنیتی محیط‌های پژوهشی خود را بر اساس یک اصل محوری طراحی کرده‌ایم: باید همواره بتوانیم مانع دسترسی غیرمجاز و نامحدود یک مدل پیشرفته به اینترنت عمومی شویم.»
برای فراهم کردن امکان آموزش بدون اتصال مستقیم به اینترنت، این شرکت محیطی را که «دنیای آفلاین» می‌نامد ایجاد کرده است؛ مجموعه‌ای بزرگ، نمایه‌سازی‌شده و ذخیره‌شده از محتوای وب که مدل‌ها می‌توانند بدون ارتباط با سامانه‌های خارجی در آن جست‌وجو و مرور کنند. لایه‌های حفاظتی این محیط شامل کانتینرهای محدودشده، ماشین‌های مجازی سبک برای جدا نگه داشتن محیط هر عامل از سخت‌افزار زیربنایی، کنترل‌های شبکه و فضای ابری و سامانه‌های نظارتی است که برای شناسایی فعالیت‌های غیرمجاز پیش از وارد آمدن خسارت طراحی شده‌اند.
این گزارش توضیح می‌دهد که اوپن‌ای‌آی چگونه پیشرفته‌ترین عامل‌های هوش مصنوعی خود را آزمایش کرده است: از آن‌ها خواسته شد نقاط ضعف سامانه‌های داخلی شرکت را پیدا کنند. این عامل‌ها سه هدف داشتند: دسترسی به اینترنت عمومی، عبور از موانع امنیتی داخلی یا برقراری ارتباط با عامل‌های دیگر در شرایطی که چنین ارتباطی مجاز نبود. اوپن‌ای‌آی این آزمایش‌ها را با استفاده از صدها میلیارد توکن انجام داد.
عامل‌ها آسیب‌پذیری‌های امنیتی ناشناخته‌ای را در نرم‌افزارهای متن‌باز، از جمله Kata Containers، gVisor و Moby/Docker، و همچنین خطاهای پیکربندی در سرویس‌های داخلی اوپن‌ای‌آی کشف کردند. آن‌ها با ترکیب این ضعف‌ها توانستند از ماشین‌های مجازی خارج شوند و کنترل سامانه میزبان زیربنایی را به دست بگیرند. در آزمایش‌های بعدی نیز ضعف‌هایی در سرویس‌های نظارت، ثبت گزارش رویدادها و احراز هویت پیدا کردند و از آن‌ها برای واداشتن این سرویس‌ها به دسترسی به نشانی‌های اینترنتی تحت کنترل مهاجم استفاده کردند.
بخشی از گزارش که بیش از همه شایسته توجه است، صرفاً به خروج مستقیم از محیط‌های محدودشده به اینترنت مربوط نمی‌شود؛ بلکه به کاری مربوط است که عامل‌ها هنگام در دسترس نبودن این مسیرها انجام دادند. عامل‌هایی که در ماشین‌های مجازی جداگانه اجرا می‌شدند و اجازه نداشتند فایل‌ها یا اتصالات شبکه را با یکدیگر به اشتراک بگذارند، از طریق زمان‌بندی حافظه نهان پردازنده با هم ارتباط برقرار کردند. یک عامل داده‌های مشخصی را از حافظه نهان پردازنده خارج می‌کرد و عامل دیگر مدت‌زمان بارگذاری دوباره همان داده‌ها را اندازه می‌گرفت. سپس با تشخیص تفاوت میان خواندن سریع و کند، پیام را رمزگشایی می‌کرد. در این روش نه فایلی منتقل می‌شد و نه بسته‌ای از طریق شبکه ارسال می‌شد. این تکنیک در همان خانواده حملاتی قرار می‌گیرد که آسیب‌پذیری‌های Spectre و Meltdown به آن تعلق دارند.
اوپن‌ای‌آی آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را در اول اکتبر، ۱۱ روز پس از آغاز توقف، از سر گرفت. این شرکت اکنون آزمایش‌های امنیتی گسترده را به یکی از الزامات فرایند تأیید پیش از آغاز دوره‌های آموزش تبدیل کرده است. همچنین از عامل‌های هوش مصنوعی برای بررسی منظم کد منبع و تنظیمات فضای ابری و یافتن نقاط ضعف استفاده می‌کند، سامانه‌هایی را می‌آزماید که فعالیت‌ها را زیر نظر می‌گیرند و عملیات ناایمن را به‌طور خودکار متوقف می‌کنند و آسیب‌پذیری‌های کشف‌شده را به پروژه‌های متن‌باز مسئول رفع آن‌ها گزارش می‌دهد.
اوپن‌ای‌آی می‌گوید با رفع آسیب‌پذیری‌های ماشین‌های مجازی، همکاری با شرکای ارائه‌دهنده خدمات ابری و به‌کارگیری عامل‌های هوش مصنوعی برای اسکن کدها و پیکربندی‌ها، همچنان در حال تقویت امنیت خود است. این شرکت همچنین سامانه‌های نظارت و خاموش‌سازی خودکار را بهبود می‌دهد، دفاع‌های محیط‌های ایزوله و شبکه‌ای را به‌طور منظم آزمایش می‌کند و آزمایش‌های تهاجمی امنیتی در مقیاس محاسباتی بالا را با استفاده از توانمندترین مدل‌های خود، به یکی از الزامات اصلی آموزش و ارزیابی مدل‌های پیشرفته آینده تبدیل کرده است.
این شرکت در پایان می‌گوید: «متعهدیم هم‌زمان با افزایش توانمندی مدل‌های پیشرفته خود، زیرساخت‌های مهار، نظارت و آزمایش امنیتی تیم قرمز را تقویت کنیم. معتقدیم این اقدامات بخش جدایی‌ناپذیری از مدیریت مسئولانه سرعت توسعه مدل‌های پیشرفته ما خواهد بود.»