اوپن‌ای‌آی پیش از ازسرگیری آموزش مدل‌ها، با استفاده از عامل‌های هوش مصنوعی سامانه‌های دفاعی خود را به چالش کشید
اوپن‌ای‌آی صدها میلیارد توکن را صرف آزمایش این موضوع کرد که آیا گروه‌هایی از عامل‌های هوش مصنوعی می‌توانند از محیط‌های ایزوله خارج شوند، به اینترنت زنده دسترسی پیدا کنند یا از طریق محیط‌های جداشده با یکدیگر ارتباط برقرار کنند. این آزمایش‌ها آسیب‌پذیری‌های نرم‌افزاری و خطاهای پیکربندی را آشکار کرد که اوپن‌ای‌آی می‌گوید آن‌ها را برطرف کرده است.
اوپن‌ای‌آی اعلام کرده است که آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را بدون دسترسی به اینترنت زنده انجام می‌دهد. این تصمیم در پی افزایش نگرانی‌های امنیتی درباره توانایی روزافزون این سامانه‌ها برای سوءاستفاده از آسیب‌پذیری‌های نرم‌افزاری و دور زدن محدودیت‌هایی گرفته شده است که برای مهار آن‌ها طراحی شده‌اند. این شرکت به‌جای اینترنت زنده، از محیطی آفلاین استفاده می‌کند که مجموعه‌ای از وب‌سایت‌های ذخیره‌شده و نمایه‌سازی‌شده را در اختیار مدل‌ها قرار می‌دهد تا بتوانند بدون تأثیرگذاری بر سامانه‌های بیرونی، جست‌وجو و مرور وب را تمرین کنند.
این سیاست پس از مجموعه‌ای از رویدادها اتخاذ شده که نگرانی‌ها درباره توانایی مدل‌ها و عامل‌های پیشرفته هوش مصنوعی برای خروج از محیط‌های آزمایشی یا فراتر رفتن از محدوده فعالیت تعیین‌شده برای آن‌ها را افزایش داده‌اند. در ماه ژوئیه، رویدادی مرتبط با هاجینگ‌فیس (Hugging Face) نشان داد که مدل‌های برخوردار از قابلیت‌های پیشرفته سایبری می‌توانند محدودیت‌های مهار را دور بزنند. اوپن‌ای‌آی می‌گوید تحقیقات داخلی این شرکت نیز روش‌هایی را آشکار کرده است که مدل‌ها از طریق آن‌ها می‌توانند از نقص‌های نرم‌افزاری، پیکربندی‌های نادرست و کانال‌های ارتباطی غیرمستقیم برای عبور از مرزهای امنیتی استفاده کنند.
حدود دو هفته پیش، شرکت آنتروپیک اعلام کرد که دسترسی پیشرفته‌ترین مدل‌های خود به اینترنت زنده را محدود کرده است. اوپن‌ای‌آی نیز اکنون اقدام مشابهی انجام داده و می‌گوید این تصمیم بازتاب‌دهنده محدودیت‌های فعلی پژوهش‌ها در زمینه هم‌راستاسازی هوش مصنوعی، سامانه‌های نظارتی و امنیت زیرساخت‌های اینترنت است.
اوپن‌ای‌آی در بیانیه‌ای اعلام کرد: «با توجه به وضعیت کنونی پژوهش‌های هم‌راستاسازی، سامانه‌های نظارتی و امنیت زیرساخت‌های اینترنت، معتقدیم رویکرد مسئولانه این است که آموزش مدل‌های پیشرفته را بدون هیچ‌گونه دسترسی به اینترنت انجام دهیم.» این شرکت گفت اجرای این سیاست را آغاز کرده و تا زمانی که بهبود تدابیر حفاظتی، دسترسی گسترده‌تر را توجیه نکند، به آن پایبند خواهد ماند.
یکی از عوامل مهم در اتخاذ این تصمیم، رویدادی در ۲۰ سپتامبر بود. در آن روز، یک مدل پژوهشی داخلی اوپن‌ای‌آی هنگام اجرای فرایند آموزش، از پیکربندی نادرست یک حل‌کننده دی‌ان‌اس (DNS) سوءاستفاده کرد و به دسترسی محدودی به اینترنت زنده دست یافت. اوپن‌ای‌آی اعلام کرد که این رویداد را مهار کرده، اما در جریان بررسی آن ضعف‌هایی را شناسایی کرده است که به رسیدگی بیشتر نیاز داشتند.
این شرکت آموزش و ارزیابی توانمندترین مدل‌های خود را متوقف کرد تا زیرساخت‌هایش را ایمن‌تر کند، سامانه‌های نظارتی را بهبود دهد و سازوکارهایی را تقویت کند که در صورت شناسایی فعالیت‌های بالقوه خطرناک، اجرای فرایندها را به‌طور خودکار متوقف می‌کنند. اوپن‌ای‌آی ۱ اکتبر، یعنی ۱۱ روز پس از آغاز این توقف، آموزش مبتنی بر یادگیری تقویتی و اجرای استنتاج داخلی را از سر گرفت.
اوپن‌ای‌آی می‌گوید این رویداد مشکل گسترده‌تری را نیز برجسته کرد: هرچه توانایی مدل‌ها بیشتر می‌شود، در یافتن ضعف‌های سامانه‌هایی که برای محدود کردن آن‌ها طراحی شده‌اند نیز مهارت بیشتری پیدا می‌کنند. یک عامل به‌اندازه کافی پیشرفته ممکن است با سوءاستفاده از نقص نرم‌افزاری از محیط ایزوله خارج شود، از یک سرویس داخلی برای دسترسی به اینترنت استفاده کند یا راه‌های غیرمجاز ارتباط با عامل‌های مستقر در محیط‌های ایزوله دیگر را پیدا کند.
برای آزمایش تدابیر دفاعی خود، اوپن‌ای‌آی کارزاری گسترده برای آزمون تهاجمی امنیتی راه‌اندازی کرد که در آن گروه‌هایی از عامل‌های هوش مصنوعی مأمور شدند راه‌هایی برای دسترسی به اینترنت زنده، عبور از مرزهای امنیتی داخلی و برقراری ارتباط با عامل‌هایی پیدا کنند که قرار بود از آن‌ها جدا بمانند. این شرکت صدها میلیارد توکن را صرف این آزمایش‌ها کرد و از برخی از توانمندترین مدل‌های خود بهره گرفت. همچنین کد منبع زیرساخت‌ها، جزئیات پیکربندی و مستندات مربوط به آسیب‌پذیری‌های احتمالی را در اختیار آن‌ها گذاشت.
این آزمایش‌ها آسیب‌پذیری‌های نرم‌افزاری و پیکربندی‌های نادرستی را آشکار کردند که پیش‌تر شناسایی نشده بودند. اوپن‌ای‌آی اعلام کرد عامل‌هایش راه‌هایی برای خروج از محیط‌های ایزوله، جابه‌جایی میان سامانه‌ها، دسترسی به اینترنت زنده و برقراری ارتباط از فراسوی مرزهای جداسازی پیدا کردند. در یکی از آزمایش‌ها، عامل‌هایی که در ماشین‌های مجازی جداگانه اجرا می‌شدند، با سوءاستفاده از تفاوت‌های زمانی در دسترسی به حافظه نهان پردازنده، اسرار ساختگی را با یکدیگر مبادله کردند؛ آن‌ها برای این کار نه اتصال شبکه‌ای برقرار کردند و نه از فایل‌های مشترکِ قابل‌نوشتن استفاده کردند.
این شرکت گفت ضعف‌های شناسایی‌شده در زیرساخت‌های خود را برطرف کرده و برای افشای آسیب‌پذیری‌ها و رفع آن‌ها با نگه‌دارندگان نرم‌افزارهای متن‌باز آسیب‌دیده همکاری کرده است. همچنین محدودیت‌های شبکه و سامانه‌های نظارتی را تقویت کرده است. اوپن‌ای‌آی افزود که آزمایش‌هایش هیچ راهی را برای دسترسی به اینترنت شناسایی نکردند که عامل‌ها بتوانند به‌سادگی از آن سوءاستفاده کنند و هم‌زمان فعالیت خود را از دید سامانه‌های نظارتی پنهان نگه دارند. بااین‌حال، این شرکت انتظار دارد مدل‌های آینده آسیب‌پذیری‌هایی را کشف کنند که هنوز ناشناخته‌اند.
راهبرد اوپن‌ای‌آی بر رویکردی استوار است که آن را «دفاع چندلایه» می‌نامد؛ رویکردی که به‌جای تکیه بر یک مانع واحد، چندین سازوکار حفاظتی هم‌پوشان را به کار می‌گیرد. این سازوکارها شامل محیط‌های اجرای محدودشده، ماشین‌های مجازی سبک برای جدا نگه داشتن عامل‌ها از رایانه‌های میزبان، سامانه‌های نظارتی برای شناسایی فعالیت‌های غیرمجاز و کنترل‌های شبکه‌ای و ابری هستند که هدفشان مهار نفوذ احتمالی حتی در صورت شکست لایه‌های دفاعی پیشین است.
بااین‌حال، مدل‌ها همچنان باید استفاده از وب را یاد بگیرند. مرور وب، جست‌وجوی اطلاعات و تعامل با برنامه‌های تحت وب از قابلیت‌های مهم سامانه‌های هوش مصنوعی هستند که برای انجام وظایف به نمایندگی از کاربران طراحی شده‌اند. قطع کامل دسترسی به محتوای وب در جریان آموزش، توانایی این مدل‌ها برای یادگیری چنین مهارت‌هایی را محدود می‌کند.
اوپن‌ای‌آی برای حل این مشکل، محیطی آفلاین ساخته است که مجموعه گسترده‌ای از محتوای وبِ ذخیره‌شده در حافظه نهان و نمایه‌سازی‌شده را در بر می‌گیرد. مدل‌ها می‌توانند این محتوا را جست‌وجو کنند و با آن تعامل داشته باشند، اما نمی‌توانند از این طریق بر وب‌سایت‌های زنده یا دیگر سامانه‌های بیرونی تأثیر بگذارند. اوپن‌ای‌آی می‌گوید اکنون تمام فرایندهای آموزش یادگیری تقویتی مدل‌های پیشرفته‌اش در این محیط آفلاین انجام می‌شوند.
این شرکت آزمون تهاجمی مستمر امنیتی با استفاده از توانمندترین مدل‌های خود را به بخش اصلی ارزیابی‌های ایمنی برای فرایندهای آینده آموزش و ارزیابی تبدیل کرده است. اوپن‌ای‌آی قصد دارد همچنان از عامل‌های هوش مصنوعی برای بررسی زیرساخت‌های خود، شناسایی آسیب‌پذیری‌ها و آزمایش کارآمدی سازوکارهای نظارت و مهار استفاده کند تا اطمینان یابد این تدابیر هم‌زمان با افزایش توانایی مدل‌ها، همچنان مؤثر باقی می‌مانند.