اوپن‌ای‌آی پس از ۱۱ روز توقف به‌دلیل نگرانی‌های امنیتی، آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را از سر گرفت
دهلی نو ـ شرکت اوپن‌ای‌آی به مدیریت سم آلتمن اعلام کرد آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را پس از تقویت تدابیر امنیتی در محیط‌های پژوهشی و محدود کردن دسترسی به اینترنت از سر گرفته است. این تصمیم پس از آن اتخاذ شد که مدل‌های هوش مصنوعی توانایی خود را برای عبور از سازوکارهای حفاظتی محیط‌های محدودشده نشان دادند.
این شرکت همچنین از شناسایی آسیب‌پذیری‌هایی در نرم‌افزارهای مورد استفاده در محیط‌های پژوهشی خود خبر داد که در جریان آزمایش‌های امنیتی کشف شدند. این یافته‌ها در شرایطی به دست آمدند که نگرانی‌ها درباره احتمال سوءاستفاده عامل‌های هوش مصنوعی هرچه توانمندتر از ضعف‌های سیستم‌هایی که برای محدود کردن فعالیت آن‌ها طراحی شده‌اند، افزایش یافته است.
اوپن‌ای‌آی پس از آنکه یکی از مدل‌های پژوهشی در ماه سپتامبر از یک خطای پیکربندی سوءاستفاده کرد و توانست به اینترنت دسترسی محدودی پیدا کند، آموزش پیشرفته‌ترین مدل‌های خود را به‌طور موقت متوقف کرده بود. این شرکت اعلام کرد که حادثه مهار شد و از دوره توقف برای تقویت تدابیر امنیتی استفاده کرد.
اوپن‌ای‌آی برای ارزیابی میزان اثربخشی اقدامات امنیتی جدید، گروه‌هایی از عامل‌های هوش مصنوعی را به کار گرفت تا بررسی کنند آیا می‌توانند از محیط‌های پژوهشی محدودشده خارج شوند یا خیر. به گفته شرکت، این عامل‌ها آسیب‌پذیری‌هایی را شناسایی کردند که پیش‌تر شناخته نشده بودند. پس از رفع این ضعف‌ها، آموزش مدل‌ها در اول اکتبر از سر گرفته شد.
در چند ماه گذشته، امنیت محیط آموزش پژوهشی خود را به‌طور چشمگیری تقویت کرده‌ایم. دسترسی زنده به اینترنت را هنگام آموزش همه مدل‌های پیشرفته قطع کرده‌ایم و به‌جای آن، محیطی آفلاین در اختیار آن‌ها قرار داده‌ایم؛ محیطی که نسخه‌ای ذخیره‌شده از وب را در بر می‌گیرد و مدل‌ها همچنان می‌توانند در آن مرور وب، جست‌وجو و استفاده از برنامه‌ها را یاد بگیرند.
در ۲۰ سپتامبر، پس از آنکه یکی از مدل‌ها با سوءاستفاده از پیکربندی نادرست سامانه نام دامنه (DNS) راهی برای خروج از این محیط آفلاین پیدا کرد، آموزش مدل‌های پیشرفته را متوقف کردیم تا سازوکارهای مهار را بیش از پیش تقویت کنیم. گروه‌هایی از عامل‌ها را که با توانمندترین مدل‌های ما در حوزه امنیت سایبری کار می‌کردند، گرد هم آوردیم و از آن‌ها خواستیم نقاط ضعف محیط‌های پژوهشی‌مان را پیدا کنند.
این عامل‌ها نتوانستند مسیری به اینترنت پیدا کنند که بتوانند به‌سادگی از آن بهره ببرند و هم‌زمان فعالیت خود را از سامانه‌های نظارتی ما پنهان نگه دارند؛ بااین‌حال، آسیب‌پذیری‌های روز صفر، راه‌های فرار از ماشین‌های مجازی و کانال‌های جانبی سخت‌افزاری برای برقراری ارتباط میان عامل‌ها را شناسایی کردند. از یافته‌های آن‌ها برای تقویت بیشتر دفاع‌های امنیتی و ارائه اصلاحیه به نرم‌افزارهای متن‌باز استفاده کردیم.
پس از تقویت معماری مهار، آموزش یادگیری تقویتی (RL) و اجرای استنتاج داخلی برای مدل‌های پیشرفته خود را در اول اکتبر از سر گرفتیم. بخش قابل‌توجهی از توان محاسباتی را به آزمون مستمر تیم‌های مهاجم اختصاص داده‌ایم و این آزمایش‌های امنیتی با توان محاسباتی بالا را به بخشی از ارزیابی‌های ایمنی تبدیل کرده‌ایم که مبنای تصمیم‌گیری درباره امکان ادامه امن آموزش و ارزیابی مدل‌های پیشرفته هستند.
— اوپن‌ای‌آی (@OpenAI)، ۲۳ اکتبر ۲۰۲۶
این شرکت اعلام کرد: «در آزمایش‌های امنیتی تیم قرمز، عامل‌ها توانستند آسیب‌پذیری‌های نرم‌افزاری ناشناخته‌ای را در مؤلفه‌های متن‌بازی که استفاده می‌کنیم و همچنین پیکربندی‌های نادرستی را در سرویس‌هایی که اداره می‌کنیم، شناسایی کنند. این ضعف‌ها به عامل‌ها اجازه دادند از محیط‌های ایزوله‌شده یا سندباکس خارج شوند، میان سیستم‌ها جابه‌جا شوند و به اینترنت آزاد دسترسی پیدا کنند. آن‌ها همچنین راه‌هایی برای برقراری ارتباط از مرزهای جداسازی پیدا کردند. این یافته‌ها به انتشار وصله‌های نرم‌افزاری، اعمال محدودیت‌های سخت‌گیرانه‌تر شبکه و اطلاع‌رسانی به نگه‌دارندگان و عرضه‌کنندگان نرم‌افزارهای مربوطه منجر شد.»
اوپن‌ای‌آی افزود که این آزمایش‌ها ضمن شناسایی شکاف‌های امنیتی احتمالی، به ارزیابی اثربخشی سامانه‌های نظارتی موجود نیز کمک کردند.
این شرکت گفت: «کارزار آزمایش امنیتی تیم قرمز، ضعف‌هایی را آشکار کرد که نیازمند اصلاح بودند و در عین حال، شواهدی درباره کارآمدی تدابیر حفاظتی موجود در اختیارمان گذاشت. ما مسیری به اینترنت پیدا نکردیم که عامل‌ها بتوانند به‌سادگی از آن بهره ببرند و هم‌زمان فعالیت خود را از سامانه‌های نظارتی ما پنهان کنند. بااین‌حال، یافته‌ها به ما کمک کردند مسیرهای احتمالی حمله را مسدود کنیم، نرم‌افزارها را اصلاح کنیم و نظارت را تقویت کنیم.»
بنابراین، اوپن‌ای‌آی پس از انجام آزمایش‌های امنیتی، اعمال اصلاحات لازم و بهبود سامانه‌های نظارتی و سازوکارهای توقف، «آموزش یادگیری تقویتی (RL) و اجرای استنتاج داخلی برای مدل‌های پیشرفته» خود را در اول اکتبر از سر گرفت؛ یعنی تنها ۱۱ روز پس از آغاز توقف.
اوپن‌ای‌آی از زمان حادثه مرتبط با پلتفرم هاجینگ‌فیس در ماه ژوئیه، بررسی گسترده‌تری را درباره فعالیت مدل‌های هوش مصنوعی خود نیز دنبال کرده است. این شرکت اعلام کرده که درباره حوادث مرتبط با فعالیت‌های غیرمجاز عامل‌های هوش مصنوعی خود، به بیش از ۱۰۰ سازمان اطلاع داده است. (ANI)