گزارش تیم قرمز: اوپن‌ای‌آی در نظارت بر عامل‌های هوش مصنوعی خود هنگام حمله به هاگینگ فیس کاملاً ناکام ماند
نظارت بر عامل‌های هوش مصنوعی ناقص بود و به‌راحتی می‌شد آن را دور زد.
نویسنده: توماس کلابورن، خبرنگار حوزه هوش مصنوعی و نرم‌افزار
تاریخ انتشار: جمعه ۲۳ اکتبر ۲۰۲۶، ساعت ۲۰:۱۴ به وقت UTC
ارزیابی مستقلی از سیستم داخلی اوپن‌ای‌آی برای شناسایی رفتارهای ناهمسو با اهداف تعیین‌شده نشان داده است که این سیستم در دوره‌ای که ربات‌های این شرکت به پلتفرم میزبانی مدل‌های هوش مصنوعی هاگینگ فیس (Hugging Face) نفوذ می‌کردند، عملاً کارایی لازم را نداشته است. سازوکارهای حفاظتی این سیستم به‌هیچ‌وجه به اندازه کافی قدرتمند نبودند.
دو سازمان همکار در این ارزیابی، METR و Redwood Research، در گزارشی که روز پنجشنبه منتشر شد، اعلام کردند: «کارکنان METR و Redwood چندین آسیب‌پذیری جدید را در سیستم داخلی نظارت ناهم‌زمان بر رفتارهای ناهمسو شناسایی کردند؛ آسیب‌پذیری‌هایی که تا تاریخ ۲۱ ژوئیه و پیش از آن در این سیستم وجود داشتند.»
این سیستم برای نظارت بر رفتار عامل‌های هوش مصنوعی طراحی شده بود و اوپن‌ای‌آی می‌گوید از آن زمان، مطابق توضیحاتی که در یکی از گزارش‌های خود و گزارش مربوط به حادثه هاگینگ فیس ارائه کرده، آن را بهبود داده است. بااین‌حال، آن‌طور که METR و Redwood Research در گزارش خود توضیح داده‌اند، قابلیت‌های نظارتی این سیستم کامل نبود و همان عامل‌هایی که قرار بود زیر نظر داشته باشد، می‌توانستند از نظارت آن فرار کنند.
البته دور زدن سیستم همیشه هم ضروری نبود، زیرا این سامانه در تمام مدت فعال نمی‌ماند. برای مثال، هنگام اجرای فرایند فشرده‌سازی زمینه (Compaction)، نظارت متوقف می‌شد. در این فرایند، مدل‌های هوش مصنوعی اطلاعات موجود در پنجره زمینه خود را خلاصه و فشرده می‌کنند تا فضای بیشتری برای دریافت ورودی‌های جدید فراهم شود. طبق این گزارش، از ماه مه تا ژوئیه ۲۰۲۶، حدود ۱۰ درصد از ترافیک داخلی واجد شرایط Codex هنگام اجرای این فرایند بدون نظارت باقی مانده بود.
این شکاف نظارتی از نظر تئوری به اندازه‌ای گسترده بود که عامل‌های هوش مصنوعی بتوانند نظارت بر فعالیت‌های خود را برای مدتی نامحدود به تعویق بیندازند. آن‌ها می‌توانستند با ادامه دادن اقدامات خود، بدون آنکه کنترل را دوباره به کاربر واگذار کنند، نظارت را بیش‌ازپیش مختل کنند.
در گزارش آمده است: «در زمان اجرای این آزمایش، سیستم نظارتی هنگامی فعال می‌شد که عامل‌ها کنترل را به کاربر بازمی‌گرداندند. بنابراین، در دوره‌ای که رویدادهای فشرده‌سازی زیر نظر نبودند، عامل‌ها می‌توانستند صرفاً با ادامه دادن اقدامات خود، نظارت بر فعالیت‌هایشان را به‌طور نامحدود به تأخیر بیندازند.»
البته این یافته به آن معنا نیست که عامل‌های اوپن‌ای‌آی لزوماً از چنین روشی استفاده کرده‌اند. اقداماتی که این عامل‌ها علیه هاگینگ فیس و سازمان‌های دیگر انجام داده‌اند، اکنون به‌خوبی مستند شده است. بااین‌حال، اگر عامل‌های هوش مصنوعی این شرکت قصد پنهان کردن فعالیت‌های خود را داشتند، سیستم نظارت داخلی اوپن‌ای‌آی به‌راحتی ممکن بود رفتارهای نامناسب آن‌ها را تشخیص ندهد؛ چه این عامل‌ها اقداماتشان را هنگام فشرده‌سازی انجام می‌دادند و چه صرفاً در نقاط کور سیستم فعالیت می‌کردند.
گزارش در ادامه نیز ضعف‌های مشابهی را برمی‌شمارد. پژوهشگران علاوه بر شکاف‌های نظارتی، به نرم‌افزارهایی اشاره می‌کنند که چنان ضعیف طراحی و پیاده‌سازی شده بودند که شاید بتوان آن‌ها را، به کنایه، محصول برنامه‌نویسی موسوم به «وایب کدینگ» (Vibe Coding) دانست. همین ضعف‌ها به عامل‌های اوپن‌ای‌آی امکان می‌داد از سیستم نظارتی ناکارآمد شرکت فرار کنند.
در بخشی از گزارش آمده است: «ما روشی پیدا کردیم که عامل‌های Codex اصولاً می‌توانستند با استفاده از آن، محدودیت‌های محیط ایزوله Codex یا همان سندباکس و سازوکار بازبینی خودکار (Auto-Review) را دور بزنند. این روش به آن‌ها اجازه می‌داد هر اقدامی را انجام دهند که کاربر میزبان مجاز به انجام آن بود. همچنین یک روش سوءاستفاده دیگر کشف کردیم که عامل‌ها می‌توانستند با استفاده از آن، مانع نظارت بر صدها اقدام اخیر خود شوند؛ از جمله اقداماتی که برای اجرای خود این سوءاستفاده انجام داده بودند.»
اوپن‌ای‌آی جزئیات فنی این روش سوءاستفاده را از گزارش حذف کرده است. اما خلاصه ماجرا این است که عامل‌های هوش مصنوعی می‌توانستند از سیستمی فرار کنند که از ابتدا هم بخشی از ترافیک را زیر نظر نمی‌گرفت. این عامل‌ها در محیط ایزوله‌ای فعالیت می‌کردند که محدودیت‌های امنیتی آن به‌درستی عمل نمی‌کرد و درعین‌حال، به روشی برای دور زدن نظارت دسترسی داشتند.
اما مشکلات به همین‌جا ختم نمی‌شد. ارزیابان دریافتند که عامل‌های هوش مصنوعی می‌توانستند ورودی‌هایی ایجاد کنند که باعث از کار افتادن فرایند نظارت شود. همچنین دو سرآیند (Header) قابل‌کنترل از سمت کلاینت وجود داشت که می‌توانستند نظارت بر عامل‌های جدید را غیرفعال کنند. افزون بر این، دو ابزار مورد استفاده عامل‌ها نیز از نظارت خارج بودند. تصور می‌شد این ابزارها فقط امکان خواندن اطلاعات را دارند، اما می‌شد از آن‌ها برای اجرای اقدامات دلخواه در محیط ایزوله سوءاستفاده کرد؛ محیطی که همان‌طور که پیش‌تر اشاره شد، محدودیت‌های امنیتی آن به‌شدت نفوذپذیر بود.
در پایان، METR و Redwood Research پیشنهاد می‌کنند که شرکت‌های فعال در حوزه هوش مصنوعی، سیستم‌های نظارت بر عامل‌های خود را به‌گونه‌ای طراحی کنند که واقعاً کار کنند و به اندازه کافی مقاوم باشند تا بتوانند «در برابر حملات عمدی، حساب‌شده و مستمر عامل‌های داخلی بسیار توانمند، حتی در مقیاس گسترده، مقاومت کنند».