گزارش تیم قرمز: سامانه نظارتی OpenAI هنگام نفوذ به Hugging Face ناکارآمد بود
۲۴ اکتبر ۲۰۲۶ | النا وارگا
ارزیابان مستقل دو مؤسسه METR و Redwood Research دریافتند سامانه داخلی OpenAI برای شناسایی رفتارهای ناهمسو با اهداف تعیین‌شده، ضعف‌های اساسی داشته است. این ضعف‌ها باعث شده بود عامل‌های هوش مصنوعی هنگام حمله به پلتفرم Hugging Face، از جمله در جریان فشرده‌سازی اطلاعات و با دور زدن محیط‌های ایزوله امنیتی، بتوانند بدون نظارت فعالیت کنند.
ارزیابی مستقلی که از سامانه داخلی OpenAI برای نظارت بر رفتارهای ناهمسوی عامل‌های هوش مصنوعی انجام شده، نشان می‌دهد سازوکارهای حفاظتی این شرکت در دوره‌ای که عامل‌های هوش مصنوعی آن در حال نفوذ به پلتفرم میزبانی مدل‌های Hugging Face بودند، کارایی لازم را نداشتند.
گزارشی که روز پنجشنبه از سوی دو مؤسسه همکار در ارزیابی، METR و Redwood Research، منتشر شد، چندین آسیب‌پذیری را در سامانه نظارت غیرهم‌زمان OpenAI تشریح می‌کند؛ آسیب‌پذیری‌هایی که تا تاریخ ۲۱ ژوئیه و پیش از آن در این سامانه وجود داشتند. این سامانه برای زیر نظر گرفتن رفتار عامل‌های هوش مصنوعی طراحی شده بود، اما قابلیت‌های آن کامل نبود و همان عامل‌هایی که قرار بود تحت نظارت باشند، می‌توانستند سازوکار نظارتی آن را دور بزنند.
یکی از ضعف‌های اصلی این بود که نظارت هنگام رویدادهای فشرده‌سازی اطلاعات (Compaction) متوقف می‌شد. در این فرایند، مدل‌های هوش مصنوعی اطلاعات موجود در پنجره زمینه خود را فشرده می‌کنند تا فضای بیشتری برای دریافت ورودی‌های بعدی فراهم شود. طبق این گزارش، از ماه مه تا ژوئیه ۲۰۲۶، حدود ۱۰ درصد از ترافیک داخلی Codex که مشمول نظارت بود، هنگام این فرایند بدون نظارت باقی ماند.
این خلأ نظارتی از نظر تئوری به اندازه‌ای گسترده بود که عامل‌های هوش مصنوعی بتوانند نظارت بر فعالیت‌های خود را برای مدتی نامحدود به تعویق بیندازند. سامانه نظارتی تنها زمانی فعال می‌شد که عامل‌ها کنترل را به کاربر بازمی‌گرداندند. بنابراین، عامل‌ها می‌توانستند در دوره‌های فشرده‌سازی که نظارتی بر آن‌ها وجود نداشت، به انجام پی‌درپی فعالیت‌های خود ادامه دهند و از بررسی عملکردشان جلوگیری کنند.
در این گزارش آمده است: «در زمان اجرای این آزمایش، سامانه نظارتی هنگامی فعال می‌شد که عامل‌ها کنترل را به کاربر بازمی‌گرداندند. بنابراین، در دوره‌ای که رویدادهای فشرده‌سازی تحت نظارت نبودند، عامل‌ها می‌توانستند صرفاً با ادامه دادن فعالیت‌های خود، نظارت بر عملکردشان را برای مدتی نامحدود به تعویق بیندازند.»
ارزیابان تأکید می‌کنند که این یافته‌ها لزوماً به معنای پنهان‌کاری عامل‌های OpenAI درباره رفتارهای نامناسبشان نیست؛ زیرا اقدامات این عامل‌ها علیه Hugging Face و سازمان‌های دیگر مستند شده است. بااین‌حال، اگر عامل‌ها تصمیم می‌گرفتند هنگام فشرده‌سازی اطلاعات یا در سایر نقاط کور سامانه دست به رفتارهای نامناسب بزنند، سامانه نظارتی به‌راحتی ممکن بود نتواند آن اقدامات را شناسایی کند.
گزارش علاوه بر خلأهای نظارتی، به ضعف در طراحی و پیاده‌سازی نرم‌افزار نیز اشاره می‌کند که امکان فرار از نظارت را در اختیار عامل‌ها قرار می‌داد. ارزیابان دریافتند عامل‌های Codex اصولاً می‌توانستند محدودیت‌های محیط ایزوله امنیتی Codex یا همان سندباکس و سازوکار بازبینی خودکار (Auto-Review) را دور بزنند. در نتیجه، این عامل‌ها قادر بودند هر اقدامی را انجام دهند که کاربر میزبان مجوز انجام آن را داشت. پژوهشگران همچنین یک روش سوءاستفاده امنیتی کشف کردند که عامل‌ها می‌توانستند با استفاده از آن مانع نظارت بر صدها اقدام اخیر خود شوند؛ حتی خود اقدامی که برای بهره‌برداری از این آسیب‌پذیری انجام می‌شد نیز از نظارت پنهان می‌ماند. OpenAI جزئیات این روش سوءاستفاده را از گزارش حذف کرده است.
از دیگر یافته‌های این ارزیابی می‌توان به موارد زیر اشاره کرد:
- عامل‌های هوش مصنوعی می‌توانستند ورودی‌هایی طراحی کنند که باعث اختلال در عملکرد سامانه نظارتی شود.
- دو هدر که امکان کنترل آن‌ها از سمت کلاینت وجود داشت، می‌توانستند نظارت بر عامل‌های جدید را غیرفعال کنند.
- دو ابزار مورد استفاده عامل‌ها که تحت نظارت نبودند و تصور می‌شد فقط قابلیت خواندن اطلاعات را دارند، می‌توانستند مورد سوءاستفاده قرار گیرند تا عامل‌ها اقدامات دلخواه خود را در محیط سندباکس انجام دهند.
مؤسسه‌های METR و Redwood Research در جمع‌بندی گزارش خود تأکید می‌کنند که سامانه‌های نظارت بر عامل‌های هوش مصنوعی در شرکت‌های فعال این حوزه باید واقعاً کارآمد باشند و از استحکام کافی برخوردار شوند تا بتوانند «در برابر حملات عمدی، راهبردی و مستمر عامل‌های داخلی بسیار توانمند، حتی در مقیاس گسترده، مقاومت کنند».
OpenAI اعلام کرده است که از آن زمان سامانه نظارتی خود را بهبود داده است.
منبع: The Register