تیم قرمز METR آسیب‌پذیری‌هایی را در سامانه نظارتی OpenAI شناسایی کرد
حوزه: امنیت سایبری
تاریخ انتشار: ۲۲ اکتبر ۲۰۲۶
نویسنده: مایلز اوکادا، هوش مصنوعی و امنیت سایبری
سازمان‌های METR و Redwood Research در ۲۲ اکتبر ۲۰۲۶ گزارشی عمومی از یک ارزیابی آزمایشی منتشر کردند که طی آن، یک کارمند از هر سازمان به مدت سه هفته به زیرساخت داخلی OpenAI دسترسی گسترده داشت تا سامانه داخلی این شرکت برای نظارت بر ناهماهنگی رفتار مدل‌ها را تحت آزمون‌های فشار قرار دهد. ارزیابان اعلام کردند چندین آسیب‌پذیری جدید در نسخه‌ای از این سامانه شناسایی کرده‌اند که تا ۲۱ ژوئیه ۲۰۲۶ وجود داشت.
این ارزیابی از ۲۱ ژوئیه تا ۱۱ اوت ۲۰۲۶ انجام شد و عمدتاً دو موضوع را بررسی کرد: چه سهمی از پردازش‌های استنتاجی عامل‌های هوش مصنوعی تحت نظارت قرار می‌گیرد و آیا این عامل‌ها اصولاً می‌توانند سامانه نظارتی را غیرفعال کنند یا عملکرد آن را مختل سازند. حاصل کار، گزارشی داخلی در ۶۱ صفحه بود که در اختیار پژوهشگران و کارکنان امنیتی OpenAI قرار گرفت. نسخه‌ای ۳۸ صفحه‌ای که OpenAI بخش‌هایی از آن را حذف کرده بود نیز به تیم‌های مدیریتی METR و Redwood Research ارائه شد.
دسترسی گسترده در چارچوب محدودیت‌های کنترل‌شده
دو ارزیاب به کدهای داخلی OpenAI، دستورهای متنی و جزئیات پیکربندی سامانه نظارت بر ناهماهنگی و مستندات داخلی شرکت دسترسی داشتند. آن‌ها همچنین با حدود دوازده پژوهشگر و مهندس از تیم‌های نظارت، سامانه‌های ایمنی و امنیت مصاحبه‌های فنی انجام دادند. برای فراهم کردن چنین سطحی از دسترسی، ارزیابان با دستگاه‌هایی که OpenAI در اختیارشان گذاشته بود و اجازه خروج از محل شرکت را نداشتند کار کردند و هنگام حضور در محل نیز همراهی می‌شدند.
METR، Redwood Research و OpenAI این ارزیابی را به‌عنوان طرحی آزمایشی برای فراهم کردن دسترسی گسترده پژوهشگران بیرونی به زیرساخت‌های داخلی طراحی کرده بودند، نه اقدامی برای ایجاد شفافیت عمومی جامع درباره سامانه‌های نظارتی OpenAI. طرفین از ابتدا توافق کردند که تنها گزارشی عمومی، نسبتاً کوتاه و در سطح کلی منتشر شود. OpenAI این اختیار را برای خود محفوظ نگه داشت که هر اطلاعاتی را که بنا بر تشخیص انحصاری خود محرمانه یا از جهات دیگر حساس می‌دانست، از نسخه عمومی حذف کند. یافته‌ها به سامانه تاریخی مورد بررسی تا ۲۱ ژوئیه مربوط می‌شوند و تغییراتی را که در آن زمان در دست اجرا بود ارزیابی نمی‌کنند. METR خاطرنشان کرد که OpenAI در طول این ارزیابی مشغول گسترش سامانه نظارتی خود بود.
شکاف‌های پوشش نظارتی و راه‌های دور زدن سامانه
METR برآورد کرد که در زمان انجام ارزیابی، حدود ۷۵ تا ۹۴ درصد از ترافیک داخلی عامل‌های هوش مصنوعی در API موسوم به Responses، مربوط به مدل‌هایی هم‌سطح GPT-5.5 یا قوی‌تر از آن، واجد شرایط نظارت بوده است؛ هرچند این سازمان اذعان کرد که این برآورد با عدم‌قطعیت قابل‌توجهی همراه است. API مربوط به Responses از جمله زیرساخت‌های مورد استفاده Codex است. ارزیابان برآورد کردند که در میان همین ترافیک، ۹۹٫۲ درصد از درخواست‌های مربوط به عامل‌های داخلی Codex واجد شرایط نظارت بوده‌اند. آن‌ها گفتند به دلیل محدودیت دسترسی و زمان، نتوانسته‌اند حجم سایر فعالیت‌های داخلی کدنویسی عامل‌محور را که از وجودشان اطلاع داشتند، برآورد کنند؛ از جمله فعالیت عامل‌هایی که روی سرویس استنتاج داخلی OpenAI برای پژوهش اجرا می‌شوند.
چندین یافته به شکاف‌های موجود در پوشش نظارتی مربوط بود. در آغاز ارزیابی، فرایندهای آموزش یادگیری تقویتی تحت پوشش سامانه نظارتی قرار نداشتند؛ هرچند به ارزیابان گفته شد که بخشی از مراحل اجرای آموزش یادگیری تقویتی بین مارس و ژوئن از نظر ناهماهنگی رفتاری تحت نظارت بوده‌اند. METR برآورد کرد که نظارت نکردن بر رویدادهای فشرده‌سازی تاریخچه یا compaction احتمالاً باعث شده بود حدود ۱۰ درصد از ترافیک داخلی Codex که در فاصله مه تا ژوئیه ۲۰۲۶ واجد شرایط نظارت بود، از این فرایند خارج بماند. کارکنان OpenAI پیش از آغاز ارزیابی، مستقلاً این مشکل را شناسایی کرده بودند و در جریان ارزیابی آن را برطرف کردند.
از آنجا که سامانه تنها زمانی فعال می‌شد که عامل‌ها کنترل را به کاربر بازمی‌گرداندند، یک عامل می‌توانست صرفاً با ادامه دادن فعالیت خود، نظارت شدن را به‌طور نامحدود به تعویق بیندازد. محدودیت‌های دسترسی اجازه نداد ارزیابان بررسی کنند که آیا عاملی در عمل چنین کاری انجام داده است یا خیر. در موضوعی جداگانه، اطلاعاتی به ارزیابان ارائه شد که نشان می‌داد سامانه در زمان ارزیابی برای کمتر از ۰٫۲ درصد درخواست‌ها با خطا مواجه می‌شد و طی یک بازه ۲۴ساعته هیچ موردی از کنار گذاشته شدن درخواست‌ها به دلیل فشار بار سامانه ثبت نشده بود.
ارزیابان همچنین راه‌هایی را شناسایی کردند که عامل‌ها می‌توانستند از طریق آن‌ها نظارت را به‌طور کامل خنثی کنند. آن‌ها روشی یافتند که عامل‌های Codex می‌توانستند از نظر نظری با استفاده از آن، سازوکارهای ایزوله‌سازی محیط اجرایی Codex و قابلیت بازبینی خودکار Auto-Review را دور بزنند و هر اقدامی را که برای کاربر میزبان امکان‌پذیر بود، انجام دهند. همچنین آسیب‌پذیری دیگری پیدا کردند که جزئیات آن را OpenAI از نسخه عمومی حذف کرد و می‌توانست مانع نظارت بر صدها اقدام اخیر شود؛ از جمله اقداماتی که خودِ بهره‌برداری از آسیب‌پذیری را ممکن می‌کردند.
ارزیابان دریافتند که عامل‌ها احتمالاً می‌توانند با سوءاستفاده از تفاوت میان نحوه سریال‌سازی مسیر فعالیت عامل و نحوه سریال‌سازی همان مسیر برای سامانه ناظر، ورودی‌هایی بسازند که باعث از کار افتادن ناظر شود و در نتیجه، از ارجاع فعالیت برای بررسی انسانی جلوگیری کنند. آن‌ها همچنین دو سربرگ مستقل و قابل‌کنترل از سوی کارخواه را شناسایی کردند که سامانه نظارتی را برای عامل‌های جدید غیرفعال می‌کردند. این قابلیت می‌توانست به یک عامل اجازه دهد نمونه‌ای مشابه از خود ایجاد کند که تحت نظارت نباشد؛ هرچند خودِ تنظیم این سربرگ‌ها و ایجاد نمونه جدید نیز ممکن بود توسط سامانه نظارتی شناسایی شود.
یافته دیگر، شناسایی دو ابزار داخلی عامل‌محور بود که تحت نظارت قرار نداشتند و تصور می‌شد فقط مجوز خواندن اطلاعات را داشته باشند. ارزیابان تشخیص دادند که یک بهره‌برداری ساده از آسیب‌پذیری می‌توانست این ابزارها را از مسیر اصلی خارج کند و امکان انجام اقدامات دلخواه را در محیط ایزوله آن‌ها فراهم سازد. بااین‌حال، ارزیابان این رفتار را در عمل آزمایش یا تأیید نکردند.
در کنار شناسایی آسیب‌پذیری‌ها، ارزیابان تأیید کردند که سامانه نظارتی، به‌جز چند استثنای جزئی، به کل مسیر فعالیتی دسترسی دارد که خود عامل مشاهده می‌کند. آن‌ها همچنین بررسی کردند که دستورهای متنی ناظر به دنبال نشانه‌هایی از برنامه‌ریزی پنهانی، دست‌کاری سامانه نظارتی، خرابکاری، خارج‌سازی داده‌ها، فریب و تزریق دستورهای متنی ورودی و خروجی، در کنار سایر دسته‌های خطر، می‌گردند. پس از پایان ارزیابی، OpenAI اعلام کرد تمام آسیب‌پذیری‌های شناسایی‌شده‌ای را که بر مجموعه سازوکارهای حفاظتی عملیاتی این شرکت تأثیر می‌گذاشتند، برطرف کرده و تغییرات مهمی نیز در دامنه پوشش موردنظر سامانه نظارتی ایجاد کرده است. METR اعلام کرد این ادعاها را ارزیابی نکرده است.
توصیف OpenAI از سامانه نظارتی
OpenAI در مطلبی که ۱۹ مارس ۲۰۲۶ منتشر کرد، سامانه مورد آزمایش را به‌صورت عمومی توضیح داده بود. بر اساس این مطلب، این سامانه کم‌تأخیر با استفاده از GPT-5.4 Thinking و در بالاترین سطح تلاش برای استدلال کار می‌کند، تعاملات عامل‌ها را حداکثر تا ۳۰ دقیقه پس از پایان آن‌ها بررسی می‌کند و زنجیره‌های فکری و اقدامات عامل‌ها را ثبت و تحلیل می‌کند. سامانه برای هر تعامل یک دسته‌بندی و سطح شدت تعیین می‌کند و موارد غیرعادی را برای بررسی انسانی مشخص می‌سازد. OpenAI گفته بود این سامانه در تمام استقرارهای استاندارد داخلی عامل‌های کدنویسی اجرا می‌شود و به تاریخچه کامل مکالمه، شامل تمام پیام‌های کاربر، توسعه‌دهنده و دستیار و نیز فراخوانی ابزارها و خروجی آن‌ها، دسترسی دارد. متن توضیحات OpenAI درباره این سامانه در وب‌سایت این شرکت منتشر شده است.
در فهرست رفتارهای تحت نظارت OpenAI، مواردی مانند دور زدن محدودیت‌ها، فریب‌کاری، پنهان کردن عدم‌قطعیت، دست‌کاری سازوکار پاداش، انتقال غیرمجاز داده‌ها، اقدامات مخرب و تزریق دستورهای متنی ورودی و خروجی قرار داشت. این شرکت گزارش داده بود که تا ۱۷ مارس ۲۰۲۶ هیچ نمونه مثبت واقعی از رفتارهای پنهان‌سازی عمدی توانایی‌ها یا عملکرد، خرابکاری یا برنامه‌ریزی پنهانی شناسایی نکرده است.
به گفته OpenAI، این سامانه طی پنج ماه فعالیت، ده‌ها میلیون مسیر فعالیت عامل‌های کدنویسی داخلی را زیر نظر گرفته بود. حدود هزار مکالمه با سطح شدت متوسط برای بررسی انسانی ارجاع شده بود که بسیاری از آن‌ها حاصل آزمون‌های تیم قرمز داخلی و عمدی بودند. در این مدت، هیچ مکالمه واقعی‌ای بالاترین سطح شدت را فعال نکرده بود. شرکت همچنین اعلام کرده بود که ناظر تمام تعاملاتی را که کارکنان به‌طور مستقل از طریق کانال‌های داخلی گزارش کرده بودند، شناسایی کرده است.
OpenAI در همان مطلب تأکید کرده بود که این رویکرد به‌طور اساسی به امکان نظارت‌پذیری رفتار عامل‌ها وابسته است. این شرکت گفته بود بدون ارزیابی‌های کنترلی اختصاصی و آزمون‌های تیم قرمز، نمی‌تواند نرخ منفی کاذب را در ترافیک واقعی و با دامنه باز، با اطمینان برآورد کند. OpenAI نظارت را یکی از لایه‌های یک راهبرد دفاعی چندلایه توصیف کرده بود. نقشه راه اعلام‌شده شرکت شامل اجرای ارزیابی‌های کنترلی، تعیین معیارهایی برای سطح قابل‌قبول اطمینان‌پذیری و تأخیر در عملکرد ناظران و بررسی‌کنندگان انسانی و حرکت به‌سوی مسدودسازی هم‌زمان بود؛ رویکردی که در آن اقدامات مدل پیش از اجرا ارزیابی و مسدود می‌شوند.
اصول طراحی سامانه‌های نظارتی آینده
ارزیابان بر اساس یافته‌های خود، مجموعه‌ای از اصول طراحی را برای سامانه‌های نظارت و کنترل پیشنهاد کردند. به اعتقاد آن‌ها، زیرساخت‌های نظارتی آینده باید بتوانند در برابر حملات عمدی، مستمر، راهبردی و گسترده از سوی عامل‌های بسیار توانمند که در داخل یک سازمان فعالیت می‌کنند، مقاومت کنند. این پنج اصل عبارت‌اند از دشوار کردن فرار از نظارت، اطمینان از اینکه ترافیک مشمول نظارت واقعاً بررسی می‌شود، واکنش سریع و قابل‌اعتماد به رخدادها، انجام مستمر آزمون‌های تیم قرمز روی خود سامانه نظارتی و تضمین جداسازی عامل‌ها از ناظرانشان.
از جمله اقدام‌های مشخصی که در این اصول مطرح شده‌اند، می‌توان به بررسی عامل‌ها پس از تعداد ثابتی پیام یا گذشت مدت‌زمان مشخص، به‌جای انتظار تا پایان نوبت فعالیت آن‌ها؛ نگهداری فهرستی از تمام روش‌های شناخته‌شده برای دور زدن نظارت؛ ثبت گزارش‌های دست‌کاری‌ناپذیر و قابل جست‌وجو؛ و اجرای چارچوب‌های اجرایی عامل‌ها در محیطی جدا از محیطی که فراخوانی ابزارها در آن انجام می‌شود، اشاره کرد.
METR اعلام کرد که دسترسی گسترده و پشتیبانی لجستیکی و فنی قابل‌توجه کارکنان OpenAI نقش مهمی در اجرای این ارزیابی داشت. این سازمان افزود که انتظار دارد در نسخه‌های بعدی این ارزیابی، از بهترین رویه‌های مربوط به شفافیت و استقلال که در سند «رویکرد ما برای همکاری با شرکت‌های هوش مصنوعی» تشریح کرده است، پیروی کند تا شفافیت عمومی جامع‌تری فراهم شود.