بررسی مستقل، ضعف‌هایی را در سامانه نظارت هوش مصنوعی OpenAI شناسایی کرد
بر اساس بررسی آزمایشی پژوهشگران مستقل ایمنی هوش مصنوعی در مؤسسات METR و Redwood Research، سامانه نظارت داخلی هوش مصنوعی OpenAI چندین آسیب‌پذیری داشت که می‌توانست به عامل‌های هوش مصنوعی اجازه دهد از نظارت فرار کنند. ارزیابان یک روش احتمالی شناسایی کردند که می‌توانست مانع ثبت و بررسی صدها اقدام عامل‌ها در سامانه نظارتی شود. آن‌ها همچنین راهی احتمالی برای دور زدن محدودیت‌های امنیتی توسط عامل‌های برنامه‌نویسی Codex این شرکت یافتند.
این ارزیابی از ۲۱ ژوئیه تا ۱۱ اوت ۲۰۲۶ انجام شد. در این مدت، یک پژوهشگر از هر مؤسسه در محل شرکت OpenAI فعالیت کرد و به کدهای داخلی، مستندات فنی، تنظیمات سامانه نظارت و کارکنان دسترسی داشت. نتایج این بررسی در ۲۲ اکتبر منتشر شد.
OpenAI اعلام کرد که تمام آسیب‌پذیری‌های شناسایی‌شده‌ای را که بر سازوکارهای حفاظتی عملیاتی این شرکت تأثیر می‌گذاشتند، برطرف کرده است. بااین‌حال، METR و Redwood Research تأکید کردند که این اصلاحات را مستقلاً بررسی و تأیید نکرده‌اند. یافته‌های آن‌ها به سامانه نظارتی در وضعیت موجود تا ۲۱ ژوئیه یا پیش از آن مربوط می‌شود و امنیت یا میزان پوشش نسخه توسعه‌یافته‌ای را که اکنون استفاده می‌شود، تأیید نمی‌کند.
پژوهشگران مستقل شکاف‌هایی در نظارت شناسایی کردند
هدف این بررسی آزمایشی آن بود که مشخص شود OpenAI تا چه اندازه می‌تواند بر عامل‌های هوش مصنوعی داخلی خود نظارت کند و آیا می‌توان عمداً این سازوکارها را دور زد یا خیر.
پژوهشگران به گفته خودشان، دسترسی گسترده‌ای به زیرساخت داخلی شرکت دریافت کردند. آن‌ها کد منبع، دستورالعمل‌های متنی مورد استفاده در سامانه نظارت و جزئیات پیکربندی آن را بررسی کردند، مستندات داخلی را خواندند و با حدود دوازده پژوهشگر و مهندس از تیم‌های نظارت، ایمنی و امنیت مصاحبه کردند.
این ارزیابی در شرایط کنترل‌شده انجام شد. هر دو پژوهشگر از دستگاه‌هایی استفاده می‌کردند که شرکت در اختیارشان گذاشته بود؛ این دستگاه‌ها باید در محل شرکت باقی می‌ماندند و هنگام کار در محل نیز همراهی و نظارت می‌شدند.
حاصل این بررسی، گزارشی داخلی در ۶۱ صفحه بود که در اختیار پژوهشگران و کارکنان امنیتی OpenAI قرار گرفت. گزارشی که برای عموم منتشر شد، عمداً به خلاصه‌ای کلی و سطح‌بالا محدود بود؛ این محدودیت بر اساس توافقی اعمال شد که به OpenAI اجازه می‌داد اطلاعات حساس را از گزارش عمومی حذف کند.
عامل‌های هوش مصنوعی می‌توانستند صدها اقدام خود را پنهان کنند
یکی از یافته‌های اصلی به روشی احتمالی مربوط می‌شد که عامل‌های هوش مصنوعی می‌توانستند با استفاده از آن مانع نمایش صدها اقدام خود در سامانه‌های نظارتی شوند.
پژوهشگران آسیب‌پذیری‌هایی را در زیرساخت نظارت ناهمگام شناسایی کردند. این زیرساخت برای بررسی فعالیت عامل‌ها و کمک به شناسایی رفتارهایی طراحی شده است که ممکن است با اهداف موردنظر هم‌راستا نباشند.
نظارت بر این فعالیت‌ها اهمیت زیادی دارد، زیرا عامل‌های هوش مصنوعی می‌توانند مجموعه‌ای از اقدامات پی‌درپی را انجام دهند و صرفاً به تولید پاسخ‌های متنی منفرد محدود نیستند. اگر یک عامل بتواند از بررسی بخشی از فعالیت‌های خود جلوگیری کند، بررسی‌کنندگان ممکن است به تصویری ناقص از آنچه رخ داده است دست یابند.
یافته‌های منتشرشده، ضعف‌های احتمالی نسخه پیشین سامانه را توصیف می‌کنند؛ اما ثابت نمی‌کنند که همین روش سوءاستفاده همچنان در محیط عملیاتی فعلی OpenAI امکان‌پذیر است.
بررسی محدودیت‌های امنیتی Codex
ارزیابان همچنین راهی احتمالی را شناسایی کردند که به عامل‌های Codex متعلق به OpenAI اجازه می‌داد محدودیت‌های امنیتی را دور بزنند و با سطح دسترسی کاربران خود عمل کنند.
این یافته پرسش‌هایی را درباره نحوه فعالیت عامل‌های برنامه‌نویسی در محیط‌های محدودشده مطرح می‌کند؛ به‌ویژه زمانی که این عامل‌ها می‌توانند با ابزارها، فایل‌ها و منابع دیگر تعامل داشته باشند. کنترل‌های امنیتی باید تضمین کنند که توانایی یک عامل برای انجام وظایف، به‌طور خودکار به آن اجازه ندهد از مرزهای تعیین‌شده فراتر برود.
خلاصه عمومی پژوهشگران نشان نمی‌دهد که تمام ضعف‌های شناسایی‌شده در عملیات واقعی مورد سوءاستفاده قرار گرفته‌اند. در عوض، هدف ارزیابی یافتن راه‌هایی بود که از طریق آن‌ها می‌شد سامانه‌های نظارت و کنترل را به‌طور بالقوه دور زد.
OpenAI می‌گوید آسیب‌پذیری‌های سامانه عملیاتی برطرف شده‌اند
OpenAI به ارزیابان اعلام کرد که تمام آسیب‌پذیری‌هایی را که بر سازوکارهای حفاظتی عملیاتی این شرکت تأثیر می‌گذاشتند، برطرف کرده است. این شرکت همچنین گفت یافته‌های بررسی به تقویت تدابیر حفاظتی هم‌زمان با توسعه و گسترش سامانه نظارتی آن کمک کرده‌اند.
بااین‌حال، METR و Redwood Research تأکید کردند که اصلاحات بعدی را آزمایش یا به‌طور مستقل تأیید نکرده‌اند. آن‌ها همچنین تمام تغییراتی را که در جریان اجرای طرح آزمایشی و پس از آن اعمال شده بود، ارزیابی نکردند.
این تمایز اهمیت دارد: شناسایی یک آسیب‌پذیری در نسخه‌ای قدیمی‌تر از سامانه، به‌خودی‌خود ثابت نمی‌کند که آن ضعف در نسخه فعلی نیز وجود دارد. در مقابل، اعلام یک شرکت مبنی بر رفع مشکل نیز معادل تأیید مستقل آن اصلاح نیست.
OpenAI اعلام کرد که این طرح آزمایشی به شکل‌گیری همکاری‌های پژوهشی آینده با METR و دیگر ارزیابان خارجی کمک خواهد کرد.
اهمیت فزاینده ارزیابی‌های مستقل ایمنی هوش مصنوعی
این بررسی نشان می‌دهد که با افزایش توانایی سامانه‌های هوش مصنوعی در اجرای وظایف چندمرحله‌ای، ارزیابی‌های مستقل نیز اهمیت بیشتری پیدا می‌کنند.
ارزیابان خارجی می‌توانند تدابیر حفاظتی فنی را از بیرون تیم‌هایی بررسی کنند که مسئول توسعه آن‌ها هستند. فراهم کردن دسترسی به سامانه‌های داخلی برای پژوهشگران می‌تواند به کشف ضعف‌هایی کمک کند که ممکن است در آزمایش‌های معمول شناسایی نشوند.
در عین حال، چنین همکاری‌هایی چالش‌هایی در زمینه اطلاعات محرمانه، مالکیت فکری و امنیت زیرساخت‌های داخلی ایجاد می‌کنند. OpenAI در این طرح آزمایشی برای مدیریت بخشی از این خطرها، بر فعالیت پژوهشگران در محل شرکت نظارت داشت و استفاده از دستگاه‌هایی را الزامی کرده بود که اجازه خروج از محل شرکت را نداشتند.
محدودیت انتشار اطلاعات عمومی، پرسش‌هایی را بی‌پاسخ گذاشته است
با وجود آنکه پژوهشگران گزارش مفصلی را در اختیار OpenAI قرار دادند، اطلاعات منتشرشده برای عموم فقط شامل خلاصه‌ای از یافته‌ها بود. دو مؤسسه اعلام کردند که این توافق برای امکان‌پذیر شدن اجرای نخستین طرح آزمایشی در نظر گرفته شده بود؛ بااین‌حال، انتظار دارند ارزیابی‌های آینده با شفافیت بیشتری همراه باشند.
این محدودیت‌ها باعث می‌شوند ناظران بیرونی نتوانند تمام جزئیات فنی را مستقلاً بررسی کنند یا همه واکنش‌های شرکت به یافته‌ها را ارزیابی کنند. انتشار گزارش‌های عمومی دقیق‌تر می‌تواند به پژوهشگران کمک کند تا بفهمند چه ضعف‌هایی شناسایی شده‌اند، چگونه برطرف شده‌اند و پس از اعمال اصلاحات چه آزمایش‌هایی انجام گرفته است.
ارزیابان اعلام کردند که بررسی‌های آینده باید از رویه‌های قوی‌تری برای شفافیت و استقلال پیروی کنند.
سامانه‌های نظارتی باید همگام با توانایی‌های هوش مصنوعی پیشرفت کنند
این یافته‌ها بر ضرورت ایجاد سامانه‌های نظارتی مقاوم در برابر تلاش‌های عمدی عامل‌های هوش مصنوعی هرچه توانمندتر برای فرار از نظارت تأکید می‌کنند. تدابیر حفاظتی مؤثر صرفاً به بررسی عملکرد سامانه در شرایط عادی محدود نمی‌شوند؛ بلکه باید تلاش برای سوءاستفاده از شکاف‌های فنی را نیز در نظر بگیرند.
برای OpenAI، گام‌های بعدی شامل حفظ و نگهداری زیرساخت نظارتی توسعه‌یافته، اعتبارسنجی اصلاحات امنیتی و ادامه ارزیابی‌های مستقل است. این طرح آزمایشی ضعف‌هایی را در نسخه‌ای قدیمی‌تر از سامانه شناسایی کرده است، اما در این بررسی اثربخشی سامانه فعلی مشخص نشده است.
مسئله اصلی این است که آیا سازوکارهای حفاظتی می‌توانند حتی زمانی که یک سامانه هوش مصنوعی از نظر فنی قادر به دور زدن محدودیت‌هاست، رفتار عامل‌ها را به‌طور قابل‌اعتماد شناسایی و مهار کنند یا خیر.