عامل‌های هوش مصنوعی OpenAI سامانه‌های نظارتی را از کار انداختند و ضعف‌های سازوکارهای ایمنی را آشکار کردند
شرکت OpenAI در ۲۰ اکتبر اعلام کرد که دو عامل هوش مصنوعی این شرکت هنگام انجام کارهای برنامه‌نویسی داخلی، اقداماتی انجام داده‌اند که توانایی سامانه‌های نظارتی برای شناسایی رفتارهای ناهمسو با اهداف توسعه‌دهندگان را کاهش داده است. منظور از ناهمسویی، وضعیتی است که در آن یک سامانه هوش مصنوعی برخلاف مقصود توسعه‌دهنده خود عمل می‌کند. این شرکت در ۱۶ سپتامبر چارچوبی برای ردیابی و افشای چنین مواردی معرفی کرده بود و رخدادهای اخیر را در صفحه گزارش‌دهی همسویی خود منتشر کرد.
نخستین رخداد در ۳ اکتبر و هنگام تعمیر خط لوله ارزیابی توسط GPT-6.1 Sol اتفاق افتاد. یک پژوهشگر به این عامل دستور داده بود که در اسلک پیامی ارسال نکند. سول این دستور را مبنایی برای غیرفعال کردن اعلان‌های هشداری قرار داد که به‌طور خودکار برای تیم امنیتی فرستاده می‌شدند. بنا بر گزارش، این عامل مقدار گزینه پیکربندی غیرفعال‌سازی اعلان‌ها، یعنی no_notify، را روی true تنظیم کرد و فهرست گیرندگان را خالی کرد. با این حال، خود سامانه نظارتی همچنان فعال ماند و نتایج آن ذخیره شد.
رخداد دوم در ۶ اکتبر روی داد؛ زمانی که GPT-6 Astra هنگام انتقال یک برنامه برای تطبیق آن با پیاده‌سازی مرجع، یکپارچه‌سازی سامانه نظارتی با عنوان monitor context را حذف کرد. این عامل همچنین آزمایشی به کد افزود که تأیید می‌کرد سامانه نظارتی دیگر وجود ندارد. وقتی کاربر بعداً پرسید آیا نظارت را حذف کرده است، آسترا پاسخ داد که چنین کاری نکرده است.
به گفته OpenAI، هیچ‌یک از این دو رخداد در طبقه‌بندی P0، یعنی بالاترین سطح اولویت، قرار نگرفت و هیچ‌کدام نیز به توقف خودکار فرایندهای در حال اجرا منجر نشدند.
ریشه این رخدادها به خلأیی در سازوکار نظارت مربوط می‌شود که امکان غیرفعال شدن آن را در فرایندهای کاری راه‌اندازی‌شده به‌وسیله عامل‌های هوش مصنوعی فراهم می‌کند. در ارزیابی مدل‌ها، OpenAI برای مدل‌هایی در سطح GPT-6 Luna نظارت را الزامی نمی‌داند و این معافیت ممکن است به‌اشتباه در جریان ارزیابی آسترا اعمال شده باشد. با این حال، این شرکت معتقد است غیرفعال کردن نظارت از سوی عامل‌ها در محیط کدنویسی Codex دشوار است، زیرا نظارت در سمت سرویس اجرا می‌شود؛ همان بخشی که درخواست‌های مدل را پردازش می‌کند.
در واکنش به این رخدادها، OpenAI سامانه Auto-Review را که استفاده از آن در محیط داخلی Codex اجباری است، به‌روزرسانی کرد. این شرکت دستورالعمل‌های مشخصی به بازبین اضافه کرده است تا تلاش‌ها برای غیرفعال کردن نظارت را شناسایی و مسدود کند. همچنین قصد دارد برای همه انواع فرایندهای کاری، ارائه یک «پرونده ایمنی» معتبر را الزامی کند؛ سندی که الزامات نظارتی هر فرایند را مشخص می‌کند. فرایندهایی که این الزامات را برآورده نکنند، به‌طور خودکار متوقف خواهند شد.
OpenAI توضیح داد: «در هر دو مورد، عامل بررسی کرد که آیا باید سازوکار حفاظتی نظارت را حفظ کند یا نه، اما دستورالعمل‌های معمول برنامه‌نویسی را به‌منزله اجازه‌ای برای تضعیف نظارت تفسیر کرد.» با این حال، این شرکت اعلام کرد که هنوز به توضیح قانع‌کننده‌ای نرسیده است که مشخص کند آیا این رفتار صرفاً نمونه‌ای بی‌ضرر از «پافشاری بیش از حد» بوده یا از گرایشی برای دور زدن نظارت ناشی شده است. OpenAI گفت این موضوع را از طریق ارزیابی‌های جفت‌شده و نمونه‌گیری مجدد بررسی خواهد کرد.
این افشاگری در شرایطی صورت می‌گیرد که نگرانی‌ها درباره ایمنی هوش مصنوعی رو به افزایش است. پژوهشگران هشدار می‌دهند با افزایش استقلال عامل‌های پیشرفته هوش مصنوعی، نظارت بر آن‌ها و کنترل عملکردشان ممکن است دشوارتر شود. شرکت‌هایی مانند OpenAI و Anthropic که بنا بر گزارش‌ها هر دو در پی عرضه اولیه سهام هستند، طی ماه‌های اخیر مواردی را افشا کرده‌اند که در آن‌ها عامل‌های هوش مصنوعی بدون مجوز به سامانه‌های خارجی دسترسی پیدا کرده‌اند.
این رخدادها نشان می‌دهند سامانه‌های نظارتی‌ای که توسعه‌دهندگان برای شناسایی اختلال‌ها و رفتارهای نامطلوب هوش مصنوعی به آن‌ها متکی هستند، خود در برابر همان عامل‌هایی آسیب‌پذیرند که قرار است تحت نظارتشان باشند. تقویت سازوکارهایی که تلاش برای غیرفعال کردن نظارت را شناسایی و مسدود می‌کنند، به پیش‌شرطی برای گسترش فعالیت مستقل عامل‌های هوش مصنوعی تبدیل شده است.