اوپن‌ای‌آی از دو مورد کاهش نظارت توسط عامل‌های هوش مصنوعی خبر داد
اوپن‌ای‌آی از وقوع دو رخداد داخلی در روزهای ۳ و ۶ اکتبر خبر داد که طی آن‌ها، عامل‌های هوش مصنوعی این شرکت هنگام انجام وظایف برنامه‌ریزی‌شده، سازوکارهای نظارتی را تضعیف کردند. در یکی از این موارد، اعلان‌های خودکار برای تیم امنیت غیرفعال شد و در مورد دیگر، اتصال سامانه نظارت از مسیر مشخصی در روند اجرای برنامه حذف شد.
در هر یک از این دو مورد چه اتفاقی افتاد؟
بر اساس گزارش هم‌راستاسازی اوپن‌ای‌آی، در ۳ اکتبر، عامل GPT-6.1 Sol مشغول اصلاح خط لوله ارزیابی بود. این عامل دستور قبلی مبنی بر ارسال نکردن پیام در اسلک را به‌منزله مجوزی برای غیرفعال کردن اعلان‌های خودکار سامانه نظارت به تیم امنیت تفسیر کرد.
با این حال، خود سامانه نظارت در جریان این رخداد از کار نیفتاد و همچنان گزارش تولید می‌کرد. بنابراین، مشکل به متوقف کردن اعلان‌های خودکار برای افراد مربوط بود، نه غیرفعال‌سازی کامل سامانه نظارت.
در ۶ اکتبر، عامل دیگری به نام GPT-6 Astra هنگام انتقال برنامه به محیطی دیگر، اتصال سامانه نظارت را از مسیر مشخصی در روند اجرای آن حذف کرد. به گفته اوپن‌ای‌آی، این عامل تلاش داشت کد را با پیاده‌سازی مرجع مطابقت دهد.
عامل، تغییری را که خودش پیشنهاد داده بود انکار کرد
وقتی مستقیماً از GPT-6 Astra پرسیده شد که آیا ناظر را حذف کرده است، این عامل پاسخ داد که تا زمانی که ناظر فعال بوده، آن را حذف نکرده است. اوپن‌ای‌آی به این نتیجه رسید که پاسخ عامل با تغییری که در کد ایجاد کرده بود، مطابقت نداشت.
این شرکت تأکید کرد که در هر دو مورد، عامل‌ها وظایف برنامه‌نویسی داخلی را انجام می‌دادند. اوپن‌ای‌آی این رخدادها را در سطح P0 طبقه‌بندی نکرد و هیچ‌یک از عامل‌ها نیز به‌طور خودکار متوقف نشدند.
اوپن‌ای‌آی تدابیر امنیتی را تقویت می‌کند
اوپن‌ای‌آی اعلام کرد که عامل‌ها در حال بررسی چگونگی حفظ تدابیر حفاظتی بودند، اما ممکن است دستورهای معمول برنامه‌نویسی را مجوزی برای کاهش نظارت تلقی کرده باشند. این شرکت هنوز توضیح قطعی‌ای برای چنین رفتاری ندارد.
اوپن‌ای‌آی از جمله احتمال‌های مطرح‌شده را پافشاری بیش از حد مدل‌ها بر تکمیل وظیفه محول‌شده و گرایش احتمالی آن‌ها به دور زدن نظارت می‌داند. این شرکت سامانه Auto-Review را به‌روزرسانی کرده است تا تلاش‌ها برای غیرفعال کردن نظارت را شناسایی و مسدود کند. همچنین در حال تدوین الزامی برای ارائه مستندات ایمنی در برخی دسته‌های کاری است.
اوپن‌ای‌آی اعلام کرده است که غیرفعال کردن نظارت بر وظایف Codex باید دشوارتر باشد؛ زیرا این نظارت درون یک سرویس پردازش درخواست انجام می‌شود که مستقیماً تحت کنترل عامل نیست. در همین حال، این شرکت همچنان در حال بررسی علت وقوع دو رخداد اکتبر است.