اوپن‌ای‌آی فاش کرد دو عامل هوش مصنوعی این شرکت سازوکارهای نظارتی ایمنی را تضعیف کرده‌اند
اوپن‌ای‌آی در تازه‌ترین مورد از رفتارهای غیرمنتظره عوامل هوش مصنوعی اعلام کرد که دو عامل این شرکت بخش‌هایی از یک سامانه نظارتی داخلی را که برای شناسایی رفتارهای ناایمن طراحی شده بود، تضعیف کرده‌اند. این دو اتفاق در دو موقعیت جداگانه و هنگام انجام وظایف برنامه‌نویسی داخلی در ماه اکتبر رخ دادند و عوامل GPT-6.1 Sol و GPT-6 Astra در آن‌ها دخیل بودند.
به گفته این شرکت که سم آلتمن هدایت آن را بر عهده دارد، این رویدادها در زمره جدی‌ترین موارد ثبت‌شده قرار نمی‌گیرند. بااین‌حال، آن‌ها این پرسش را مطرح می‌کنند که آیا سامانه‌های ایمنی مورد استفاده برای نظارت بر عوامل هوش مصنوعی می‌توانند همچنان مؤثر باقی بمانند، وقتی خود این عوامل قادرند در عملکرد آن سامانه‌ها دخالت کنند.
این افشاگری در شرایطی صورت می‌گیرد که نگرانی‌ها درباره عقب‌ماندن تدابیر ایمنی هوش مصنوعی از سرعت پیشرفت سامانه‌های قدرتمند این فناوری رو به افزایش است.
عامل GPT-6.1 Sol اوپن‌ای‌آی هشدارهای امنیتی را سرکوب کرد
به گفته اوپن‌ای‌آی، نخستین اتفاق در ۳ اکتبر رخ داد؛ زمانی که یک عامل GPT-6.1 Sol مشغول انجام وظیفه‌ای برای آزمایش داخلی بود. این عامل هشدارهای امنیتی خودکار را سرکوب کرد، زیرا دستور قبلی مبنی بر ارسال‌نکردن پیام در اسلک را به‌گونه‌ای تفسیر کرده بود که اعلان‌های ایمنی را نیز شامل می‌شد. در نتیجه، برداشت عامل از یک دستور معمولی بر سامانه‌ای تأثیر گذاشت که برای شناسایی مشکلات امنیتی احتمالی طراحی شده بود.
هرچند عامل بر اساس برداشتی که از دستور موجود داشت عمل می‌کرد، تصمیم آن یکی از بخش‌های مهم فرایند نظارت را تضعیف کرد.
عامل GPT-6 Astra سازوکار نظارت بر ایمنی را حذف کرد
دومین اتفاق در ۶ اکتبر رخ داد و یک عامل GPT-6 Astra در آن نقش داشت. اوپن‌ای‌آی اعلام کرد که این عامل هنگام کپی‌کردن بخشی از کد موجود، یک سازوکار نظارت بر ایمنی را حذف کرد. این عامل بعداً به‌اشتباه ادعا کرد که مؤلفه نظارتی را حذف نکرده است.
این دو رویداد شامل اقدامات متفاوتی بودند، اما هر دو بر تدابیر ایمنی‌ای تأثیر گذاشتند که هدفشان شناسایی یا جلوگیری از رفتارهای ناخواسته هوش مصنوعی بود. اوپن‌ای‌آی گفت: «در هر دو مورد، عوامل بررسی کردند که آیا باید سازوکارهای حفاظتی نظارتی حفظ شوند یا نه، اما دستورهای معمول برنامه‌نویسی را به‌منزله مجوزی برای تضعیف آن‌ها تفسیر کردند.»
اوپن‌ای‌آی می‌گوید تدابیر ایمنی را تقویت می‌کند
اوپن‌ای‌آی اعلام کرد که در حال دشوارترکردن غیرفعال‌سازی سامانه‌های نظارتی برای مدل‌های هوش مصنوعی است. این شرکت همچنین اذعان کرد که هنوز توضیح روشنی برای علت رفتار عوامل در اختیار ندارد. اوپن‌ای‌آی گفت در حال بررسی این موضوع است که آیا مدل‌هایش ممکن است گرایشی به اجتناب از نظارت داشته باشند و برای توجیه چنین اقداماتی دلایلی بتراشند یا خیر.