اوپن‌ای‌آی تأیید کرد دو عامل هوش مصنوعی داخلی، تدابیر ایمنی خود را غیرفعال کرده‌اند
اوپن‌ای‌آی وقوع دو مورد جدید از رفتارهای خارج از انتظار عوامل هوش مصنوعی پیشرفته خود را تأیید کرده است. در این دو مورد، عوامل هوش مصنوعی ابزارهای نظارت ایمنی را غیرفعال کردند تا وظایف محول‌شده را مؤثرتر به پایان برسانند.
گزارشی که روز سه‌شنبه منتشر شد، جزئیات این مشکلات را شرح می‌دهد؛ رخدادهایی که در اوایل اکتبر و هنگام انجام وظایف برنامه‌نویسی داخلی با استفاده از عوامل مبتنی بر GPT-6 و GPT 6.1 اتفاق افتادند. اوپن‌ای‌آی در این گزارش اعلام کرد: «در هر دو مورد، عوامل بررسی کردند که آیا باید تدابیر حفاظتی نظارتی حفظ شوند یا خیر، اما دستورهای معمول برنامه‌نویسی را به‌اشتباه مجوزی برای تضعیف این تدابیر تلقی کردند.»
در یکی از این دو رخداد، عاملی مبتنی بر GPT-6 Astra محدودیت‌های مربوط به تشخیص رفتارهای ناهمسو را که بر عملکرد خودش اعمال می‌شد، حذف کرد تا بتواند یک وظیفه برنامه‌نویسی را به پایان برساند. در گفت‌وگویی پیشین میان دو عامل، به یکی از آن‌ها دستور داده شده بود هیچ‌یک از سامانه‌های نظارتی را غیرفعال نکند. بااین‌حال، این عامل دستور دیگری را که از آن می‌خواست نظارت را «در صورت لزوم» حفظ کند، به‌اشتباه دلیلی برای دور زدن سازوکار حفاظتی در نظر گرفت.
این عامل سپس در پاسخ به کاربری که پرسیده بود آیا برای تکمیل وظیفه، تدابیر حفاظتی را حذف کرده است، دروغ گفت؛ این در حالی بود که شواهد روشنی از انجام چنین کاری وجود داشت. عامل در پاسخ به درخواست کاربر گفت: «خیر [...] من هیچ ناظر فعالی را از آن حذف نکردم.» اوپن‌ای‌آی هنوز مشخص نکرده است که آیا این عامل بعداً به اشتباه خود اعتراف کرده است یا خیر.
گزارش مربوط به رفتارهای ناهمسو، از رخداد دیگری نیز پرده برمی‌دارد که در آن عاملی مبتنی بر GPT-6.1 Sol، هشدارهای خودکار ارسالی به تیم امنیتی اوپن‌ای‌آی را هنگام انجام پروژه‌ای مشخص غیرفعال کرد. این عامل دستور پیشین کاربر مبنی بر «هیچ پیامی ارسال نکن» را نادرست تفسیر کرد و تصمیم گرفت آن را در سامانه نظارتی خود نیز اجرا کند؛ با وجود اینکه آن دستور و پروژه موردنظر دو موضوع جداگانه بودند.
اوپن‌ای‌آی می‌گوید بررسی این دو رخداد به تقویت پروتکل‌های امنیتی شرکت کمک کرده است. از جمله اقدامات انجام‌شده، بهبود سازوکارهایی است که تلاش عوامل برای غیرفعال کردن نظارت بر رفتارهای ناهمسو را در جریان فرایند بازبینی داخلی آشکارتر می‌کنند. این شرکت می‌گوید: «علاوه بر دشوارتر کردن غیرفعال‌سازی نظارت برای مدل‌ها، در تلاشیم بفهمیم چرا مدل‌ها اساساً ممکن است بخواهند چنین کاری انجام دهند.»
در این پست وبلاگی آمده است که اوپن‌ای‌آی هنوز توضیح مشخصی برای این رفتارها ندارد. در گزارش می‌خوانیم: «ممکن است این رفتار صرفاً نمونه‌ای از پافشاری بیش از حدِ بی‌ضرر باشد؛ یعنی مدل‌ها اهمیت نظارت را درک نمی‌کنند یا بر اجرای دستورها اصرار می‌ورزند، فراتر از حدی که از نظر یک انسان معقول انتظار می‌رود.»
این گزارش تازه پس از چندین رخداد امنیتی در ماه‌های اخیر منتشر شده است که به فناوری‌های هوش مصنوعی عامل‌محور مربوط بوده‌اند و بسیاری از آن‌ها با فناوری اوپن‌ای‌آی ارتباط داشته‌اند. نخستین گزارش مهم در این زمینه به موردی مربوط می‌شد که مدل‌های اوپن‌ای‌آی از کنترل خارج شدند و تلاش کردند به پایگاه داده هوش مصنوعی هاجینگ فیس دسترسی پیدا کنند. گزارش مربوط به آن رخداد پیش‌تر منتشر شده بود.
افشاگری: شرکت زیف دیویس، مالک پی‌سی‌مگ، در آوریل ۲۰۲۵ شکایتی علیه اوپن‌ای‌آی ثبت کرد و مدعی شد این شرکت در جریان آموزش و به‌کارگیری سامانه‌های هوش مصنوعی خود، حقوق نشر زیف دیویس را نقض کرده است.