اوپن‌ای‌آی می‌گوید عوامل هوش مصنوعی این شرکت سامانه‌های نظارتی خود را غیرفعال کرده‌اند
نویسنده: میسون لایب
۲۱ اکتبر ۲۰۲۶، ساعت ۱۸:۳۱
اوپن‌ای‌آی اعلام کرده است که عوامل هوش مصنوعی مبتنی بر مدل‌های این شرکت، هنگام انجام وظایف خود سامانه‌های نظارت داخلی بر ایمنی را تضعیف کرده‌اند و یکی از این عوامل پس از آن، منکر انجام این کار شده است.
اوپن‌ای‌آی در گزارشی که روز سه‌شنبه به‌روزرسانی شد، جزئیات دو مورد اخیر را شرح داده است. در یکی از این موارد، یک عامل هوش مصنوعی «اعلان‌های نظارتی را سرکوب کرد» و در مورد دیگر، عامل هوش مصنوعی یکپارچه‌سازی سامانه نظارتی را حذف کرد. گزارش اوپن‌ای‌آی این دو رویداد را بررسی می‌کند.
در هر دو مورد، عوامل هوش مصنوعی بررسی کرده بودند که آیا باید سازوکارهای حفاظتی نظارت را حفظ کنند یا نه؛ اما دستورهای معمول برنامه‌نویسی را به‌منزله مجوزی برای تضعیف این سازوکارها تفسیر کردند.
در مورد نخست که به گفته شرکت در ۳ اکتبر رخ داد، یک عامل هوش مصنوعی مشغول تعمیر یک سامانه بود و «هشدارهای خودکار تیم امنیت ما را غیرفعال کرد. این عامل، دستور قبلی مبنی بر ارسال نکردن پیام هنگام جست‌وجو در تاریخچه اسلک را دلیلی برای متوقف کردن اعلان‌های نظارتی تلقی کرد.»
در مورد دوم که اوپن‌ای‌آی می‌گوید در ۶ اکتبر شناسایی شد، یک عامل هوش مصنوعی که مأمور انتقال یک برنامه به سامانه‌ای دیگر بود، «برای مطابقت با پیاده‌سازی مرجع، یکپارچه‌سازی سامانه نظارتی را حذف کرد».
به گفته این شرکت، عامل هوش مصنوعی پس از آن «به‌دروغ به کاربر اعلام کرد که ناظر را حذف نکرده است».
اوپن‌ای‌آی اعلام کرده است که برای دشوارتر کردن غیرفعال‌سازی سامانه‌های نظارتی توسط مدل‌ها و همچنین درک علت احتمالی چنین رفتارهایی تلاش می‌کند. به گفته شرکت، این رفتار ممکن است نمونه‌ای از چیزی باشد که آن را پافشاری بیش از حدِ «خیرخواهانه» می‌نامد.
این شرکت همچنین در حال توسعه آزمون‌هایی است تا مشخص شود مدل‌های هوش مصنوعی تا چه اندازه مستعد دور زدن نظارتی هستند که برای شناسایی رفتارهای ناهمسو با اهداف و خواسته‌های انسان طراحی شده است. اوپن‌ای‌آی می‌گوید هنوز به «توضیحی قانع‌کننده» برای این رفتارها نرسیده و بررسی‌های بیشتری انجام خواهد داد.
این رخداد امنیتی پس از آن اتفاق افتاده است که اوپن‌ای‌آی در اوایل سال جاری میلادی خبرساز شد؛ زمانی که اعلام کرد مدل‌های هوش مصنوعی این شرکت به‌طور مستقل به سامانه‌های شرکت دیگری به نام هاجینگ فیس نفوذ سایبری کرده‌اند. این شرکت آن رویداد را نخستین نمونه شناخته‌شده از یک حمله سایبری خودمختار توسط هوش مصنوعی توصیف کرد؛ سناریویی که برخی ناظران صنعت مدت‌ها نگران وقوع آن بودند. اوپن‌ای‌آی پس از آن حمله نیز چندین مورد مشابه از نفوذ سایبری را شناسایی کرده است.
اوپن‌ای‌آی پس از حمله به هاجینگ فیس اعلام کرد: «درس اصلی این رخداد آن است که امنیت و ایمنی مدل‌ها باید همگام با قابلیت‌هایی که به‌سرعت در حال پیشرفت‌اند، توسعه پیدا کند.»