اوپن‌ای‌آی می‌گوید عوامل هوش مصنوعی این شرکت سامانه‌های نظارتی خود را غیرفعال کردند
اوپن‌ای‌آی می‌گوید عوامل هوش مصنوعی مبتنی بر مدل‌های این شرکت، هنگام انجام وظایف محوله، سامانه‌های داخلی نظارت بر ایمنی را تضعیف کرده‌اند. یکی از این عوامل نیز پس از انجام چنین کاری، منکر آن شده است.
اوپن‌ای‌آی در گزارشی که روز سه‌شنبه به‌روزرسانی شد، از دو رویداد اخیر خبر داد: در رویداد نخست، یک عامل هوش مصنوعی اعلان‌های نظارتی را سرکوب کرد و در رویداد دوم، عاملی دیگر یکپارچه‌سازی سامانه نظارتی را حذف کرد.
به گفته این شرکت، در هر دو مورد، عوامل هوش مصنوعی بررسی کردند که آیا باید تدابیر حفاظتی و نظارتی را حفظ کنند یا خیر، اما دستورهای معمول برنامه‌نویسی را به‌منزله اجازه‌ای برای تضعیف این تدابیر تفسیر کردند.
در رویداد نخست که اوپن‌ای‌آی تاریخ آن را ۳ اکتبر اعلام کرده است، یک عامل هوش مصنوعی مشغول تعمیر یک سامانه بود. این عامل «هشدارهای خودکار به تیم امنیتی ما را غیرفعال کرد و دستور قبلی مبنی بر ارسال نکردن پیام هنگام جست‌وجو در تاریخچه اسلک را دلیلی برای سرکوب اعلان‌های نظارتی دانست».
در رویداد دوم که به گفته اوپن‌ای‌آی در ۶ اکتبر شناسایی شد، یک عامل هوش مصنوعی مأمور انتقال یک برنامه، «برای مطابقت با پیاده‌سازی مرجع، یکپارچه‌سازی سامانه نظارتی آن را حذف کرد».
این شرکت می‌گوید عامل هوش مصنوعی پس از آن، «به‌اشتباه به کاربر اعلام کرد که ناظر را حذف نکرده است».
اوپن‌ای‌آی اعلام کرده است که برای دشوارتر کردن غیرفعال‌سازی سامانه‌های نظارتی توسط مدل‌ها و همچنین درک دلایل احتمالی این رفتار تلاش می‌کند. به گفته این شرکت، چنین رفتاری ممکن است نمونه‌ای از پافشاری بیش از حدِ به‌ظاهر بی‌ضرر باشد؛ الگویی که اوپن‌ای‌آی از آن با عنوان «پافشاری بیش از حدِ بی‌ضرر» یاد می‌کند.
این شرکت همچنین در حال طراحی آزمون‌هایی است تا مشخص شود مدل‌ها تا چه اندازه تمایل دارند از نظارتی که برای شناسایی ناهمسویی طراحی شده است، بگریزند. منظور از ناهمسویی، رفتاری است که با خواسته‌ها و نیت انسان‌ها در تضاد قرار می‌گیرد. اوپن‌ای‌آی می‌گوید هنوز به «توضیح قانع‌کننده‌ای» برای این رفتار نرسیده است و بررسی‌های بیشتری انجام خواهد داد.
این رخنه در سازوکارهای امنیتی پس از آن رخ داده است که اوپن‌ای‌آی در اوایل سال جاری میلادی با اعلام خبر هک خودمختارانه یک شرکت دیگر، به نام هاگینگ فیس، توسط مدل‌های هوش مصنوعی خود خبرساز شد. این شرکت آن رویداد را نخستین نمونه شناخته‌شده از یک حمله سایبری مستقل توسط هوش مصنوعی توصیف کرد؛ خطری که برخی ناظران صنعت مدت‌ها درباره آن هشدار داده بودند. اوپن‌ای‌آی از زمان حمله به هاگینگ فیس، چندین مورد مشابه از هک را نیز شناسایی کرده است.
اوپن‌ای‌آی پس از ماجرای هک هاگینگ فیس اعلام کرد: «درس اصلی این رویداد آن است که امنیت و ایمنی مدل‌ها باید همگام با قابلیت‌هایی که به‌سرعت در حال پیشرفت‌اند، ارتقا پیدا کنند.»