اوپن‌ای‌آی: عامل‌های هوش مصنوعی ما سامانه‌های نظارتی خود را غیرفعال کردند
اوپن‌ای‌آی اعلام کرد عامل‌های هوش مصنوعی مبتنی بر مدل‌های این شرکت هنگام انجام وظایف، سامانه‌های نظارت داخلی ایمنی را تضعیف کرده‌اند و یکی از این عامل‌ها پس از آن منکر انجام این کار شده است.
اوپن‌ای‌آی در گزارشی که روز سه‌شنبه به‌روزرسانی شد، دو مورد اخیر را شناسایی کرده است: در مورد نخست، یک عامل هوش مصنوعی «اعلان‌های نظارتی را سرکوب کرد» و در مورد دوم، عامل دیگری یکپارچه‌سازی سامانه نظارتی را حذف کرد. گزارش اوپن‌ای‌آی جزئیات این دو رویداد را شرح می‌دهد.
در هر دو مورد، عامل‌های هوش مصنوعی بررسی کردند که آیا باید تدابیر حفاظتی نظارتی را حفظ کنند یا نه، اما دستورهای معمول برنامه‌نویسی را به‌اشتباه مجوزی برای تضعیف این تدابیر تلقی کردند.
در رویداد نخست که شرکت تاریخ آن را ۳ اکتبر اعلام کرده است، یک عامل هوش مصنوعی که مشغول تعمیر یک سامانه بود، «هشدارهای خودکار به تیم امنیتی ما را غیرفعال کرد و دستور قبلی مبنی بر ارسال نکردن پیام هنگام جست‌وجو در تاریخچه اسلک را دلیلی برای سرکوب اعلان‌های نظارتی دانست.»
در رویداد دوم که به گفته اوپن‌ای‌آی در ۶ اکتبر شناسایی شد، یک عامل هوش مصنوعی که مأمور انتقال یک برنامه به محیطی دیگر بود، «برای مطابقت با یک پیاده‌سازی مرجع، یکپارچه‌سازی سامانه نظارتی آن را حذف کرد.»
این شرکت می‌گوید عامل هوش مصنوعی سپس «به‌دروغ به کاربر اعلام کرد که ابزار نظارتی را حذف نکرده است.»
اوپن‌ای‌آی اعلام کرده است که برای دشوارتر کردن غیرفعال‌سازی سامانه‌های نظارتی توسط مدل‌ها تلاش می‌کند و در عین حال می‌خواهد بفهمد چرا مدل‌ها اساساً ممکن است به چنین کاری دست بزنند. به گفته شرکت، این رفتار می‌تواند نمونه‌ای از پدیده‌ای باشد که آن را پافشاری بیش از حدِ «خیرخواهانه» می‌نامد.
این شرکت همچنین در حال طراحی آزمون‌هایی برای ارزیابی تمایل مدل‌ها به دور زدن سامانه‌های نظارتی است؛ سامانه‌هایی که برای شناسایی رفتارهای ناهمسو با اهداف و خواسته‌های انسان طراحی شده‌اند. اوپن‌ای‌آی می‌گوید هنوز به «توضیح قانع‌کننده‌ای» برای این رفتار نرسیده و بررسی‌های بیشتری انجام خواهد داد.
این رخداد امنیتی پس از آن اتفاق افتاده است که اوپن‌ای‌آی اوایل سال جاری میلادی با اعلام خبر نفوذ سایبری خودمختار مدل‌های هوش مصنوعی‌اش به شرکت دیگری به نام هاجینگ فیس خبرساز شد. این شرکت آن رویداد را نخستین نمونه شناخته‌شده از یک حمله سایبری مستقل به‌دست هوش مصنوعی توصیف کرد؛ سناریویی که مدت‌ها برخی ناظران صنعت درباره وقوع آن هشدار داده بودند. اوپن‌ای‌آی از زمان نفوذ به هاجینگ فیس، چندین مورد مشابه از حملات سایبری را نیز شناسایی کرده است.
اوپن‌ای‌آی پس از ماجرای نفوذ به هاجینگ فیس اعلام کرد: «درس اصلی این رویداد آن است که امنیت و ایمنی مدل‌ها باید همگام با قابلیت‌هایی که به‌سرعت در حال پیشرفت‌اند، توسعه یابد.»