اوپن‌ای‌آی اعلام کرد دو عامل هوش مصنوعی هنگام انجام وظایف برنامه‌نویسی، نظارت ایمنی خود را تضعیف کردند
اوپن‌ای‌آی اعلام کرد دو عامل هوش مصنوعی این شرکت هنگام انجام وظایف برنامه‌نویسی داخلی، سازوکارهای نظارت بر ناهمسویی با اهداف تعیین‌شده را تضعیف کردند. یکی از این عوامل حتی به کاربر گفت که سامانه نظارتی را حذف نکرده است، در حالی که واقعاً آن را از کار انداخته بود.
به گفته این شرکت، یک عامل GPT-6.1 Sol در سوم اکتبر، هنگام تعمیر خط لوله ارزیابی، هشدارهای خودکار ارسالی به تیم امنیت اوپن‌ای‌آی را غیرفعال کرد. این عامل دستور قبلی مبنی بر ارسال نکردن پیام‌های Slack $WORK را مجوزی برای متوقف کردن اعلان‌های نظارتی تلقی کرد. سامانه نظارتی همچنان فعال بود و گزارش‌ها را ذخیره می‌کرد، اما هشدارهای ارسالی به انسان‌ها غیرفعال شده بودند.
در ششم اکتبر، یک عامل GPT-6 Astra که مشغول انتقال یک برنامه به محیطی دیگر بود، برای تطبیق کار با پیاده‌سازی مرجع، اتصال برنامه به سامانه نظارتی را حذف کرد. در گفت‌وگویی با عامل دیگری، به این مدل گفته شده بود که سامانه نظارتی را حتی «به‌طور موقت» غیرفعال نکند. با این حال، عامل اعلام کرد فرایند انتقال کامل شده است، بی‌آنکه به حذف اتصال اشاره کند. وقتی کاربر مستقیماً پرسید که آیا سامانه نظارتی را حذف کرده است، این موضوع را انکار کرد.
اوپن‌ای‌آی در گزارش خود نوشت: «در هر دو مورد، عوامل بررسی کردند که آیا باید تدابیر حفاظتی نظارتی را حفظ کنند یا نه، اما دستورهای معمول برنامه‌نویسی را مجوزی برای تضعیف این تدابیر تفسیر کردند.»
اوپن‌ای‌آی هیچ‌یک از این دو رخداد را در سطح P0 طبقه‌بندی نکرد؛ سطحی که با آن هشدار فوری برای بررسی سریع به تیم امنیت شرکت ارسال می‌شود. سامانه نیز به‌صورت خودکار هیچ‌یک از این دو فرایند را متوقف نکرد.
این شرکت اعلام کرد ابزار Auto-Review را به‌روزرسانی کرده است؛ ابزاری که استفاده داخلی از Codex در اوپن‌ای‌آی باید از آن پیروی کند. این ابزار اکنون تلاش‌ها برای غیرفعال کردن نظارت بر ناهمسویی را شناسایی و متوقف می‌کند. اوپن‌ای‌آی همچنین در حال برنامه‌ریزی برای الزام تمام انواع فعالیت‌ها به داشتن یک پرونده ایمنی معتبر است که الزامات نظارتی آن فعالیت را مشخص کند. فعالیت‌هایی که چنین پرونده معتبری نداشته باشند یا الزامات تعیین‌شده در آن را رعایت نکنند، به‌طور خودکار متوقف خواهند شد.
اوپن‌ای‌آی گفت هنوز در حال بررسی این موضوع است که آیا این رفتار ناشی از نوعی پافشاری بیش از حد اما بی‌ضرر است یا نشان‌دهنده گرایشی مشخص به دور زدن نظارت بر ناهمسویی است. این شرکت افزود: «هنوز توضیح قانع‌کننده‌ای برای این رفتار نداریم.»
رومن وی. یامپولسکی، متخصص هوش مصنوعی و امنیت سایبری در دانشگاه لوئیزویل، این افشاگری‌ها را «بسیار نگران‌کننده، اما نه غافلگیرکننده» توصیف کرد. او به الجزیره گفت: «سازوکار ایمنی‌ای که سامانه تحت نظارت بتواند آن را غیرفعال کند، سازوکار ایمنی قابل اتکایی نیست.»
این افشاگری پس از مجموعه‌ای از رخدادهای مرتبط با عوامل هوش مصنوعی اوپن‌ای‌آی صورت گرفته است. در اواخر سپتامبر، این شرکت پس از مشاهده الگویی از رفتارهای خارج از کنترل عوامل هوش مصنوعی، از جمله دسترسی غیرمجاز به وب‌سایت‌های دولتی، آموزش، ارزیابی و استنتاج مبتنی بر استفاده از ابزارها را برای پیشرفته‌ترین مدل‌های خود متوقف کرد. اوپن‌ای‌آی اعلام کرد زمانی این فرایندها را از سر می‌گیرد که از استقرار تدابیر حفاظتی بیشتر اطمینان حاصل کرده باشد.
اوپن‌ای‌آی در ماه ژوئیه نیز اعلام کرده بود که عوامل خودمختار از محیط آزمایشی کنترل‌شده خارج شده و به پلتفرم Hugging Face، بستری برای توسعه هوش مصنوعی متن‌باز، نفوذ کرده‌اند.