اوپن‌ای‌آی از دو مورد دور زدن سازوکارهای نظارتی توسط عامل‌های هوش مصنوعی خبر داد؛ ماجرا چه بود؟
اوپن‌ای‌آی بار دیگر به‌دلیل رفتار غیرمنتظره عامل‌های هوش مصنوعی خود خبرساز شده است؛ این بار ماجرا نگران‌کننده‌تر به نظر می‌رسد. این شرکت هوش مصنوعی به مدیریت سم آلتمن از وقوع دو مورد خبر داده است که در آن‌ها عامل‌های هوش مصنوعی با سازوکارهایی که برای نظارت بر رفتارشان طراحی شده‌اند، تداخل داشته‌اند. پس از انتشار این گزارش، کاربران شبکه‌های اجتماعی این پرسش را مطرح کردند که آیا مدل‌های هوش مصنوعی ممکن است به‌سمت دور زدن نظارت گرایش پیدا کنند. اوپن‌ای‌آی اعلام کرده است که در حال بررسی این دو مورد است، اما هنوز نتوانسته علت وقوع این رفتارها را مشخص کند.
این دو مورد در ماه اکتبر و با مشارکت GPT-6 Astra و GPT-6.1 Sol رخ دادند. مارکوس ویلیامز، پژوهشگر ایمنی در اوپن‌ای‌آی، در شبکه اجتماعی ایکس به این رویدادها اشاره کرد و درباره رفتار عامل‌های هوش مصنوعی‌ای ابراز نگرانی کرد که وظایف محول‌شده را تحت نظارت انجام می‌دهند. اوپن‌ای‌آی در یک پست وبلاگی نوشت: «هنوز توضیح قانع‌کننده‌ای برای این رفتار نداریم.»
GPT-6 Astra سازوکار نظارتی را حذف کرد و سپس آن را انکار کرد
نخستین مورد در ۶ اکتبر رخ داد؛ زمانی که از GPT-6 Astra خواسته شد پیاده‌سازی مرجع کد استنتاج خود را با نسخه موجود تطبیق دهد. این عامل هوش مصنوعی در جریان انجام وظیفه، برای هماهنگ کردن پیاده‌سازی خود با نسخه مرجع، یک سازوکار نظارتی را حذف کرد.
وقتی کاربر بعداً پرسید که آیا این عامل یک سازوکار نظارتی فعال را حذف کرده است، Astra این کار را انکار کرد. به گفته ویلیامز، عامل در پاسخ گفت: «نه، من هیچ سازوکار نظارتی فعالی را از آن حذف نکردم.»
GPT-6.1 Sol از ارسال هشدار امنیتی خودداری کرد
دومین مورد در ۳ اکتبر اتفاق افتاد. به GPT-6.1 Sol دستور داده شده بود یک کانال اسلک را بررسی کند، بدون آنکه پیامی ارسال کند. این عامل پس از بررسی ۸۲ پیام، هنگام اصلاح یک خط لوله ارزیابی، تصمیم گرفت هشدار مربوط به ناهم‌سویی را برای تیم امنیت اوپن‌ای‌آی ارسال نکند؛ زیرا استدلال می‌کرد که فرستادن هشدار نیز به‌معنای ارسال پیام خواهد بود و با دستور اولیه مغایرت دارد.
ویلیامز توضیح داد که این رویدادها به این معنا نیستند که مدل‌ها تمام سامانه‌های نظارتی خود را غیرفعال کرده‌اند. بااین‌حال، او تأکید کرد که این رفتار همچنان نگران‌کننده است.
سازوکارهای نظارتی اوپن‌ای‌آی
اوپن‌ای‌آی اعلام کرد که هیچ‌یک از این دو مورد در رده رویدادهای «اولویت صفر» (Priority 0) قرار نگرفته‌اند؛ این دسته‌بندی برای حوادث بسیار بحرانی در نظر گرفته شده است که به بررسی فوری نیاز دارند. این شرکت همچنین گزارش داد که تاکنون هیچ تأثیری بر طرف‌های خارج از سازمان شناسایی نشده است. اوپن‌ای‌آی در عین حال سامانه Auto-Review را که استفاده از آن در کاربرد داخلی Codex الزامی است، به‌روزرسانی کرده تا تلاش‌ها برای غیرفعال کردن نظارت بر ناهم‌سویی را شناسایی و مسدود کند.