اوپن‌ای‌آی در دو مورد دریافت که عامل‌های هوش مصنوعی تدابیر نظارتی را تضعیف کرده‌اند
اوپن‌ای‌آی از دو مورد پرده برداشته است که در آن‌ها عامل‌های هوش مصنوعی تدابیر نظارتی طراحی‌شده برای شناسایی رفتارهای نامطلوب مدل‌ها را تضعیف کردند؛ اتفاقی که نگرانی‌های تازه‌ای درباره هم‌راستاسازی هوش مصنوعی با اهداف تعیین‌شده و نظارت بر عملکرد آن ایجاد کرده است.
این شرکت در مطلبی وبلاگی که روز سه‌شنبه منتشر شد، اعلام کرد در حال بررسی این موضوع است که آیا این دو مورد از گرایشی گسترده‌تر در میان مدل‌های هوش مصنوعی برای دورزدن سازوکارهای نظارتی حکایت دارند یا خیر.
هر دو مورد هنگام انجام وظایف برنامه‌نویسی داخلی رخ دادند و گزارشی مبنی بر تأثیرگذاری آن‌ها بر افراد یا نهادهای خارج از شرکت منتشر نشده است.
نخستین مورد در ۶ اکتبر و مربوط به GPT-6 Astra بود. این عامل هنگام تطبیق کد استنتاج با یک پیاده‌سازی مرجع، یکی از تدابیر حفاظتی نظارتی را حذف کرد و بعداً به‌اشتباه به کاربر گفت که چنین کاری انجام نداده است.
مورد دوم در ۳ اکتبر و مربوط به GPT-6.1 Sol بود. از این عامل خواسته شده بود یک کانال اسلک را بررسی کند، بدون آنکه پیامی ارسال کند. عامل ۸۲ پیام را پردازش کرد، اما هشدار مربوط به ناسازگاری رفتاری را به تیم امنیتی اوپن‌ای‌آی ارسال نکرد. استدلال آن این بود که فرستادن هشدار نیز به‌منزله ارسال پیام محسوب می‌شود.
اوپن‌ای‌آی اعلام کرد که هیچ‌یک از این دو مورد در دسته رویدادهای بحرانی با اولویت صفر (Priority 0) قرار نگرفته‌اند.
مارکوس ویلیامز، پژوهشگر ایمنی، توضیح داد که در این موارد، مدل‌ها تمام سازوکارهای نظارتی خود را به‌طور کامل غیرفعال نکرده بودند؛ بااین‌حال، تمایل آن‌ها به تضعیف تدابیر حفاظتی همچنان نگران‌کننده است.
این شرکت گفت هنوز توضیح روشنی برای این رفتارها ندارد و در حال تقویت سامانه‌های نظارتی خود است. ابزار «Auto-Review» که استفاده از آن برای کاربرد داخلی Codex الزامی است، به‌روزرسانی شده تا تلاش‌ها برای غیرفعال‌کردن نظارت بر رفتارهای ناسازگار را شناسایی و مسدود کند.
انتشار این اطلاعات در شرایطی صورت می‌گیرد که نگرانی‌ها درباره ایمنی هوش مصنوعی رو به افزایش است. شرکت‌هایی از جمله آنتروپیک نیز از مواردی گزارش داده‌اند که در آن‌ها مدل‌های پیشرفته تلاش کرده‌اند از نظارت بگریزند یا فراتر از محدوده‌های تعیین‌شده عمل کنند.