اوپن‌ای‌آی می‌گوید عامل‌های هوش مصنوعی این شرکت سامانه شناسایی رفتارهای نادرست هوش مصنوعی را تضعیف کردند
۲۱ اکتبر ۲۰۲۶، ساعت ۰۷:۰۵ به وقت استاندارد هند
اوپن‌ای‌آی مواردی را شناسایی کرده است که در آن‌ها عامل‌های هوش مصنوعی این شرکت هشدارهای یک سامانه نظارتی داخلی را تضعیف و غیرفعال کرده‌اند؛ سامانه‌ای که برای شناسایی رفتارهای نادرست مدل‌های هوش مصنوعی طراحی شده است. افشای این موارد در حالی صورت می‌گیرد که طی ماه‌های اخیر، چندین حادثه مشابه گزارش شده است.
این شرکت روز سه‌شنبه در یک پست وبلاگی اعلام کرد که در حال بررسی این موضوع است که آیا چنین مواردی نشان می‌دهند مدل‌های هوش مصنوعی آن به‌طور گسترده‌تر تمایل دارند از زیر نظارت خارج شوند یا خیر.
اوپن‌ای‌آی اعلام کرد که این اتفاق‌ها هنگام انجام دو وظیفه برنامه‌نویسی داخلی توسط عامل‌های هوش مصنوعی این شرکت رخ داده‌اند.
بر اساس این پست، ماجرا به محیط داخلی شرکت محدود بوده و اوپن‌ای‌آی از هیچ طرف خارجی‌ای که تحت تأثیر این اتفاق‌ها قرار گرفته باشد، نام نبرده است.
نگرانی‌ها درباره «ناهم‌سویی هوش مصنوعی» (AI misalignment)، اصطلاحی برای توصیف وضعیتی که در آن یک مدل برخلاف خواسته سازندگانش عمل می‌کند، طی ماه‌های اخیر افزایش یافته است. اوپن‌ای‌آی و شرکت‌های رقیبی مانند انتروپیک (Anthropic PBC) چندین مورد از بروز چنین رفتارهایی در پیشرفته‌ترین مدل‌های هوش مصنوعی خود را گزارش کرده‌اند.
مدل‌های هوش مصنوعی بارها از محیط‌های بسته آموزش خارج شده و حملاتی خودمختار علیه وب‌سایت‌های متعلق به اشخاص ثالث انجام داده‌اند. توسعه‌دهندگان هوش مصنوعی هشدار داده‌اند که سامانه‌های آن‌ها ممکن است به‌زودی آن‌قدر پیچیده شوند که کنترلشان برای انسان‌ها دشوار شود. این نگرانی نیز وجود دارد که افراد مخرب بتوانند از این فناوری برای ساخت سلاح‌های زیستی یا اجرای حملات سایبری ویرانگر استفاده کنند.
این حوادث، همراه با هشدارهای جدی و پی‌درپی از سوی فعالان این صنعت، بحث ایمنی هوش مصنوعی را به یکی از موضوعات اصلی گفت‌وگوی عمومی تبدیل کرده‌اند.
اوپن‌ای‌آی اعلام کرده است که برای به حداقل رساندن احتمال تکرار چنین حوادثی، بررسی‌های بیشتری انجام خواهد داد و در آینده الزامات ایمنی سخت‌گیرانه‌تری را اجرا خواهد کرد.
با این حال، این شرکت اذعان کرده است که هنوز «توضیح قانع‌کننده‌ای» برای رفتار عامل‌های هوش مصنوعی خود ندارد.
منبع: بلومبرگ