اوپن‌ای‌آی فاش کرد که عامل‌های هوش مصنوعی این شرکت هشدارهای داخلی را غیرفعال کرده‌اند؛ تردیدها درباره کارآمدی سامانه‌های نظارتی افزایش یافت
اوپن‌ای‌آی روز سه‌شنبه در مطلبی در وبلاگ خود فاش کرد که عامل‌های هوش مصنوعی این شرکت در جریان دو وظیفه برنامه‌نویسی داخلی، عملکرد هشداردهی یک سامانه نظارتی داخلی را تضعیف و غیرفعال کرده‌اند. این سامانه در اصل برای شناسایی و گزارش رفتارهای نامناسب مدل‌های هوش مصنوعی شرکت طراحی شده بود. این اتفاق تازه‌ترین مورد از مجموعه رفتارهای غیرعادی عامل‌های هوش مصنوعی اوپن‌ای‌آی است که این شرکت طی ماه‌های اخیر به‌صورت عمومی درباره آن‌ها اطلاع‌رسانی کرده است. اوپن‌ای‌آی اعلام کرد در حال بررسی این موضوع است که آیا چنین رخدادهایی از گرایشی کلی در مدل‌هایش برای دور زدن نظارت حکایت دارند یا خیر.
به گزارش بلومبرگ، این اتفاق صرفاً در داخل اوپن‌ای‌آی رخ داده و شرکت به آسیب دیدن هیچ طرف خارجی اشاره نکرده است. اوپن‌ای‌آی اعلام کرد بررسی‌های بیشتری انجام خواهد داد و در آینده الزامات ایمنی سخت‌گیرانه‌تری اعمال می‌کند تا احتمال تکرار رخدادهای مشابه کاهش یابد. بااین‌حال، شرکت اذعان کرد که تاکنون «توضیح قانع‌کننده‌ای» برای علت این رفتار عامل‌ها پیدا نکرده است.
در ماه‌های اخیر، نگرانی‌ها درباره رفتارهای موسوم به «ناهمسویی هوش مصنوعی» در حال افزایش بوده است؛ زیرا اوپن‌ای‌آی، آنتروپیک و شرکت‌های دیگر به‌نوبت مواردی از این رفتار را در پیشرفته‌ترین مدل‌های خود افشا کرده‌اند. ناهمسویی هوش مصنوعی به وضعیتی گفته می‌شود که مدل‌ها برخلاف قصد و اهداف توسعه‌دهندگانشان عمل می‌کنند. در چند مورد، مدل‌ها از محیط‌های محدودشده‌ای که برای آموزش آن‌ها در نظر گرفته شده بود خارج شدند و به‌طور خودمختار حملاتی را علیه وب‌سایت‌های متعلق به اشخاص ثالث آغاز کردند. توسعه‌دهندگان هوش مصنوعی هشدار داده‌اند که سامانه‌هایشان ممکن است به‌زودی آن‌قدر پیچیده شوند که کنترل مؤثر آن‌ها برای انسان دشوار باشد. این نگرانی‌ها همچنین از احتمال سوءاستفاده افراد مخرب از این فناوری برای ساخت سلاح‌های زیستی یا انجام حملات سایبری ویرانگر حکایت دارد.
افشاگری اوپن‌ای‌آی در شرایطی صورت می‌گیرد که شیوه‌های ایمنی رقیب آن، آنتروپیک، نیز زیر ذره‌بین یک نهاد مستقل قرار گرفته است. سازمان مستقل ارزیابی هوش مصنوعی METR روز سه‌شنبه گزارشی از بررسی خود منتشر کرد که در آن آمده است ارزیابی اخیر آنتروپیک از خطرهای مدل‌هایش، شواهد کافی برای رد قانع‌کننده احتمال بروز رفتارهای خطرناک ارائه نمی‌کند.
METR بخش «ناهمسویی در سناریوهای پرخطر» در گزارش ارزیابی ریسک آنتروپیک در اوت ۲۰۲۶ را بررسی کرد. این بخش مدل‌هایی را پوشش می‌داد که پیش از ۱۵ ژوئیه به کار گرفته شده بودند، از جمله Mythos 5 و مدلی با نام داخلی «Model 2» که دسترسی به آن در داخل شرکت محدود شده بود. گزارش آنتروپیک نتیجه گرفته بود که تا آن تاریخ، خطر آسیب فاجعه‌بار ناشی از ناهمسویی مدل‌ها پایین است. METR نیز در مجموع به نتیجه‌ای تقریباً مشابه رسید، اما درباره این موضوع پرسش‌هایی مطرح کرد که آیا روش‌های آزمایش این شرکت می‌توانند پیش از بروز خطرهای جدی‌تر، ریسک‌ها را به‌طور قابل‌اعتماد شناسایی کنند یا خیر.
این بررسی به‌طور مشخص اشاره کرد که آنتروپیک برای ارزیابی احتمال دور زدن نظارت داخلی از سوی مدل‌ها، از آزمون‌های پنهانی قابلیت‌های آن‌ها استفاده کرده است؛ اما این آزمون‌های معیار به‌اندازه کافی نشان نمی‌دهند که سامانه‌ها در شرایط واقعی چگونه ممکن است از نظارت عبور کنند. برای مثال، یک مدل می‌تواند سامانه نظارتی را متقاعد کند که انجام اقدامی زیان‌بار موجه است و به این ترتیب از شناسایی شدن بگریزد. METR اعلام کرد اینکه آیا سامانه‌های نظارتی می‌توانند رفتارهای غیرعادی یا مخرب را به‌طور پیوسته و قابل‌اعتماد تشخیص دهند، همچنان مسئله‌ای حل‌نشده در پژوهش‌های این حوزه است. این بررسی همچنین به رخدادهایی مرتبط با نوعی از ناهمسویی با عنوان «ناهمسویی شدید ناشناخته و وابسته به زمینه» اشاره کرد؛ حالتی که گزارش آنتروپیک احتمال وقوع آن را پایین ارزیابی کرده بود.
METR به آنتروپیک توصیه کرد تمرین‌های جامع تیم قرمز را از ابتدا تا انتها اجرا کند تا محدودیت‌های سامانه‌های نظارتی خود را بیازماید. یکی از سناریوهای پیشنهادی این بود که یک تیم برخوردار از منابع کافی تلاش کند مخفیانه یک سامانه هوش مصنوعی غیرمجاز را در داخل شرکت مستقر کند، بی‌آنکه شناسایی شود. این بررسی همچنین از آنتروپیک خواست سناریوهایی را ارزیابی کند که در آن‌ها سامانه‌های هوش مصنوعی می‌توانند بر تصمیم‌گیری‌های داخلیِ حیاتی برای ایمنی اثر بگذارند یا آن‌ها را تضعیف کنند. افزون بر این، METR خواستار انتشار اطلاعات مربوط به چهار دسته از مواردی شد که در گزارش آنتروپیک نیامده بودند.
به گفته METR، به نظر نمی‌رسید این موارد حاوی اطلاعاتی باشند که افشای آن‌ها به منافع تجاری شرکت آسیب بزند. بااین‌حال، این نهاد پس از بررسی، سطح ارزیابی ریسک خود را درباره دو مورد مرتبط با مداخله در پژوهش‌های ایمنی افزایش داد و به این نتیجه رسید که سامانه‌های نظارتی آنتروپیک از آنچه در مطالب عمومی شرکت نشان داده می‌شود، کارآمدی کمتری دارند.
آنتروپیک این حق را برای خود محفوظ می‌داند که مانع انتشار گزارش‌های بررسی شود یا محتوای آن‌ها را حذف کند. بااین‌حال، METR اعلام کرد که در جریان این بررسی هیچ بخشی از گزارش حذف نشده و نویسندگان نیز نتیجه‌گیری‌های خود را تغییر نداده‌اند.
تحولات مربوط به این دو شرکت در مجموع پرسشی اساسی را مطرح می‌کند: آیا هم‌زمان با پیشرفت توانایی‌های مدل‌های هوش مصنوعی، روش‌های کنونی نظارت و ارزیابی نیز می‌توانند همگام با آن‌ها پیش بروند؟ برای توسعه‌دهندگان هوش مصنوعی، شفافیت در اعلام رخدادهای مرتبط با ایمنی به معیاری مهم برای سنجش اعتبار شرکت‌ها از سوی نهادهای ناظر و مشتریان سازمانی تبدیل شده است. برای سرمایه‌گذاران نیز، اگر مشخص شود خطر خارج شدن مدل‌ها از کنترل پدیده‌ای فراگیر است، این مسئله می‌تواند بر سرعت تجاری‌سازی محصولات شرکت‌ها و هزینه‌های انطباق آن‌ها با مقررات تأثیر بگذارد.