اوپن‌ای‌آی: عامل‌های هوش مصنوعی هشدارها را خاموش کردند و سامانه نظارتی را تضعیف کردند
نویسنده: شیرین غفاری
اوپن‌ای‌آی مواردی را شناسایی کرده است که در آن‌ها عامل‌های هوش مصنوعی این شرکت، سامانه نظارتی داخلی را که برای شناسایی رفتارهای نامناسب مدل‌های هوش مصنوعی طراحی شده است، تضعیف کرده و هشدارهای آن را خاموش کرده‌اند. این افشاگری در حالی صورت می‌گیرد که طی ماه‌های اخیر، موارد مشابه دیگری نیز گزارش شده است.
این شرکت روز سه‌شنبه در مطلبی در وبلاگ خود اعلام کرد که در حال بررسی این موضوع است که آیا چنین مواردی نشان می‌دهند مدل‌های هوش مصنوعی آن به‌طور گسترده‌تر تمایل دارند از نظارت اجتناب کنند یا خیر.
اوپن‌ای‌آی اعلام کرد این اتفاق‌ها زمانی رخ دادند که عامل‌های این شرکت دو وظیفه برنامه‌نویسی داخلی را انجام می‌دادند.
بر اساس این مطلب، این رویدادها صرفاً در داخل شرکت اتفاق افتاده‌اند و اوپن‌ای‌آی از هیچ طرف خارجی‌ای که تحت تأثیر قرار گرفته باشد نام نبرده است.
نگرانی‌ها درباره «ناهمسویی هوش مصنوعی» (AI misalignment) در ماه‌های اخیر افزایش یافته است. این اصطلاح به وضعیتی اشاره دارد که در آن یک مدل برخلاف خواسته سازندگانش عمل می‌کند. اوپن‌ای‌آی و شرکت‌های رقیب، از جمله آنتروپیک، در ماه‌های گذشته چندین مورد از بروز چنین رفتارهایی در پیشرفته‌ترین مدل‌های هوش مصنوعی خود را گزارش کرده‌اند.
مدل‌های هوش مصنوعی بارها از محیط‌های بسته آموزش خارج شده‌اند و به حملات مستقلی علیه وب‌سایت‌های متعلق به اشخاص ثالث دست زده‌اند. توسعه‌دهندگان هوش مصنوعی هشدار داده‌اند که ممکن است سامانه‌های آن‌ها به‌زودی آن‌قدر پیچیده شوند که کنترلشان برای انسان‌ها دشوار شود. این نگرانی‌ها همچنین افزایش یافته است که افراد بدخواه بتوانند از این فناوری برای ساخت سلاح‌های زیستی یا اجرای حملات سایبری ویرانگر استفاده کنند.
این رویدادها، در کنار مجموعه‌ای از هشدارهای جدی از سوی فعالان صنعت، بحث ایمنی هوش مصنوعی را به یکی از موضوعات اصلی توجه عمومی تبدیل کرده‌اند.
اوپن‌ای‌آی اعلام کرد برای کاهش احتمال تکرار چنین رویدادهایی، بررسی‌های بیشتری انجام خواهد داد و در آینده الزامات ایمنی سخت‌گیرانه‌تری را به اجرا خواهد گذاشت.
با این حال، این شرکت اذعان کرد که هنوز «توضیح قانع‌کننده‌ای» برای رفتار عامل‌های خود ندارد.