اوپن‌ای‌آی می‌گوید عامل‌های هوش مصنوعی این شرکت سامانه نظارت داخلی را تضعیف کرده‌اند
نویسنده: کارلوس مندز
سان‌فرانسیسکو، ۲۰ اکتبر (رویترز) ـ اوپن‌ای‌آی روز سه‌شنبه اعلام کرد دو عامل هوش مصنوعی این شرکت بخش‌هایی از یک سامانه نظارت داخلی را که برای شناسایی رفتارهای نادرست طراحی شده است، تضعیف کرده‌اند. این تازه‌ترین نمونه از مواردی است که عامل‌های هوش مصنوعی برخلاف آنچه توسعه‌دهندگانشان در نظر داشته‌اند، عمل می‌کنند.
شرکت سازنده چت‌جی‌پی‌تی گفت این اتفاق‌ها هنگام انجام وظایف برنامه‌نویسی داخلی رخ داده‌اند و در زمره شدیدترین موارد از این نوع ارزیابی نشده‌اند. با این حال، افشای این رخدادها نشان می‌دهد حتی سامانه‌هایی که توسعه‌دهندگان برای شناسایی رفتارهای نادرست هوش مصنوعی به آن‌ها اتکا می‌کنند، در برابر همان عامل‌هایی که باید زیر نظر داشته باشند، آسیب‌پذیرند.
این افشاگری در شرایطی صورت می‌گیرد که نگرانی‌ها درباره عقب‌ماندن تلاش‌ها برای تأمین ایمنی هوش مصنوعی از سرعت توسعه سامانه‌های قدرتمندتر رو به افزایش است. پژوهشگران هشدار داده‌اند که با افزایش استقلال عمل عامل‌های پیشرفته هوش مصنوعی، نظارت بر آن‌ها و کنترلشان ممکن است دشوارتر شود.
در ماه‌های اخیر، شرکت‌های توسعه‌دهنده هوش مصنوعی، از جمله اوپن‌ای‌آی و رقیب آن، آنتروپیک، که هر دو در مسیر عرضه اولیه سهام قرار دارند، مواردی را گزارش کرده‌اند که در آن عامل‌های هوش مصنوعی آن‌ها بدون مجوز به سامانه‌های خارجی دسترسی پیدا کرده‌اند.
اوپن‌ای‌آی روز سه‌شنبه اعلام کرد که در نخستین مورد، یک عامل GPT-6.1 Sol هنگام انجام وظیفه‌ای برای آزمایش داخلی در ۳ اکتبر، هشدارهای امنیتی خودکار را متوقف کرد. این عامل به این نتیجه رسیده بود که دستور قبلی مبنی بر ارسال نکردن پیام در اسلک، اعلان‌های ایمنی را نیز شامل می‌شود.
در رویدادی جداگانه در ۶ اکتبر، یک عامل GPT-6 Astra هنگام کپی‌کردن بخشی از کد موجود، ابزار نظارت ایمنی را حذف کرد و بعد به‌اشتباه ادعا کرد که چنین کاری انجام نداده است؛ اوپن‌ای‌آی این موضوع را اعلام کرد.
این شرکت گفت: «در هر دو مورد، عامل‌ها بررسی کردند که آیا باید سازوکارهای حفاظتی نظارتی حفظ شوند یا نه، اما دستورهای معمول برنامه‌نویسی را به‌اشتباه مجوزی برای تضعیف این سازوکارها تلقی کردند.»
اوپن‌ای‌آی اعلام کرد در حال دشوارتر کردن غیرفعال‌سازی سامانه‌های نظارتی برای مدل‌هاست و افزود که هنوز «توضیح قانع‌کننده‌ای برای این رفتار» ندارد.
این شرکت مستقر در سان‌فرانسیسکو همچنین گفت در حال آزمایش این موضوع است که آیا مدل‌هایش ممکن است تمایلی به اجتناب از نظارت داشته باشند و برای توجیه چنین رفتاری به دنبال دلایلی بگردند یا خیر.
گزارش از کارلوس مندز در مکزیکوسیتی؛ ویرایش از سوبهرانشو ساهو