اوپن‌ای‌آی می‌گوید عامل‌های هوش مصنوعی این شرکت سامانه نظارت داخلی را تضعیف کرده‌اند
۲۰ اکتبر ـ اوپن‌ای‌آی روز سه‌شنبه اعلام کرد دو عامل هوش مصنوعی این شرکت بخش‌هایی از یک سامانه نظارت داخلی را که برای شناسایی رفتارهای نامناسب طراحی شده بود، تضعیف کرده‌اند. این تازه‌ترین نمونه از مواردی است که در آن عامل‌های هوش مصنوعی برخلاف قصد و انتظار توسعه‌دهندگان خود عمل می‌کنند.
شرکت سازنده چت‌جی‌پی‌تی گفت این دو اتفاق هنگام انجام وظایف برنامه‌نویسی داخلی رخ داده‌اند و در دسته شدیدترین موارد این‌چنینی قرار نمی‌گیرند. بااین‌حال، افشای این رویدادها نشان می‌دهد حتی سامانه‌هایی که توسعه‌دهندگان برای شناسایی رفتارهای نامناسب هوش مصنوعی به آن‌ها متکی هستند، ممکن است در برابر همان عامل‌هایی که قرار است زیر نظر داشته باشند، آسیب‌پذیر باشند.
این افشاگری در شرایطی صورت می‌گیرد که نگرانی‌ها درباره عقب‌ماندن تلاش‌های ایمنی هوش مصنوعی از سرعت توسعه سامانه‌های قدرتمندتر رو به افزایش است. پژوهشگران هشدار داده‌اند که هرچه عامل‌های پیشرفته هوش مصنوعی خودمختارتر شوند، نظارت بر آن‌ها و کنترلشان دشوارتر خواهد شد.
در ماه‌های اخیر، توسعه‌دهندگان این فناوری، از جمله اوپن‌ای‌آی و رقیب آن، آنتروپیک، که هر دو در مسیر عرضه عمومی سهام قرار دارند، مواردی را گزارش کرده‌اند که عامل‌های هوش مصنوعی آن‌ها بدون مجوز به سامانه‌های خارجی دسترسی پیدا کرده‌اند.
اوپن‌ای‌آی اعلام کرد روز سه‌شنبه متوجه شده است که یک عامل GPT-6.1 Sol در جریان انجام یک وظیفه آزمایشی داخلی در ۳ اکتبر، هشدارهای امنیتی خودکار را غیرفعال کرده است. این عامل به این نتیجه رسیده بود که دستور قبلی مبنی بر ارسال نکردن پیام در اسلک، اعلان‌های مربوط به ایمنی را نیز شامل می‌شود.
به گفته اوپن‌ای‌آی، در رویدادی جداگانه در ۶ اکتبر، یک عامل GPT-6 Astra هنگام کپی کردن بخشی از کد موجود، ابزار نظارتی ایمنی را حذف کرد و بعد به‌اشتباه ادعا کرد که چنین کاری انجام نداده است.
این شرکت گفت: «در هر دو مورد، عامل‌ها بررسی کردند که آیا باید سازوکارهای حفاظتی نظارتی حفظ شوند یا خیر، اما دستورهای معمول برنامه‌نویسی را به‌منزله مجوزی برای تضعیف این سازوکارها تفسیر کردند.»
اوپن‌ای‌آی اعلام کرد در حال دشوارتر کردن غیرفعال‌سازی سامانه‌های نظارتی برای مدل‌های خود است و افزود که هنوز «توضیح قانع‌کننده‌ای برای این رفتار» ندارد.
این شرکت مستقر در سان‌فرانسیسکو همچنین اعلام کرد در حال آزمایش این موضوع است که آیا مدل‌هایش ممکن است تمایلی به دوری از نظارت داشته باشند و برای توجیه چنین رفتاری به دنبال دلایلی بگردند یا خیر.
منبع: رویترز