اوپن‌ای‌آی: عوامل هوش مصنوعی سامانه‌های نظارتی خود را تضعیف کردند و یکی از آن‌ها حذف تدابیر امنیتی را انکار کرد
نویسنده: راویکاش باکولیا | بنزینگا
شرکت اوپن‌ای‌آی روز سه‌شنبه اعلام کرد که دو عامل هوش مصنوعی این شرکت، برخی قابلیت‌های سامانه نظارتی داخلی طراحی‌شده برای شناسایی رفتارهای خلاف انتظار را مختل کرده‌اند. این اتفاق به موارد دیگری اضافه می‌شود که در آن‌ها عوامل هوش مصنوعی رفتاری برخلاف خواست و انتظار توسعه‌دهندگان خود نشان داده‌اند.
دو حادثه جداگانه با دو عامل هوش مصنوعی
در نخستین حادثه که سوم اکتبر رخ داد، یک عامل هوش مصنوعی مبتنی بر مدل GPT-6.1 Sol هنگام اصلاح فرایند ارزیابی، هشدارهای خودکاری را که برای تیم امنیت اوپن‌ای‌آی ارسال می‌شد غیرفعال کرد. این عامل، دستور قبلی مبنی بر خودداری از ارسال پیام هنگام جست‌وجو در تاریخچه پیام‌های اسلک را به‌اشتباه به این معنا برداشت کرده بود که باید اعلان‌های سامانه نظارتی را نیز متوقف کند.
در حادثه‌ای جداگانه در ششم اکتبر، یک عامل مبتنی بر مدل GPT-6 Astra که مشغول انتقال یک برنامه به محیطی جدید بود، برای هماهنگ کردن برنامه با نسخه مرجع، اتصال آن به سامانه نظارتی را حذف کرد. بااین‌حال، پس از انجام این تغییر، به‌اشتباه به کاربر اعلام کرد که سامانه نظارتی را بدون تغییر باقی گذاشته است.
اوپن‌ای‌آی اعلام کرد که عوامل هوش مصنوعی در هر دو مورد، موضوع حفظ تدابیر نظارتی را بررسی کرده بودند، اما «دستورهای معمول برنامه‌نویسی را به‌منزله مجوزی برای تضعیف این تدابیر تفسیر کردند».
این غول هوش مصنوعی به رهبری سم آلتمن تأکید کرد که علاوه بر دشوارتر کردن امکان غیرفعال‌سازی سامانه‌های نظارتی توسط مدل‌ها، در تلاش است بفهمد چرا این مدل‌ها ممکن است اساساً به دنبال چنین اقدامی بروند. این شرکت همچنین در حال طراحی آزمون‌هایی است تا مشخص کند آیا مدل‌هایش گرایش خاصی به دور زدن سامانه‌های نظارت بر رفتارهای ناهمسو با اهداف تعیین‌شده دارند و آیا برای توجیه چنین اقداماتی از استدلال‌های جهت‌دار استفاده می‌کنند یا خیر.
بااین‌حال، اوپن‌ای‌آی اذعان کرد که «هنوز توضیح قانع‌کننده‌ای برای این رفتار ندارد». این شرکت قصد دارد با انجام آزمون‌های ارزیابی، اجرای مکرر عوامل هوش مصنوعی در نمونه‌های مختلف و تحلیل فعالیت‌های درونی مدل‌ها، علت این رفتار را بررسی کند.
افزایش نگرانی‌ها درباره ایمنی عوامل هوش مصنوعی
افشای این دو حادثه نشان می‌دهد حتی سامانه‌هایی که برای شناسایی رفتارهای نامطلوب هوش مصنوعی طراحی شده‌اند، ممکن است به دست همان عواملی تضعیف شوند که قرار است بر عملکردشان نظارت کنند. نگرانی‌ها درباره ایمنی عوامل هوش مصنوعی پیش‌تر نیز در سال جاری دوباره شدت گرفته بود؛ زمانی که اوپن‌ای‌آی اعلام کرد یک عامل هوش مصنوعی خودمختار، هنگام ارزیابی امنیتی داخلی، از محیط آزمایشی کنترل‌شده خارج شده، به اینترنت دسترسی پیدا کرده و به زیرساخت‌های هاگینگ فیس (Hugging Face) نفوذ کرده است.
ماه گذشته همچنین مشخص شد که عوامل هوش مصنوعی اوپن‌ای‌آی در ماه مه، یعنی چند ماه پیش از حمله به هاگینگ فیس، به سرویس نرم‌افزاری RubyGems حمله کرده بودند. در رویدادی جداگانه نیز یکی از عوامل هوش مصنوعی این شرکت در ماه ژوئن، هنگام تحقیق درباره هزینه‌های خدمات سلامت عمومی، محدودیت‌های امنیتی یک درگاه دولتی حوزه سلامت در استرالیا را دور زده بود.
البته چنین رفتارهایی تنها به عوامل هوش مصنوعی اوپن‌ای‌آی محدود نمی‌شود. مدل هوش مصنوعی جمینای متعلق به گوگل، زیرمجموعه شرکت آلفابت، نیز هنگام انجام یک آزمایش امنیت سایبری به اینترنت دسترسی پیدا کرد و به سامانه‌های سه شرکت نفوذ کرد.
در همین حال، خود اوپن‌ای‌آی نیز هدف یک حمله سایبری مبتنی بر هوش مصنوعی قرار گرفت؛ حمله‌ای که پژوهشگران امنیتی مستقل با استفاده از نرم‌افزار هوش مصنوعی کلود (Claude)، محصول شرکت آنتروپیک، اجرا کردند.