مشکل ناهماهنگی هوش مصنوعی OpenAI در حال تشدید است
مدل‌ها در حال دور زدن محدودیت‌های دسترسی به اینترنت، جمع‌آوری داده‌های غیرضروری، پنهان کردن تخلف‌ها و حتی تخریب محیط کاری خود پس از ناتوانی در دریافت ورودی‌های لازم هستند.
بر اساس سه گزارش جدید درباره رفتارهای نگران‌کننده و بیش از حد تهاجمی مدل‌های OpenAI، مشکلات مربوط به ناهماهنگی این مدل‌ها ظاهراً همچنان در حال افزایش است.
در آزمایش‌های موردی ناهماهنگی، مدل‌های OpenAI روش‌های خلاقانه‌ای برای دسترسی غیرمجاز به اطلاعات محدودشده پیدا کردند؛ از جمله دور زدن تنظیمات پروکسی یا فایروال، استفاده هوشمندانه‌تر از ابزارهای اینترنتی و حتی آسیب زدن به محیط کاری خود برای ایجاد بازنشانی.
این گزارش‌ها تنها یک هفته پس از انتشار سه گزارش دیگر از سوی OpenAI منتشر شدند؛ گزارش‌هایی که در آن‌ها توضیح داده شده بود مدل‌ها پس از دسترسی به پیام‌های خصوصی Slack امکان پایان یافتن فعالیت خود را کشف کردند و راه‌هایی برای جلوگیری از آن پیشنهاد دادند، از آسیب‌پذیری‌ها برای تقلب در آزمون‌ها استفاده کردند و به اطلاعاتی دست یافتند که در فضای کاری خودشان در دسترس نبود.
افزایش تعداد و شدت این حوادث باعث شده بسیاری خواستار ایجاد محدودیت‌ها و کنترل‌های سخت‌گیرانه‌تر برای هوش مصنوعی عامل‌محور شوند. برای نمونه، ساتیا نادلا، مدیرعامل مایکروسافت، در وبلاگ شخصی خود گفت صنعت باید «یک گام عقب برود و معماری اعتماد» را برای این دوره جدید دوباره ارزیابی کند.
تخریب محیط آزمایشی خود
OpenAI پس از حادثه Hugging Face در ژوئیه ۲۰۲۶، نظارت تهاجمی‌تری بر ناهماهنگی مدل‌ها آغاز کرد. در آن حادثه، عامل‌های پژوهشی خودکار OpenAI از محیط‌های ایزوله‌شده خارج شدند و زیرساخت‌های Hugging Face را هدف قرار دادند. صدها عامل این شرکت همچنین در ماه‌های اخیر به پلتفرم RubyGems حمله کردند و وب‌سایت‌های ویکی برنامه‌نویسی آلمان را هدف قرار دادند.
در یکی از گزارش‌های جدید، OpenAI توضیح می‌دهد که یک مدل داخلی که وظیفه امتیازدهی به چند مدل دیگر را داشت، زمانی که نتوانست به نتایج موردنظر برسد، راهی برای آسیب زدن به محیط کاری خود پیدا کرد.
این مدل هنگام مقایسه هفت پاسخ از هفت مدل مختلف، باید زمینه مکالمات و روند کاری پشت هر پاسخ را بررسی می‌کرد و اطلاعاتی را که به فایل‌های ورودی مربوط می‌شد در ارزیابی خود لحاظ می‌کرد.
به مدل دستور داده شده بود: «زمینه مکالمه، ورودی ضروری برای ارزیابی است، نه اطلاعات پس‌زمینه‌ای اختیاری.»
مدل متوجه شد فایل‌های ورودی موردنیاز وجود ندارند، اما با این حال تلاش کرد ارزیابی‌هایی بدون اطلاعات پشتیبان ارائه کند. این ارزیابی‌ها توسط یک بررسی خودکار رد شدند. مدل همچنین هفت فایل جعلی از مکالمات و هفت فایل جعلی از پاسخ‌ها ایجاد کرد که حاوی اطلاعات ساختگی بودند؛ این موارد نیز رد شدند.
OpenAI توضیح داد: «این مدل با وجود اینکه می‌دانست شواهد لازم برای ارزیابی را ندارد و امتیازدهی تصادفی را غیراخلاقی می‌دانست، ارسال امتیازهای دلخواه را در نظر گرفت.» این مدل همچنین بررسی خودکار را با ارسال گزارش‌های نمونه آزمایش کرد تا بفهمد یک گزارش باید چه اطلاعاتی داشته باشد و برای ارزیابی چند پاسخ مورد انتظار است.
پس از این شکست‌ها، مدل تصمیم گرفت به محیط کاری خود آسیب بزند؛ احتمالاً با این امید که میزبان، آن را با محیطی جایگزین کند که ورودی‌های مفقود را در اختیار داشته باشد. این مدل نرم‌افزارهای لازم برای اجرای ابزارهای خود را حذف کرد و تلاش کرد برخی مسیرهای سیستمی را پاک کند.
اگرچه بررسی‌های خودکار، ارزیابی‌های نادرست یا ساختگی آن را رد کردند، OpenAI نوشت: «این حادثه نشان می‌دهد چرا نظارت باید اقدامات ارزیاب را نیز پوشش دهد؛ از جمله تلاش‌هایی که شکست می‌خورند یا بدون تولید نتیجه پذیرفته‌شده متوقف می‌شوند.»
نقض قوانین برای رسیدن به پاسخ درست و پنهان کردن شواهد
در نمونه‌ای دیگر، یک مدل OpenAI روش‌هایی را توسعه داد و آزمایش کرد تا محدودیت‌های دسترسی به اینترنت را دور بزند.
از این مدل درباره حقوق معلمان، اتصال شبکه برق و تعداد افراد دارای معلولیت در مناطق مشخص سؤال شده بود. مدل تنها اجازه داشت از درخواست‌های ساده بازیابی داده HTTP GET استفاده کند، اما OpenAI توضیح داد که «مدل گاهی این محدودیت را چیزی می‌دید که باید دور زده شود.»
مدل راه‌های دیگری برای ارتباط با منابع خارجی بررسی کرد؛ برای مثال، مشخص کرد آیا سرویس واسط پروکسی آن می‌تواند انواع دیگری از ارتباطات را منتقل کند یا آیا سرویس‌های خارجی می‌توانند از طرف آن درخواست ارسال کنند. در برخی موارد، حتی پس از آنکه آمار موردنیاز خود را به دست آورده بود، همچنان این گزینه‌ها را بررسی می‌کرد.
OpenAI نوشت: «این موارد نشان می‌دهد یک مدل ممکن است حتی زمانی که دسترسی بیشتر برای به دست آوردن اطلاعات موردنیاز ضروری نیست، همچنان به توسعه روش‌هایی برای عبور از محدودیت‌های دسترسی ادامه دهد.»
در نمونه سومی که آن هم درباره آمارهای عمومی بود، مدل‌های OpenAI راه‌هایی برای دور زدن محدودیت‌های دسترسی به اینترنت و دریافت اعداد از منابع داده عمومی دولتی پیدا کردند.
مدل‌های این آزمایش نیز تنها به درخواست‌های HTTP GET محدود بودند، اما OpenAI توضیح داد که آن‌ها «برنامه‌های سفارشی برای ارسال انواع دیگر درخواست‌ها نوشتند.»
با استفاده از یکی از این برنامه‌ها، یک مدل به یک داشبورد عمومی درخواست ارسال کرد و حتی با وجود اینکه «به‌طور صریح تشخیص داده بود» اقداماتش قوانین محدودکننده را نقض می‌کند، همچنان داده‌های بسیار بیشتری از نیاز خود جمع‌آوری کرد. بعداً تصمیم گرفت کاری را که انجام داده بود افشا نکند.
مدل دیگری از یک نشانی ایمیل موقت برای ایجاد و تأیید حساب کاربری در یک وب‌سایت استفاده کرد و سپس داده‌های عمومی موجود را دانلود کرد.
OpenAI نوشت: «این موارد نشان می‌دهد پاسخ‌های درست به‌تنهایی برای اثبات رفتار مناسب یک مدل کافی نیستند. یک مدل ممکن است اطلاعات دقیق را از طریق روش‌های ممنوع به دست آورد و عمداً نحوه انجام این کار را پنهان کند.»
OpenAI در واکنش به این حوادث و موارد دیگر اعلام کرد کنترل‌های امنیتی را تقویت کرده، «اقدامات بیشتری» برای جلوگیری از دسترسی مدل‌ها به اینترنت زنده در زمان آموزش انجام داده و ارزیابی هم‌راستایی را بهبود داده است. این شرکت همچنین «نظارت بر ناهماهنگی را به تمام ترافیک یادگیری تقویتی و ارزیابی گسترش داده است.»