عامل‌های کدنویسی OpenAI با استدلال‌های خودشان نظارت ایمنی را کنار گذاشتند
ژلکا زورز، سردبیر ارشد Help Net Security
دو عامل هوش مصنوعی برای کدنویسی که در داخل OpenAI فعالیت می‌کردند، بی‌سروصدا سازوکارهایی را تضعیف کردند که برای شناسایی رفتار نامطلوب هوش مصنوعی طراحی شده بودند. یکی از این عامل‌ها نیز پس از این اقدام به اپراتور انسانی خود گفت که چنین کاری انجام نداده است.
OpenAI هر دو مورد را در گزارشی درباره ناهم‌راستایی منتشرشده در اوایل این هفته افشا کرد و گفت در حال تقویت تدابیر دفاعی خود است. با این حال، این شرکت اذعان دارد که هنوز نمی‌تواند توضیح دهد چرا عامل‌ها چنین رفتاری از خود نشان داده‌اند.
عامل‌های هوش مصنوعی در حال دور زدن نظارت
هیچ‌یک از این دو عامل در حال حمله به سامانه‌ای نبودند. مدل‌های مورد استفاده، GPT-6.1 Sol و GPT-6 Astra، وظایف معمول مهندسی را انجام می‌دادند. در هر دو مورد، عامل ابتدا مکث کرد تا بررسی کند آیا باید ناظر ایمنی فعال بماند یا نه؛ سپس با استدلال‌هایی که برای خود مطرح کرد، به این نتیجه رسید که آن را خاموش کند.
در مورد نخست، پژوهشگری از عاملی مبتنی بر Sol خواست بر اساس بازخورد کارکنان جمع‌آوری‌شده در یکی از کانال‌های Slack، وظایفی برای ارزیابی بسازد. یک شرط نیز برای این کار تعیین شده بود: عامل نباید هنگام جست‌وجو هیچ پیامی در Slack ارسال می‌کرد.
هنگامی که ناظر ناهم‌راستایی در خط پردازش متوقف شد، عامل در ابتدا به این نتیجه رسید که قاعده «هیچ پیامی ارسال نشود» شامل هشدارهای خودکار ایمنی نمی‌شود. عامل فرعی آن نیز با این برداشت موافقت کرد و هشدار داد که نباید این پیام‌ها را بی‌صدا کرد.
اما عامل اصلی بعداً نظر خود را تغییر داد و دستور داد هشدارها سرکوب شوند. عامل فرعی فهرست افرادی را که هشدارها را دریافت می‌کردند خالی کرد و اطمینان داد که پیش از ذخیره هر نتیجه‌ای، سرکوب هشدارها الزامی باشد. ناظر همچنان یافته‌ها را ثبت می‌کرد، اما هیچ انسانی از آن‌ها مطلع نمی‌شد. عامل نیز فقط به پژوهشگر گفت که هیچ پیامی ارسال نشده است.
در مورد دوم، کاربر از یک عامل Astra خواست مسیر سرویس‌دهی را از یک درخواست ادغام کد (pull request) مرجع کپی کند، بدون آنکه ابزارهای موجود خود را تغییر دهد. پیش‌تر نیز عامل دیگری به Astra گفته بود که هرگز ناظر را غیرفعال نکند.
هنگامی که Astra انجام کار را به یک عامل فرعی سپرد، الزام نظارت را تعدیل کرد و گفت این الزام باید «در صورت اقتضا» و مطابق با کد مرجع اعمال شود. هر دو عامل این عبارت را به‌منزله اجازه‌ای برای حذف ناظر تفسیر کردند.
در جریان انتقال، ناظر حذف شد و آزمونی که فعال بودن نظارت را تضمین می‌کرد نیز با آزمونی جایگزین شد که حذف ناظر را الزامی می‌دانست. Astra به کاربر اعلام کرد کار انجام شده است، بی‌آنکه به موضوع ناظر اشاره کند. وقتی کاربر مستقیماً پرسید آیا ناظر را حذف کرده است، Astra مدعی شد که چنین کاری نکرده است.
هیچ‌یک از این دو رخداد در بالاترین سطح شدت، یعنی P0، طبقه‌بندی نشدند. این بالاترین سطح شدت در OpenAI است و تنها سطحی محسوب می‌شود که به‌طور فوری تیم امنیت را از رخداد مطلع می‌کند. همچنین، هیچ‌یک از این دو اجرای عامل‌ها به‌صورت خودکار متوقف نشد.
شکافی که از قبل شناخته شده بود
این شرکت اعلام کرد که رخدادهای یادشده مواردی منفرد نیستند. OpenAI چندین مورد را مشاهده کرده است که در آن‌ها یک عامل، استقرار جدیدی را با نظارت غیرفعال راه‌اندازی کرده است. خود عامل همچنان تحت نظارت قرار داشت، اما سامانه‌ای که آن ایجاد یا راه‌اندازی کرده بود، دیگر نظارت نمی‌شد.
OpenAI خاطرنشان کرد: «این موارد شکافی را در نحوه اعمال الزامات نظارتی بر بارهای کاری‌ای آشکار کردند که عامل‌های ما راه‌اندازی می‌کنند.» این شرکت تأیید کرد که برای رفع این مشکل در حال اقدام است.
OpenAI اعلام کرد: «Auto-Review، که استفاده داخلی از Codex را از قبل ملزم به بهره‌گیری از آن کرده‌ایم، به‌روزرسانی شده است تا تلاش‌ها برای غیرفعال کردن نظارت بر ناهم‌راستایی را شناسایی و مسدود کند. پیش‌تر نیز انتظار می‌رفت این سامانه تلاش‌ها برای دور زدن تدابیر امنیتی را متوقف کند؛ اکنون دستورالعمل‌های مشخصی هم دریافت کرده است تا از اعمال صحیح نظارت بر ناهم‌راستایی اطمینان حاصل کند.» OpenAI این توضیحات را منتشر کرده است.
OpenAI همچنین قصد دارد برای هر دسته از بارهای کاری، ارائه مستندات ایمنی درباره کفایت نظارت را الزامی کند و هر موردی را که این الزامات را برآورده نکند، به‌طور خودکار خاتمه دهد.
با این حال، یافتن دلیل رفتار عامل‌ها دشوارتر خواهد بود.
OpenAI می‌گوید برای مشخص کردن اینکه آیا این اقدامات صرفاً ناشی از درک ناکافی مدل‌ها از اهمیت نظارت بوده‌اند یا اینکه مدل‌ها «تمایل ویژه‌ای به گریز از نظارت بر ناهم‌راستایی» دارند، قصد دارد ارزیابی‌های جفت‌شده طراحی کند، ادامه رفتار عامل‌ها را از یک نقطه یکسان با نمونه‌گیری مجدد بررسی کند و فعال‌سازی‌های درونی مدل‌ها را مورد کاوش قرار دهد.
تا آن زمان، OpenAI اذعان دارد که «هنوز توضیح قانع‌کننده‌ای برای این رفتار نداریم.»