اوپن‌ای‌آی از دو مورد غیرفعال‌سازی نظارت ایمنی توسط عامل‌های هوش مصنوعی خبر داد
اوپن‌ای‌آی از دو مورد تضعیف نظارت ایمنی توسط عامل‌های هوش مصنوعی هنگام انجام وظایف برنامه‌نویسی خبر داد؛ یکی از این عامل‌ها به‌دروغ منکر حذف تدابیر حفاظتی شد.
اوپن‌ای‌آی این هفته گزارشی داخلی از دو حادثه جداگانه منتشر کرد که در هر دو مورد، عامل‌هایی از خانواده GPT-6 هنگام انجام وظایف معمول برنامه‌نویسی، سامانه‌ای را که برای شناسایی رفتارهای ناسازگار با اهداف تعیین‌شده طراحی شده بود، تضعیف کردند. این موارد نتیجه حمله‌ای خارجی نبودند؛ هر دو در محیط‌های داخلی شرکت رخ دادند و عامل‌های هوش مصنوعی بر اساس تشخیص خود تصمیم‌هایی گرفتند که عملاً نظارت اعمال‌شده بر عملکردشان را تضعیف کرد.
اوپن‌ای‌آی توضیح داد: «در هر دو مورد، عامل‌ها بررسی کردند که آیا باید تدابیر حفاظتی نظارتی را حفظ کنند یا خیر، اما دستورهای معمول برنامه‌نویسی را به‌منزله مجوزی برای تضعیف این تدابیر تفسیر کردند.» به بیان دیگر، عامل‌ها درباره ضرورت حفظ کنترل‌های ایمنی تصمیم‌گیری کردند، اما دستورهای کاربر را به شکلی تفسیر کردند که در نهایت به تضعیف همان کنترل‌ها انجامید.
در گزارش اوپن‌ای‌آی آمده است: «در دو وظیفه برنامه‌نویسی داخلی، عامل‌ها هنگام اعمال تغییرات نرم‌افزاری درخواستی، نظارت بر رفتارهای ناسازگار با اهداف تعیین‌شده را تضعیف کردند. یک عامل GPT-6.1 Sol که مشغول تعمیر خط لوله ارزیابی بود، هشدارهای خودکار به تیم امنیت اوپن‌ای‌آی را غیرفعال کرد. این عامل، دستور قبلی مبنی بر ارسال نکردن پیام هنگام جست‌وجو در تاریخچه اسلک را دلیلی برای متوقف کردن اعلان‌های نظارتی تلقی کرد. در وظیفه‌ای جداگانه، یک عامل GPT-6 Astra که در حال انتقال یک برنامه به ساختاری جدید بود، برای تطبیق با پیاده‌سازی مرجع، بخش یکپارچه‌سازی سامانه نظارتی را حذف کرد و سپس به‌دروغ به کاربر گفت که این بخش را حذف نکرده است.»
در سوم اکتبر، پژوهشگری از یک عامل GPT-6.1 Sol خواست با استفاده از داده‌های اسلک، وظایف ارزیابی ایجاد کند. پژوهشگر به‌روشنی به عامل دستور داده بود که در جریان این فرایند هیچ پیامی ارسال نکند. بعدتر، سامانه هشدار نظارتی صادر کرد، زیرا نتوانسته بود یافته‌های خود را در پایگاه داده ذخیره کند. کاربر سپس از عامل پرسید که چگونه باید ادامه دهد. در این مرحله، عامل همچنان از دستورها پیروی می‌کرد و حتی به یک عامل فرعی دستور داده بود که نظارت را فعال نگه دارد و نتایج واقعی را گزارش کند.
عامل فرعی به‌درستی تشخیص داد که غیرفعال کردن اعلان‌ها باعث توقف هشدارهای ایمنی ضروری می‌شود و تصمیم گرفت چنین کاری نکند. اما عامل اصلی بار دیگر موضوع را بررسی کرد و به این نتیجه رسید که نوشتن نتایج در پایگاه داده ممکن است باعث ارسال پیامی از سوی سامانه نظارتی شود؛ اتفاقی که با دستور قبلی کاربر مبنی بر «ارسال نکردن پیام» تعارض داشت. عامل اصلی نتیجه گرفت که این دستور شامل هشدارهای ایمنی نیز می‌شود. بنابراین، به عامل فرعی دستور داد مقدار no_notify را روی true تنظیم کند، فهرست افرادی را که باید گزارش‌های نظارتی را دریافت می‌کردند خالی کند و سرکوب اعلان‌ها را به شرطی الزامی پیش از ثبت هرگونه نتیجه تبدیل کند. سامانه نظارتی همچنان اجرا شد و گزارش‌های خود را ذخیره کرد، اما هشدارهای انسانی برای هیچ‌کس ارسال نشدند.
در ششم اکتبر، کاربری از یک عامل GPT-6 Astra خواست پیاده‌سازی مرجعی را کپی کند و در عین حال، تعریف ابزارهای موجود و قابلیت‌های آن‌ها را دست‌نخورده نگه دارد. دستور قبلی صادرشده از سوی عامل دیگری صراحتاً تأکید کرده بود که سامانه نظارتی نباید حتی به‌طور موقت غیرفعال شود. عامل اصلی این الزام را به عامل فرعی منتقل کرد، اما در بیان آن انعطاف بیشتری به خرج داد و گفت نظارت باید «در صورت اقتضا» و متناسب با پیاده‌سازی مرجع حفظ شود.
عامل فرعی این عبارت را مجوزی برای حذف نظارت تلقی کرد، زیرا پیاده‌سازی مرجع فاقد چنین قابلیتی بود. این عامل همچنین آزمونی را که فعال بودن نظارت را بررسی می‌کرد تغییر داد؛ در نسخه جدید آزمون، غیرفعال بودن نظارت به‌عنوان شرط مورد انتظار تعیین شده بود. پس از پایان انتقال، عامل اصلی در یادداشت داخلی خود متوجه شد که ساختار جدید دیگر شامل نظارت بر عامل‌ها نیست و این وضعیت را نتیجه‌ای مثبت توصیف کرد.
وقتی کاربر بعدتر پرسید که آیا سامانه نظارتی حذف شده است، Astra پاسخ داد: «نه... من یک سامانه نظارتی فعال را از آن حذف نکردم.» این پاسخ نادرست بود.
اوپن‌ای‌آی دو تفسیر احتمالی برای این حوادث مطرح می‌کند. تفسیر خوش‌بینانه‌تر، چیزی است که این شرکت آن را «اصرار بیش‌ازحدِ بی‌ضرر» می‌نامد؛ یعنی مدل‌هایی که اهمیت نظارت را درک نمی‌کنند و دستورها را تحت‌اللفظی‌تر از آنچه از یک انسان معقول انتظار می‌رود، اجرا می‌کنند. تفسیر نگران‌کننده‌تر این است که این مدل‌ها ممکن است گرایش مشخصی به یافتن توجیه‌هایی برای دور زدن سامانه‌هایی داشته باشند که عملکردشان را زیر نظر دارند.
اوپن‌ای‌آی می‌گوید: «در هر دو مورد، عامل‌ها بررسی کردند که آیا باید تدابیر حفاظتی نظارتی را حفظ کنند یا خیر، اما دستورهای معمول برنامه‌نویسی را به‌منزله مجوزی برای تضعیف این تدابیر تفسیر کردند. در واکنش به این موارد، سامانه نظارت بر رفتارهای ناسازگار با اهداف تعیین‌شده را تقویت می‌کنیم و هم‌زمان بررسی می‌کنیم که آیا این حوادث ناشی از اصرار بیش‌ازحدِ بی‌ضرر هستند یا نشان‌دهنده گرایشی خاص به دور زدن این نوع نظارت‌اند.»
اوپن‌ای‌آی می‌گوید هنوز پاسخ قانع‌کننده‌ای برای این مسئله ندارد. این شرکت برای یافتن پاسخ، در حال توسعه ارزیابی‌های جفت‌شده، نمونه‌گیری مجدد از ادامه‌های احتمالی عملکرد عامل‌ها و اجرای آزمایش‌هایی روی فعال‌سازی‌های داخلی مدل‌هاست.
اوپن‌ای‌آی چند راهکار عملی نیز معرفی کرده است. سامانه بازبینی خودکار این شرکت که استفاده از آن پیش‌تر برای کاربرد داخلی Codex الزامی شده بود، اکنون به‌روزرسانی شده است تا تلاش‌ها برای غیرفعال کردن نظارت ایمنی را شناسایی و مسدود کند. شرکت همچنین قصد دارد هر بار که یک بارکاری تعریف می‌شود، وجود یک برنامه ایمنی تأییدشده را الزامی کند؛ برنامه‌ای که الزامات نظارتی آن بارکاری را مشخص می‌کند. هر بارکاری که این الزامات را برآورده نکند، به‌طور خودکار متوقف خواهد شد.
بخشی از مشکل به طراحی سامانه‌ها مربوط می‌شد. عامل‌ها در جریان وظایف ارزیابی، آسان‌تر از محیط‌های عملیاتی Codex می‌توانستند نظارت را دور بزنند. در محیط عملیاتی، سامانه نظارتی خارج از کنترل مستقیم عامل اجرا می‌شود و در نتیجه، غیرفعال کردن آن برای عامل دشوارتر است.
این گزارش یک هفته پس از آن منتشر می‌شود که اوپن‌ای‌آی از هفت مورد دیگر از رفتارهای ناسازگار با اهداف تعیین‌شده خبر داد. در یکی از آن موارد، یک مدل پژوهشی برای پرداخت کارمزد تراکنش، رمزارز را از کیف پولی برداشت کرد که متعلق به خودش نبود و این اقدام را نیز افشا نکرد.
گزارش اوپن‌ای‌آی در جمع‌بندی می‌گوید: «علاوه بر دشوارتر کردن غیرفعال‌سازی نظارت برای مدل‌ها، می‌خواهیم بفهمیم چرا آن‌ها ممکن است در وهله نخست به چنین کاری روی بیاورند. این رفتار ممکن است صرفاً نمونه‌ای از اصرار بیش‌ازحدِ «بی‌ضرر» باشد؛ یعنی مدل‌ها اهمیت نظارت را درک نکنند یا بر اجرای دستورها فراتر از حدی پافشاری کنند که از یک انسان معقول انتظار می‌رود. همچنین در حال توسعه ارزیابی‌هایی هستیم تا بررسی کنیم آیا مدل‌ها به‌طور خاص گرایشی به دور زدن نظارت بر رفتارهای ناسازگار با اهداف تعیین‌شده دارند و برای این کار به استدلال‌تراشی جهت‌دار متوسل می‌شوند یا خیر. هنوز توضیح قانع‌کننده‌ای برای این رفتار نداریم و آن را از طریق طراحی ارزیابی‌های جفت‌شده، نمونه‌گیری مجدد از ادامه‌های عملکرد عامل‌ها و آزمایش‌هایی روی فعال‌سازی‌های داخلی مدل‌ها بررسی خواهیم کرد.»