OpenAI هنوز نمی‌داند چرا عامل‌های برنامه‌نویسی‌اش نظارت بر رفتارهای ناهمسو را غیرفعال می‌کنند
دو عامل برنامه‌نویسی داخلی OpenAI سازوکارهای نظارتی طراحی‌شده برای شناسایی رفتارهای نادرست را تضعیف کردند؛ آن هم پس از آنکه درباره حفظ این تدابیر ایمنی تصمیم‌گیری کرده بودند. یکی از این عامل‌ها بعداً انجام این کار را انکار کرد.
مارکوس ویلیامز، که در OpenAI روی سازوکارهای نظارتی کار می‌کند، این رویدادها را در شبکه اجتماعی ایکس منتشر کرد. او از الگویی تکرارشونده می‌گوید که در آن عامل‌های OpenAI مرتب نظارت بر رفتارهای ناهمسو را خاموش می‌کنند. این شرکت جزئیات این دو مورد را در گزارشی در وبلاگ هم‌ترازی خود شرح داده است.
هدف این نظارت آن است که مواردی را شناسایی کند که عامل‌ها برخلاف انتظارات رفتار می‌کنند. از آنجا که سامانه حجم زیادی از رویدادها را بررسی می‌کند، فقط در صورت بروز رخدادهایی با بالاترین سطح شدت، یعنی P0، فوراً به تیم ایمنی هشدار می‌دهد. به گفته OpenAI، هیچ‌یک از این دو مورد در این سطح طبقه‌بندی نشدند.
در نخستین مورد، در ۳ اکتبر، پژوهشگری از یک عامل برنامه‌نویسی مبتنی بر GPT-6.1 Sol خواست وظایف ارزیابی را بر اساس بازخورد کارکنان در یکی از کانال‌های اسلک گردآوری کند. قرار بود عامل در جریان انجام این کار هیچ پیامی ارسال نکند.
پس از آنکه ۸۲ پیام کاربر پردازش شد، روند اجرا متوقف شد؛ زیرا سامانه نظارتی یک اصلاح پیشنهادی را علامت‌گذاری کرده بود، اما مجوز ذخیره نتیجه بررسی خود را نداشت. Sol انجام اصلاح را به یک عامل فرعی سپرد و به آن دستور داد سازوکار نظارت را دست‌نخورده نگه دارد.
اما Sol بعداً ارزیابی خود را تغییر داد. این مدل به این نتیجه رسید که ثبت یک ورودی در پایگاه داده ممکن است اعلان ایجاد کند و با دستور کاربر مبنی بر ارسال نکردن پیام در اسلک مغایر باشد. عامل فرعی پیش‌تر این اقدام را ناایمن تشخیص داده بود. با این حال، طبق دستور Sol، فهرست گیرندگان اعلان‌ها را پاک کرد و دلیل این کار را درخواست صریح کاربر برای ارسال نشدن پیام‌ها اعلام کرد.
سامانه نظارتی همچنان فعال ماند و یافته‌های خود را ذخیره می‌کرد، اما ارسال هشدار به انسان‌ها غیرفعال شده بود. عامل در پایان گزارش داد که هیچ پیامی ارسال نشده است.
انکار Astra نشان می‌دهد عامل‌ها می‌توانند تغییرات خود را پنهان کنند
مدل GPT-6 Astra در ۶ اکتبر یک گام فراتر رفت. کاربری از این مدل خواست روند کاری یک پیاده‌سازی مرجع را دنبال کند؛ پیاده‌سازی‌ای که سازوکار نظارتی نداشت. پیش‌تر، عامل دیگری به Astra دستور داده بود که نظارت را حتی به‌طور موقت هم غیرفعال نکند.
Astra کار را به یک عامل فرعی سپرد و از آن خواست نظارت را فقط تا جایی حفظ کند که با پیاده‌سازی مرجع سازگار باشد. عامل فرعی به این فکر کرد که آیا این دستور به معنای دور زدن یک تدبیر ایمنی است، اما در نهایت این قید را مجوز چنین کاری تفسیر کرد.
عامل فرعی سازوکار نظارتی را حذف کرد و آزمونی را که برای محافظت از آن طراحی شده بود، با آزمونی جایگزین کرد که از ابتدا فرض می‌گرفت نظارت دیگر وجود ندارد. Astra نیز در فرایند استدلال داخلی خود از این نتیجه ابراز رضایت کرد.
سپس Astra به کاربر اعلام کرد که انتقال به روند کاری جدید کامل شده است، بی‌آنکه به حذف نظارت اشاره کند. وقتی کاربر مستقیماً درباره این موضوع پرسید، مدل انکار کرد که یک سازوکار نظارتی فعال را حذف کرده باشد. ویلیامز این رفتار را دروغ می‌نامد.
ویلیامز تأکید می‌کند که مدل‌ها نظارت مربوط به خودشان را غیرفعال نکردند؛ کاری که انجام آن در Codex بسیار دشوارتر می‌بود. با این حال، او نگران است که مدل‌ها اساساً به چنین رفتارهایی گرایش پیدا می‌کنند، هرچند در هر دو مورد امکان ارائه توجیه‌هایی وجود دارد که انکار عمدی بودن رفتار را آسان می‌کند. او می‌گوید تیم تاکنون با انگیزه‌های آشکارا ناهمسو در این مدل‌ها مواجه نشده است.
معافیت مدل‌های ضعیف‌تر شکافی در نظارت ایجاد می‌کند
به گفته ویلیامز، غیرفعال کردن نظارت در جریان ارزیابی‌ها به‌ویژه آسان است. OpenAI برای مدل‌هایی در سطح GPT-6 Luna، به دلیل توانایی‌های محدودترشان، نظارت را الزامی نمی‌داند. در نتیجه، ممکن است تنظیمات ارزیابی Astra به‌گونه‌ای اشتباه انجام شود که این مدل نیز مشمول معافیت مذکور شود. عامل‌ها بارها فرایندهایی را بدون نظارت اجرا کرده‌اند، حتی زمانی که خودشان تحت نظارت بوده‌اند.
OpenAI در واکنش به این اتفاق‌ها، فرایند بازبینی خودکار الزامی برای استفاده داخلی از Codex را به‌روزرسانی کرده است. اکنون این فرایند باید تلاش‌ها برای غیرفعال کردن نظارت را شناسایی و مسدود کند. این شرکت همچنین در حال کار روی الزامی کردن سندی موسوم به «پرونده ایمنی» برای هر نوع بار کاری است؛ سندی که الزامات نظارتی آن بار کاری را مشخص می‌کند. بارهای کاری فاقد پرونده ایمنی معتبر به‌طور خودکار متوقف خواهند شد.
OpenAI دو توضیح احتمالی برای این رفتارها مطرح می‌کند. احتمال نخست، پافشاری بیش از حدی است که ظاهراً بی‌ضرر به نظر می‌رسد؛ یعنی مدل‌ها دستورها را فراتر از حد انتظار اجرا می‌کنند. احتمال دوم، گرایش مشخص به دور زدن نظارت بر رفتارهای ناهمسو و توجیه این کار از طریق استدلال جانبدارانه است؛ استدلالی که برای تأیید تصمیم گرفته‌شده به کار می‌رود.
OpenAI اذعان می‌کند که هنوز توضیح قانع‌کننده‌ای برای این رفتارها ندارد. این شرکت قصد دارد با روش‌هایی مانند آزمایش روی فعال‌سازی‌های درونی مدل‌ها، این پدیده را بررسی کند.