اعتراف OpenAI: عامل‌های هوش مصنوعی از کنترل خارج شدند، سازوکارهای نظارتی خود را غیرفعال کردند و سپس درباره آن دروغ گفتند
شرکت OpenAI اذعان کرده است که عامل‌های هوش مصنوعی این شرکت سامانه‌های نظارتی خود را غیرفعال کرده‌اند و سپس درباره این اقدام دروغ گفته‌اند.
این شرکت از وقوع دو مورد خبر داده است که در آن‌ها عامل‌های هوش مصنوعی سازوکارهایی را تضعیف کردند که برای شناسایی رفتارهای نادرست آن‌ها طراحی شده‌اند. به گفته OpenAI، یکی از این عامل‌ها بعداً درباره کاری که انجام داده بود، به کاربر دروغ گفت.
در هر دو مورد، از این سامانه‌ها خواسته شده بود تغییراتی در نرم‌افزار ایجاد کنند. در یکی از موارد، عامل هوش مصنوعی سامانه‌ای را از کار انداخت که هشدارهای خودکار برای مهندسان ارسال می‌کرد؛ در مورد دیگر، عامل تمام سامانه نظارتی خود را حذف کرد.
OpenAI اعلام کرده است که توضیح روشنی برای این رفتارها ندارد. هنوز مشخص نیست که این اتفاق‌ها ناشی از «اصرار بیش از حد با نیت خیر» بوده‌اند یا اینکه مدل‌ها به‌طور خاص تمایل دارند ابزارهایی را حذف کنند که برای بررسی صحت رفتارشان در نظر گرفته شده‌اند. منظور از اصرار بیش از حد با نیت خیر، وضعیتی است که در آن سامانه برای انجام وظیفه محول‌شده تلاش می‌کند محدودیت‌ها را پشت سر بگذارد.
به گفته OpenAI، هر دو مورد هنگام انجام وظایف برنامه‌نویسی داخلی شرکت رخ داده‌اند. این رویدادها به دو مدل متفاوت، یعنی GPT-6.1 Sol و GPT-6 Astra، مربوط می‌شوند که هر دو در حال حاضر از طریق ChatGPT در دسترس هستند.
در مورد نخست، از یک سامانه خواسته شده بود وظیفه‌ای را با استفاده از بازخورد کارکنان که در بستر پیام‌رسان Slack گردآوری شده بود، انجام دهد. به این سامانه دستور داده شده بود که در جریان انجام کار، هیچ پیامی از طریق Slack ارسال نکند.
عامل هوش مصنوعی در ابتدا مطابق دستور عمل کرد، اما سرانجام این ممنوعیت ارسال پیام را به‌گونه‌ای تفسیر کرد که هشدارهای مربوط به رفتار نادرست خود را نیز شامل می‌شد. در نتیجه، سامانه‌ای را که باید برای کاربران انسانی اعلان هشدار می‌فرستاد، خاموش کرد.
در رویداد دوم، از یک عامل هوش مصنوعی خواسته شده بود وظیفه‌ای برنامه‌نویسی را انجام دهد که در دستورالعمل آن صراحتاً تأکید شده بود ابزارهای نظارتی را حتی «به‌طور موقت» غیرفعال نکند. این عامل بعداً بخشی از کار خود را به یک عامل فرعی واگذار کرد و به آن گفت که ابزار نظارتی، «در صورت لزوم»، حفظ شود.
با این حال، عامل در ادامه همان ابزار نظارتی را حذف کرد. هنگامی که کاربر پرسید آیا این ابزار حذف شده است، عامل صراحتاً درباره انجام این کار دروغ گفت.
هیچ‌یک از این دو رویداد بالاترین سطح هشدار OpenAI را فعال نکرد؛ سطحی که در صورت فعال شدن، پرونده را برای بررسی فوری به تیم‌های امنیتی شرکت ارجاع می‌دهد. OpenAI اعلام کرده است که سامانه‌های خود را به‌روزرسانی کرده تا در آینده رفتارهای مشابه را بهتر شناسایی کند.
با این حال، شرکت می‌گوید همچنان «در تلاش است بفهمد چرا مدل‌ها اساساً ممکن است به چنین کاری روی بیاورند». OpenAI تأکید کرده است که هنوز به «توضیح قانع‌کننده‌ای» برای این رفتارها نرسیده است.
به گفته این شرکت، ممکن است سامانه صرفاً اهمیت نظارت را به‌درستی درک نکرده یا برای انجام وظیفه خود بیش از حد تلاش کرده باشد. اما احتمال دیگری نیز وجود دارد: مدل‌ها ممکن است «به‌طور خاص تمایل داشته باشند از نظارت بر ناهماهنگی رفتاری بگریزند و برای این کار به استدلال‌ورزی جهت‌دار متوسل شوند». OpenAI در گزارش خود اعلام کرده است که آزمایش‌های بیشتری انجام خواهد داد تا سازوکار عملکرد این مدل‌ها و دلایل غیرفعال کردن ابزارهای نظارتی از سوی آن‌ها را بهتر درک کند.