مدل‌های قدرتمند هوش مصنوعی OpenAI نظارت ایمنی را غیرفعال کردند و سپس درباره آن دروغ گفتند

مدل‌های Astra و Sol هنگام استفاده داخلی، دستورالعمل‌ها را نادرست تفسیر کردند؛ مسئله‌ای که پیامدهای جدی برای نظارت بر هم‌سویی هوش مصنوعی دارد.

شرکت OpenAI اواخر روز سه‌شنبه گزارشی درباره هم‌سویی منتشر کرد که نشان می‌دهد عامل‌های هوش مصنوعی این شرکت هنگام انجام وظایف معمول برنامه‌نویسی در محیط داخلی، سامانه نظارت ایمنی را از کار انداخته‌اند.

در مواردی جداگانه، این عامل‌ها هشدارهای مربوط به نظارت بر هم‌سویی را غیرفعال کردند. هم‌سویی به فرایند آموزش مدل‌ها گفته می‌شود که در آن، توسعه‌دهندگان می‌کوشند اهداف و رفتار سامانه‌های هوش مصنوعی را با ارزش‌ها و قواعد انسانی هماهنگ کنند. این فرایند همچنین به کاهش رفتارهای نامطلوب یا مسئله‌ساز، مانند فریب‌کاری و میان‌بُر زدن برای انجام وظایف، کمک می‌کند.

این یافته‌ها این پرسش را مطرح می‌کنند که آیا پژوهشگران واقعاً می‌دانند چگونه عامل‌های هوش مصنوعی را به‌طور مؤثر کنترل کنند یا خیر.

عامل‌های OpenAI چه کردند؟

در ۶ اکتبر، عاملی مبتنی بر مدل GPT-6 Astra شرکت OpenAI در حال انتقال یک برنامه بود؛ کاری که یکی از کارکنان شرکت از آن خواسته بود انجام دهد. OpenAI هنگام عرضه این مدل در ماه گذشته، آن را «هوشمندترین و هم‌سوترين مدل جهان» توصیف کرده بود. به این عامل از قبل دستور داده شده بود که تحت هیچ شرایطی، حتی به‌طور موقت، سامانه نظارتی را غیرفعال نکند. بااین‌حال، هنگام واگذاری بخشی از کار به یک عامل فرعی، دستورالعمل را با عباراتی بیان کرد که امکان تفسیرهای متفاوت را باقی می‌گذاشت.

افشاگری: شرکت Ziff Davis، مالک ZDNET، در آوریل ۲۰۲۵ شکایتی علیه OpenAI مطرح کرد و مدعی شد این شرکت هنگام آموزش و به‌کارگیری سامانه‌های هوش مصنوعی خود، حقوق نشر Ziff Davis را نقض کرده است.

OpenAI در گزارش خود توضیح داد: «عامل فرعی صراحتاً بررسی کرد که آیا حذف سامانه نظارتی می‌تواند یکی از سازوکارهای حفاظتی را دور بزند یا خیر. سپس دستور عامل اصلی مبنی بر انجام کاری که “مناسب” است را مجوز کافی برای کپی‌کردن پیکربندی پیش‌فرض زمان اجرای نسخه مرجع تلقی کرد، بی‌آنکه زمینه مربوط به سامانه نظارتی به‌صراحت مشخص شده باشد.»

در عمل، تعامل میان عامل اصلی و عامل فرعی به‌اندازه‌ای ابهام ایجاد کرد که مدل توانست دستورالعمل‌هایی را که باید کاملاً روشن و غیرقابل‌تفسیر مجدد می‌بودند، به شکل دیگری برداشت کند و نظارت بر هم‌سویی را غیرفعال سازد. پس از پایان انتقال برنامه، کارمند شرکت متوجه شد که سامانه نظارتی دیگر فعال نیست و از Astra پرسید آیا آن را حذف کرده است یا خیر. Astra در پاسخ دروغ گفت و مدعی شد چنین کاری نکرده است.

در نمونه‌ای جداگانه، در ۳ اکتبر، عاملی مبتنی بر GPT-6.1 Sol نیز هشدارهای ارسالی به تیم امنیتی OpenAI را غیرفعال کرد. به نظر می‌رسد این اتفاق هم به دلیلی مشابه و ناشی از تفسیر معنایی دستورها رخ داده باشد. OpenAI توضیح داد که مدل «دستور قبلی مبنی بر ارسال‌نکردن پیام هنگام جست‌وجو در تاریخچه Slack را دلیلی برای سرکوب اعلان‌های نظارتی تلقی کرده بود».

OpenAI در این گزارش گفت: «در هر دو مورد، عامل‌ها بررسی کردند که آیا باید سازوکارهای حفاظتی نظارت را حفظ کنند یا خیر، اما دستورالعمل‌های معمول برنامه‌نویسی را مجوزی برای تضعیف آن‌ها تفسیر کردند.»

چرا این موضوع اهمیت دارد؟

در برخی رخدادهای امنیتی اخیر، عامل‌های هوش مصنوعی مستقیماً از مرزهای امنیتی عبور کرده‌اند؛ اما نمونه‌های جدید نشان می‌دهند که این عامل‌ها ممکن است یکی از مهم‌ترین ابزارهای توسعه‌دهندگان برای رصد رفتار خودشان را نیز از کار بیندازند. اگر مدل‌ها بتوانند هنگام انجام وظایف معمول، که در آن‌ها نگرانی درباره هم‌سویی چندان برجسته نیست، هشدارها را پنهان یا غیرفعال کنند، در موقعیت‌های حساس‌تر چه اتفاقی ممکن است رخ دهد؟ نکته مهم، خود این توانایی و همچنین زمان‌بندی کشف و گزارش آن از سوی OpenAI است.

این شرکت هنوز علت دقیق رفتار عامل‌ها را نمی‌داند، اما احتمال می‌دهد که این اتفاق ناشی از نوعی «اصرار بیش‌ازحد با انگیزه‌ای ظاهراً بی‌ضرر» باشد. در این الگو، مدل‌ها برای تکمیل وظایف به هر قیمتی تلاش می‌کنند و گاهی لایه‌های امنیتی موجود را تضعیف می‌کنند، بی‌آنکه درک کنند ایمنی باید در اولویت قرار داشته باشد. چنین رفتاری در رخدادهای امنیتی اخیر نیز دیده شده و توضیح می‌دهد که چرا برخی مدل‌ها هنگام انجام وظایف تقلب می‌کنند؛ موضوعی که در بررسی رفتار مدل‌ها در انجام وظایف نیز مطرح شده است.

OpenAI توضیح داد که غیرفعال‌کردن نظارت در جریان ارزیابی مدل‌ها آسان‌تر از این کار در محیط‌های کاری Codex است. برای مثال، در Codex عامل‌ها از سامانه نظارتی جدا هستند. این شرکت همچنین گفت هنگام ارزیابی مدل‌هایی با توانایی‌هایی مشابه GPT-6 Luna، به‌دلیل قابلیت‌های محدودتر آن‌ها، نظارت بر عدم هم‌سویی را الزامی نمی‌داند. بااین‌حال، تعیین سازوکارهای ایمنی بر اساس برآورد توسعه‌دهندگان از توانایی یک مدل، رویکردی نیست که بتوان با اطمینان کامل به آن تکیه کرد.

از سوی دیگر، با توجه به استفاده گسترده از عامل‌های هوش مصنوعی برای برنامه‌نویسی، به‌ویژه در خود آزمایشگاه‌های هوش مصنوعی، این مسئله که عامل‌ها دستورهای معمول برنامه‌نویسی را مجوزی برای نادیده‌گرفتن الزامات نظارتی تلقی کرده‌اند، خطری جدی به شمار می‌رود. اگر عامل‌ها قصد خود را برای سرپیچی آشکارتر نشان می‌دادند، شاید شناسایی مشکل و اصلاح آن از طریق آموزش مجدد برای رفع ناهم‌سویی ارزشی آسان‌تر بود. اما اینکه منشأ مشکل، سوءبرداشت از دستورها بوده است، برنامه‌ریزی برای پیشگیری از تکرار آن را دشوارتر می‌کند.

جان استایدلی، رئیس دفتر شرکت Palisades Research، در گفت‌وگو با ZDNET این پرسش را مطرح کرد: «اگر GPT-6.1 حتی در پاسخ به “دستورهای معمول” تصمیم بگیرد توانایی ما برای نظارت بر آن را تضعیف کند، چگونه می‌توانیم به سازوکارهای نظارتی خود اعتماد داشته باشیم؟»

این رخدادها مواردی استثنایی و منفرد نیز نیستند.

OpenAI گفت: «چندین مورد دیده‌ایم که عامل‌ها فرایند استقرار را در حالی آغاز کرده‌اند که نظارت بر عدم هم‌سویی غیرفعال بوده است. خود عامل همچنان تحت نظارت قرار داشت، اما آن نظارت، استقراری را که عامل راه‌اندازی کرده بود پوشش نمی‌داد. این موارد شکافی را در نحوه اجرای الزامات نظارتی برای بارهای کاری راه‌اندازی‌شده توسط عامل‌ها آشکار کردند.»

بااین‌حال، پژوهشگران همچنان می‌خواهند تفاوت‌های ظریف میان آنچه واقعاً رخ داده و آنچه ممکن بود رخ دهد، با دقت بیشتری بررسی شود.

استایدلی گفت: «اگر OpenAI می‌خواهد استدلال کند که این دو رفتار تفاوت معناداری با یکدیگر دارند، باید پژوهشی منتشر کند که ثابت کند فرایند آموزش آن به‌طور قابل‌اعتماد باعث می‌شود هوش مصنوعی این رفتارها را از هم تشخیص دهد. به بیان دیگر، OpenAI باید ثابت کند که هوش مصنوعی آن هرگز نظارت بر خودش را غیرفعال نخواهد کرد؛ اما این شرکت از نظر علمی هنوز فاصله زیادی با اثبات چنین ادعایی دارد.»

OpenAI چه تغییراتی ایجاد می‌کند؟

OpenAI اعلام کرد برای برطرف‌کردن شکاف یادشده در اجرای الزامات نظارتی، سامانه Auto-Review را به‌روزرسانی کرده است. استفاده از این سامانه از قبل در Codex الزامی بوده و اکنون قرار است «تلاش‌ها برای غیرفعال‌کردن نظارت بر عدم هم‌سویی را شناسایی و مسدود کند». این شرکت همچنین در حال اطمینان‌یافتن از آن است که الزامات نظارت ایمنی در تمام سطوح بارهای کاری به‌اندازه کافی رعایت شوند.

OpenAI افزود: «بارهای کاری‌ای که توجیه ایمنی معتبر ندارند یا الزامات تعیین‌شده در توجیه ایمنی مربوط به رده خود را برآورده نمی‌کنند، به‌طور خودکار متوقف خواهند شد.»

OpenAI تأکید کرد که این رخدادها بدترین سناریوی ممکن نبوده‌اند، اما پذیرفت که این رفتارها ارزش بررسی و پیگیری دارند.

مارکوس ویلیامز، پژوهشگر ایمنی در OpenAI، در پستی در شبکه اجتماعی X گفت: «برای روشن‌شدن موضوع، این رخدادها به معنای آن نیستند که مدل‌ها نظارت بر خودشان را غیرفعال کرده‌اند؛ غیرفعال‌کردن نظارت در Codex بسیار دشوارتر خواهد بود. بااین‌حال، همین که به نظر می‌رسد مدل‌ها اساساً مستعد انجام چنین کاری هستند، باید نگران‌کننده باشد. در این موارد، امکان انکار مسئولیت تا حدی وجود دارد و تاکنون موردی نداشته‌ایم که مدل صراحتاً و به دلایل آشکارا ناشی از عدم هم‌سویی، نظارت را غیرفعال کرده باشد.»

ویلیامز افزود که OpenAI «در حال توسعه ارزیابی‌هایی است تا بررسی کند آیا مدل‌ها تمایل دارند به‌طور خاص از نظارت بر عدم هم‌سویی طفره بروند و برای این کار به استدلال جهت‌دار متوسل شوند یا خیر».