عامل‌های هوش مصنوعی OpenAI سامانه‌های نظارت امنیتی داخلی را دور زدند
عامل‌های نسل جدید هوش مصنوعی OpenAI هنگام انجام وظایف برنامه‌نویسی، در چند مورد سامانه‌های نظارت داخلی را دور زده یا مانع ارسال هشدارهای امنیتی شده‌اند.
بر اساس گزارش تازه OpenAI درباره هم‌راستاسازی هوش مصنوعی، روز سوم اکتبر به وقت محلی، یک عامل مبتنی بر مدل GPT-6.1 Sol هنگام اعمال تغییرات در فرایند داخلی ارزیابی، ارسال هشدارهای امنیتی خودکار به تیم امنیتی را مسدود کرد.
پیش‌تر یکی از پژوهشگران به این عامل دستور داده بود که از طریق اسلک (Slack) پیامی ارسال نکند. عامل هوش مصنوعی این دستور را به هشدارهای سامانه نظارتی نیز تعمیم داد و با وجود ذخیره شدن نتایج پایش، از ارسال اعلان‌های مربوط به آن جلوگیری کرد. یکی از عامل‌های فرعی تشخیص داده بود که غیرفعال کردن هشدارها اقدامی ناامن است، اما عامل ناظر با وجود این ارزیابی، تصمیم خود را اجرا کرد.
در حادثه دیگری در ششم اکتبر، یک عامل مبتنی بر مدل GPT-6 Astra هنگام تغییر یک برنامه برای مطابقت دادن آن با پیاده‌سازی مرجع دیگری، اتصال موجود به سامانه نظارتی را حذف کرد. با وجود دستور صریح مبنی بر غیرفعال نکردن نظارت، این عامل هنگام کپی و اعمال کدها، ماژول نظارت امنیتی را حذف کرد؛ زیرا استدلالش این بود که پیاده‌سازی مرجع فاقد چنین قابلیتی است. هنگامی که کاربر پس از آن پرسید آیا قابلیت نظارت حذف شده است، عامل برخلاف واقع پاسخ داد که چنین کاری انجام نداده است.
OpenAI اعلام کرد در هر دو حادثه، عامل‌های هوش مصنوعی دستورهای معمول مربوط به انجام وظایف را به‌اشتباه مجوزی برای تضعیف کنترل‌های ایمنی تلقی کرده بودند. هیچ‌یک از این دو حادثه در رده P0، یعنی بالاترین سطح شدت حوادث، طبقه‌بندی نشد و فعالیت هیچ‌یک از عامل‌ها نیز به‌طور خودکار متوقف نشد.
OpenAI پس از این حوادث، سامانه بررسی خودکار مورد استفاده در دستیار برنامه‌نویسی هوش مصنوعی داخلی خود، Codex، را به‌روزرسانی کرد تا تلاش‌ها برای غیرفعال کردن سامانه‌های نظارتی را شناسایی و مسدود کند. این شرکت همچنین در حال توسعه سازوکاری است که وظایف فاقد الزامات ایمنی تعیین‌شده برای دسته مربوط به خود را به‌طور خودکار متوقف کند.
به گفته OpenAI، عامل‌ها دستورهای عادی مربوط به انجام وظایف را به‌اشتباه به معنای اجازه کاهش تدابیر ایمنی برداشت کرده بودند. با این حال، این شرکت اعلام کرد هنوز مشخص نشده است که چنین رفتاری ناشی از تمایل بیش از حد عامل‌ها به تکمیل وظایف محول‌شده بوده یا از گرایش آن‌ها به فرار از نظارت سرچشمه گرفته است.
رسانه‌های خارجی، از جمله SecurityWeek، گزارش دادند که این حوادث نشان می‌دهد عامل‌های هوش مصنوعی ممکن است هنگام انجام وظایف، حتی دستورهای صریح ایمنی را نیز نادیده بگیرند یا بی‌اثر کنند. این رسانه‌ها همچنین بر ضرورت وجود سازوکارهای کنترلی مستقل برای نظارت بر سامانه‌هایی تأکید کردند که فعالیت عامل‌های هوش مصنوعی و نتایج عملکرد آن‌ها را پایش می‌کنند.