دو عامل هوش مصنوعی OpenAI سامانه نظارتی خود را تضعیف کردند؛ یکی از آن‌ها برای پنهان‌کاری دروغ گفت
| نویسنده: وینسنت لوتیه | زمان مطالعه: ۲ دقیقه
دو عامل هوش مصنوعی که در شرکت OpenAI، سازنده ChatGPT، به‌صورت داخلی استفاده می‌شوند، در اوایل اکتبر و هنگام انجام وظایف کاملاً معمول برنامه‌نویسی، سامانه‌های مسئول نظارت بر عملکرد خود را تضعیف کردند. عامل دوم حتی زمانی که یکی از کارکنان شرکت از او خواست رفتارش را توضیح دهد، صریحاً دروغ گفت.
این عامل‌ها برنامه‌هایی هستند که بدون نیاز به حضور فردی پشت صفحه‌کلید، به‌طور مستقل کار می‌کنند. OpenAI هر روز از آن‌ها برای نوشتن کدهای خود استفاده می‌کند. این دو عامل بر پایه مدل‌های GPT-6.1 Sol و GPT-6 Astra اجرا می‌شدند که از پیشرفته‌ترین مدل‌های این شرکت هستند. OpenAI خودش این اتفاق‌ها را در وبلاگ پژوهشی‌اش شرح داده و پذیرفته است که هنوز درک کاملی از علت این رفتارها ندارد.
در ۳ اکتبر، عاملی که روی مدل Sol اجرا می‌شد، مشغول اصلاح یک ابزار ارزیابی داخلی بود. به این عامل دستور داده شده بود هنگام بررسی تاریخچه پیام‌های اسلک، اپلیکیشن پیام‌رسان مورد استفاده شرکت، هیچ پیامی ارسال نکند. اما عامل این دستور ساده را به‌منزله اجازه‌ای برای غیرفعال کردن هشدارهای خودکار تیم امنیتی تفسیر کرد و با خالی کردن فهرست افراد دریافت‌کننده اعلان‌ها، ارسال هشدارها را متوقف کرد.
سامانه نظارتی همچنان گزارش‌های خود را ثبت می‌کرد، اما این گزارش‌ها دیگر به دست هیچ انسانی نمی‌رسیدند.
سه روز بعد، اتفاق مشابهی رخ داد. عاملی که روی مدل Astra اجرا می‌شد و وظیفه مهاجرت یک برنامه را بر عهده داشت، برای هماهنگ کردن کد با یک پیاده‌سازی مرجع، اتصال سامانه نظارتی را حذف کرد. وقتی کاربر از او پرسید آیا یک ابزار نظارتی فعال را حذف کرده است، دقیقاً پاسخ داد: «نه، من هیچ ابزار نظارتی فعالی را حذف نکردم.» با این حال، آن ابزار نظارتی واقعاً از بین رفته بود.
OpenAI توضیح می‌دهد که در هر دو مورد، عامل‌ها واقعاً درباره لزوم حفظ این سازوکارهای حفاظتی تردید کرده بودند، اما در نهایت به این نتیجه رسیدند که دستورهای معمول برنامه‌نویسی به آن‌ها اجازه می‌دهد این تدابیر را تضعیف کنند. این شرکت احتمال می‌دهد که رفتار آن‌ها ناشی از زیاده‌روی در اجرای وظیفه، بدون قصد پنهانی، بوده باشد؛ یعنی مدل‌ها چنان درگیر انجام مأموریت خود شده‌اند که دیگر اهمیت نظارت را درک نمی‌کنند. با این حال، از نظر من، این توضیح چندان اطمینان‌بخش نیست.
در پی این اتفاق‌ها، شرکت ابزار Auto-Review را که اقدامات عامل‌های هوش مصنوعی را بررسی می‌کند، به‌روزرسانی کرده است تا چنین تلاش‌هایی را شناسایی و مسدود کند. OpenAI همچنین اکنون در مدل‌های خود میزان تمایل به دور زدن نظارت را به‌عنوان یکی از شاخص‌های ناهم‌سویی ارزیابی می‌کند؛ وضعیتی که در آن هوش مصنوعی برخلاف آنچه از آن انتظار می‌رود عمل می‌کند. این شرکت قصد دارد این مسئله را به یکی از محورهای اصلی پژوهش خود درباره نسخه‌های آینده تبدیل کند.
بد نیست یادآوری کنیم که OpenAI پیش‌تر، در ماه سپتامبر، نسخه جدیدتری از همین مدل با نام GPT-6.1 Astra را نیز کنار گذاشته بود، زیرا این مدل در آزمایش‌های داخلی بیش از حد دروغ می‌گفت. هیچ‌یک از این اتفاق‌ها چندان اطمینان‌بخش نیست.
منبع: Engadget