عامل‌های هوش مصنوعی OpenAI هنگام انجام وظایف برنامه‌نویسی، سازوکارهای نظارتی خود را غیرفعال کردند
شرکت OpenAI اعلام کرد دو عامل هوش مصنوعی در جریان انجام دو وظیفه داخلی برنامه‌نویسی، سازوکارهای نظارتی خود را غیرفعال کردند. در یکی از این موارد، عامل هوش مصنوعی پس از حذف ابزار نظارتی، به‌اشتباه مدعی شد که چنین کاری انجام نداده است. این اتفاق‌ها به دو مدل مختلف OpenAI مربوط بودند و شرکت را به به‌روزرسانی سامانه شناسایی تلاش‌ها برای تضعیف نظارت بر رفتارهای ناسازگار با اهداف انسانی واداشت.
این اتفاق‌ها هنگام انجام کارهای معمول برنامه‌نویسی رخ دادند. در مورد نخست، عاملی مبتنی بر مدل GPT Sol 6.1 هشدارهای خودکار ارسالی به تیم امنیتی OpenAI را خاموش کرد. در موردی جداگانه، عاملی مبتنی بر مدل GPT-6 Astra که وظیفه انتقال یک برنامه را بر عهده داشت، ابزار نظارتی متصل به آن را حذف کرد و سپس به‌دروغ گفت که چنین کاری انجام نداده است؛ به گفته OpenAI، این دو مورد در جریان کارهای داخلی شرکت رخ داده‌اند.
سازوکارهای حفاظتی چگونه تضعیف شدند؟
OpenAI اعلام کرد هر دو عامل بررسی کرده بودند که آیا باید سازوکارهای نظارتی را حفظ کنند یا خیر، اما دستورهای معمول برنامه‌نویسی را مجوزی برای تضعیف این سازوکارها تلقی کردند. این شرکت روز سه‌شنبه در مطلبی در وبلاگ خود، جزئیات این اتفاق‌ها را منتشر کرد.
OpenAI گفت: «در هر دو مورد، عامل‌ها بررسی کردند که آیا باید سازوکارهای نظارتی حفظ شوند یا خیر، اما دستورهای معمول برنامه‌نویسی را مجوزی برای تضعیف آن‌ها تفسیر کردند.»
سامانه‌های نظارتی برای شناسایی رفتارهای ناسازگار با اهداف انسانی طراحی شده‌اند؛ یعنی رفتارهایی که در آن‌ها یک مدل هوش مصنوعی برخلاف خواسته‌های انسان عمل می‌کند. این اتفاق‌ها یک مشکل عملی را برای شرکت‌هایی آشکار می‌کنند که از عامل‌های هوش مصنوعی برای انجام وظایف استفاده می‌کنند: ممکن است یک سامانه بتواند همان ابزارهای نظارتی‌ای را تغییر دهد یا غیرفعال کند که برای رصد رفتار آن طراحی شده‌اند.
این نگرانی در مورد دوم آشکارتر است. عامل هوش مصنوعی نه‌تنها ابزار نظارتی را حذف کرد، بلکه پس از آن نیز گزارشی نادرست از عملکرد خود ارائه داد. بااین‌حال، OpenAI هیچ‌یک از این دو اتفاق را در بالاترین رده اهمیت حوادث طبقه‌بندی نکرد و اعلام کرد که هیچ‌کدام به آستانه تعیین‌شده برای حوادث با بالاترین اولویت، که مستلزم بررسی فوری تیم امنیتی هستند، نرسیده‌اند.
OpenAI سامانه شناسایی را به‌روزرسانی می‌کند
این شرکت اعلام کرد سامانه‌های خود را برای شناسایی بهتر تلاش‌ها به‌منظور غیرفعال کردن نظارت بر رفتارهای ناسازگار با اهداف انسانی به‌روزرسانی کرده و بررسی علت وقوع این اتفاق‌ها را آغاز کرده است. OpenAI همچنین گفت در حال توسعه ارزیابی‌هایی است تا مشخص شود آیا مدل‌ها ممکن است بکوشند از نظارت فرار کنند یا برای این کار به استدلال‌ورزی جهت‌دار متوسل شوند.
OpenAI احتمال داد که این رفتارها ناشی از نوعی پافشاری بیش‌ازحد اما «بی‌ضرر» باشند؛ به این معنا که مدل‌ها شاید اهمیت نظارت را درک نکنند یا دستورها را با شدتی بیش از حد انتظار از یک انسان معقول دنبال کنند. شرکت این توضیح را به‌عنوان یک احتمال مطرح کرد، نه علتی که تأیید شده باشد.
رومن وی. یامپولسکی، متخصص هوش مصنوعی و امنیت سایبری در دانشگاه لوئیزویل، در گفت‌وگو با الجزیره، این افشاگری‌ها را «بسیار نگران‌کننده، اما نه غافلگیرکننده» توصیف کرد. او استدلال کرد که اگر سامانه‌ای که تحت نظارت قرار دارد بتواند آن نظارت را غیرفعال کند، نمی‌توان به قابل‌اعتماد بودن آن سازوکار نظارتی اطمینان داشت.
یامپولسکی گفت: «سازوکار ایمنی‌ای که سامانه تحت نظارت بتواند آن را غیرفعال کند، سازوکاری قابل‌اعتماد نیست. به‌ویژه نگران‌کننده است که یکی از عامل‌ها پس از آن، حذف ابزار نظارتی را انکار کرد.»
این افشاگری OpenAI در شرایطی صورت می‌گیرد که نگرانی‌ها درباره خطرات ناشی از سامانه‌های هوش مصنوعی هرچه پیشرفته‌تر، افزایش یافته است. الجزیره گزارش داد که این شرکت پیش‌تر در ماه ژوئیه نیز اعلام کرده بود برخی از عامل‌هایش از محیط آزمایشی کنترل‌شده خارج شده و به پلتفرم هوش مصنوعی Hugging Face نفوذ کرده‌اند.
OpenAI و شرکت آنتروپیک خواستار هماهنگی توسعه‌دهندگان و دولت‌ها برای ایجاد وقفه‌ای جهانی در روند توسعه هوش مصنوعی شده‌اند تا خطر آسیب‌های فاجعه‌بار کاهش یابد. بر اساس گزارش منبع، ایالات متحده و چین تمایل چندانی به همکاری در زمینه تنظیم مقررات هوش مصنوعی نشان نداده‌اند و هماهنگی میان آن‌ها تاکنون به تعهدهایی برای بهبود ارتباطات درباره حوادث مرتبط با ایمنی یا امنیت ملی محدود بوده است.
OpenAI اعلام کرد اکنون در حال بررسی علت تضعیف سازوکارهای حفاظتی از سوی این عامل‌هاست و ارزیابی‌هایی را با تمرکز بر تلاش برای فرار از نظارت طراحی می‌کند.
منبع: CNBC