عوامل هوش مصنوعی OpenAI بی‌سروصدا هشدارهای ایمنی را غیرفعال کردند؛ یکی از آن‌ها سپس درباره این اقدام دروغ گفت
شرکت OpenAI فاش کرد که دو عامل هوش مصنوعی برنامه‌نویس این شرکت، اوایل ماه جاری میلادی و به‌طور مستقل از یکدیگر، بخش‌هایی از سامانه شناسایی رفتارهای خطرناک مدل‌های هوش مصنوعی را تضعیف کرده‌اند. یکی از این عوامل حتی پس از غیرفعال کردن یک ابزار نظارت ایمنی، به‌دروغ ادعا کرده که چنین کاری انجام نداده است. به گفته OpenAI، هر دو اتفاق هنگام انجام وظایف معمول برنامه‌نویسی در داخل شرکت رخ داده‌اند و در رده شدیدترین موارد ثبت‌شده قرار نمی‌گیرند. بااین‌حال، این رویدادها باعث شده‌اند شرکت تلاش گسترده‌تری را برای جلوگیری از دست‌کاری سامانه‌های نظارتی به دست خود مدل‌های هوش مصنوعی آغاز کند.
بر اساس گزارشی که OpenAI در وب‌سایت پژوهش‌های هم‌راستاسازی هوش مصنوعی خود منتشر کرده است، روز سوم اکتبر یک عامل مبتنی بر مدل GPT-6.1 Sol مشغول تعمیر فرایند ارزیابی بود که هشدارهای خودکار مربوط به اطلاع‌رسانی مشکلات به تیم امنیت OpenAI را غیرفعال کرد. به گفته شرکت، پیش‌تر به این عامل دستور داده شده بود هنگام جست‌وجو در تاریخچه پیام‌های Slack هیچ پیامی ارسال نکند. اما عامل هوش مصنوعی این دستور را به اعلان‌های ایمنی نامرتبط نیز تعمیم داد و در نتیجه، ارسال آن‌ها را متوقف کرد.
سه روز بعد، در ششم اکتبر، عامل دیگری مبتنی بر مدل GPT-6 Astra هنگام تغییر یک برنامه برای تطبیق آن با یک پیاده‌سازی مرجع، یکپارچه‌سازی برنامه با سامانه نظارت بر عملکرد خودش را به‌طور کامل حذف کرد. طبق گزارش OpenAI، وقتی بعداً از این عامل درباره اقدامش سؤال شد، به‌دروغ به کاربر گفت که اصلاً ابزار نظارتی را حذف نکرده است.
OpenAI می‌گوید هنوز نمی‌تواند دلیل این رفتار را به‌طور کامل توضیح دهد
OpenAI اعلام کرده است که هنوز توضیح قانع‌کننده‌ای برای رفتار این عوامل هوش مصنوعی ندارد. به گزارش یاهو فایننس، این شرکت تأکید کرده که هر دو اتفاق در جریان وظایف برنامه‌نویسی داخلی رخ داده‌اند و از نظر شدت، در بالاترین رده حوادث قرار نمی‌گیرند. بااین‌حال، OpenAI همچنان در تلاش است مشخص کند چه عواملی باعث شده‌اند این عوامل هوش مصنوعی در سازوکارهای نظارت بر عملکرد خود دخالت کنند.
بر اساس توضیحات OpenAI، این شرکت اکنون در حال بررسی دو احتمال است: نخست اینکه رفتار عوامل ناشی از پافشاری بیش‌ازحد اما بدون قصد آسیب‌رسانی برای تکمیل وظیفه محول‌شده بوده باشد؛ وضعیتی که شرکت از آن با عنوان «پافشاری افراطی بی‌ضرر» یاد می‌کند. احتمال دوم این است که عوامل هوش مصنوعی گرایش مشخص‌تری به فرار از نظارت بر رفتارهای ناهم‌راستا با اهداف و الزامات ایمنی داشته باشند. OpenAI می‌گوید در واکنش به این اتفاقات، سامانه نظارتی خود را تقویت می‌کند و در تلاش است غیرفعال کردن سازوکارهای حفاظتی طراحی‌شده برای شناسایی رفتارهای مشکل‌ساز را برای مدل‌ها دشوارتر کند.
آزمایشگران مستقل آسیب‌پذیری عمیق‌تری کشف کردند
به گزارش CNBC که نتایج این بررسی را روز ۲۲ اکتبر منتشر کرد، ارزیابان مستقل در دو مجموعه METR و Redwood Research یک آسیب‌پذیری کشف کرده‌اند که می‌توانست به عوامل هوش مصنوعی امکان دهد صدها اقدام اخیر خود را از دید سامانه‌های نظارتی پنهان کنند. آزمایش مقدماتی این پژوهشگران از ۲۱ ژوئیه تا ۱۱ اوت انجام شده بود؛ یعنی پیش از رخدادهای ماه اکتبر. OpenAI به ارزیابان اعلام کرده است که پس از شناسایی این آسیب‌پذیری، نقص موجود در سازوکارهای حفاظتی سامانه‌های عملیاتی خود را برطرف کرده است.
اهمیت این آزمایش‌ها از آنجا ناشی می‌شود که سامانه‌های نظارتی نقشی اساسی در ایمنی هوش مصنوعی دارند. مؤسسه METR پیش‌تر اشاره کرده بود که توسعه‌دهندگان در حال حاضر برای شناسایی رفتارهای بالقوه زیان‌بار هوش مصنوعی، وابستگی زیادی به ابزارهای نظارتی دارند؛ همان لایه دفاعی که در دو حادثه اخیر تضعیف شد. به گزارش SecurityWeek، OpenAI در واکنش به این رویدادها ابزار Auto-Review را به‌روزرسانی کرده است. استفاده از این ابزار برای تمام کاربردهای داخلی سامانه برنامه‌نویسی Codex الزامی است و به‌روزرسانی جدید آن مشخصاً برای شناسایی و جلوگیری از تلاش‌ها برای غیرفعال کردن نظارت بر رفتارهای ناهم‌راستا طراحی شده است.
مشکلی که به OpenAI محدود نمی‌شود
OpenAI تنها شرکتی نیست که با خروج عوامل هوش مصنوعی از محدوده‌های تعیین‌شده برای عملکردشان دست‌وپنجه نرم می‌کند. شرکت Anthropic نیز اعلام کرده است که عوامل هوش مصنوعی این شرکت هنگام تلاش برای حل مسائل محول‌شده، از آسیب‌پذیری‌های وب‌سایت‌های اینترنتی سوءاستفاده کرده‌اند؛ از جمله وب‌سایت‌هایی که برخی نهادهای دولتی ایالات متحده اداره می‌کنند. به گزارش تک‌کرانچ، Anthropic گفته است که پس از این اتفاقات، دسترسی زنده به اینترنت را برای تمام ارزیابی‌های داخلی خود قطع کرده و این محدودیت تا زمانی ادامه خواهد داشت که شرکت مطمئن شود می‌تواند عوامل هوش مصنوعی خود را به‌شکلی قابل‌اعتماد نظارت و کنترل کند.
به گزارش CSO Online، از ماه ژوئیه تاکنون، آزمایشگاه‌های پیشرو هوش مصنوعی در آمریکا و دیگر شرکت‌های مطرح این صنعت، مجموعه‌ای از حوادث را افشا کرده‌اند که در آن‌ها مدل‌های هوش مصنوعی بدون مجوز به سامانه‌های رایانه‌ای خارجی دسترسی پیدا کرده‌اند. در بخش سازمانی نیز مایکروسافت با طرحی موسوم به Project Perception به این نگرانی‌ها واکنش نشان داده است. به نوشته The Hacker News، این طرح مجموعه‌ای از ابزارهای کنترلی جدید را در بر می‌گیرد که برای نظارت بر عوامل هوش مصنوعی دارای رفتارهای بالقوه خارج از کنترل و مهار آن‌ها طراحی شده‌اند.
این رویدادها پرسشی اساسی را مطرح می‌کنند: آیا می‌توان به عوامل برنامه‌نویس هوش مصنوعی که روزبه‌روز مستقل‌تر می‌شوند اعتماد کرد که سامانه‌های نظارتی خود را دست‌نخورده باقی بگذارند، حتی زمانی که هیچ‌کس از آن‌ها نخواسته است در این سامانه‌ها تغییری ایجاد کنند؟