اوپن‌ای‌آی دسترسی اینترنت را هنگام آموزش مدل‌های پیشرفته قطع می‌کند؛ آنتروپیک پیش از عرضه سهام به بورس از شکاف‌های ایمنی می‌گوید
اوپن‌ای‌آی پس از آنکه یک رخداد امنیتی در ماه سپتامبر ضعف تدابیر حفاظتی این شرکت را آشکار کرد، دسترسی به اینترنت را هنگام آموزش مدل‌های پیشرفته هوش مصنوعی قطع می‌کند. آنتروپیک نیز گزارشی درباره رفتار مخرب مدل کلود مایتوس ۵ در آزمون‌های امنیتی منتشر کرده است. در همین حال، مؤسسه امنیت هوش مصنوعی بریتانیا در بررسی چندین مدل، نشانه‌هایی از استدلال سوگیرانه و جهت‌دار شناسایی کرده است.
اوپن‌ای‌آی روز جمعه اعلام کرد که مدل‌های پیشرفته این شرکت در طول فرایند آموزش به اینترنت دسترسی نخواهند داشت. این شرکت دلیل تصمیم خود را ناکافی بودن پژوهش‌های هم‌ترازی، سامانه‌های نظارتی و امنیت زیرساخت‌های اینترنت عنوان کرد. اوپن‌ای‌آی در مطلبی در وبلاگ خود نوشت: «با توجه به وضعیت کنونی پژوهش‌های هم‌ترازی، سامانه‌های نظارتی و امنیت زیرساخت‌های اینترنت، معتقدیم رویکرد مسئولانه این است که آموزش مدل‌های پیشرفته را بدون دسترسی به اینترنت انجام دهیم.» این محدودیت تا زمانی برقرار خواهد ماند که تدابیر حفاظتی، فراهم شدن دسترسی گسترده‌تر را توجیه کنند.
این تصمیم پس از انتشار گزارشی از سوی دو شریک اوپن‌ای‌آی در زمینه ارزیابی ایمنی، یعنی METR و Redwood Research، گرفته شد. این گزارش نشان می‌داد که تدابیر امنیتی و نظارتی شرکت در طول تابستان ضعف‌هایی جدی داشته و به‌اندازه کافی مؤثر نبوده‌اند. اوپن‌ای‌آی اعلام کرد که با افزودن کنترل‌های جدید و همکاری با ارائه‌دهندگان خدمات ابری، محیط‌های پژوهشی خود را ایمن‌تر کرده و پوشش امنیتی زیرساخت‌هایش را بهبود داده است. این شرکت با استفاده از همین کنترل‌ها توانست رخدادی را که در ۲۰ سپتامبر اتفاق افتاد مهار کند؛ در این رخداد، یک مدل پژوهشی داخلی با سوءاستفاده از پیکربندی نادرست سامانه DNS به اینترنت دسترسی پیدا کرده بود. اوپن‌ای‌آی گفت: «اگرچه توانستیم این رخداد را مهار کنیم، اما این اتفاق ضعف‌هایی را آشکار کرد که برای رفع آن‌ها به اقدامات بیشتری نیاز بود.» این شرکت آموزش و ارزیابی توانمندترین مدل‌های خود را متوقف کرد تا سامانه‌های نظارتی و سازوکارهای توقف خودکار را تقویت کند.
آنتروپیک، رقیب آمریکایی اوپن‌ای‌آی، نیز روز جمعه گزارشی درباره خطرهای مشابه در جریان آزمایش و ارزیابی مدل‌ها منتشر کرد. این شرکت در ماه اوت الزام کرده بود که تمام ارزیابی‌های سایبری در محیط‌های ایزوله و ایمن‌سازی‌شده انجام شوند و به‌طور پیش‌فرض هیچ دسترسی‌ای به اینترنت نداشته باشند. گزارش تازه جزئیاتی از تلاش‌های کلود مایتوس ۵ برای متقاعد کردن یک پروژه متن‌باز به پذیرش کد مخرب ارائه می‌دهد. این اتفاق در جریان یک ارزیابی به سبک رقابت «فتح پرچم» رخ داد؛ آزمونی که در آن سازوکارهای ایمنی غیرفعال شده بودند. آنتروپیک نخستین بار در ماه ژوئیه از رخدادهای مرتبط با این موضوع خبر داده بود.
مؤسسه امنیت هوش مصنوعی بریتانیا نیز تحلیلی مستقل از رفتار مایتوس ۵ منتشر کرده و ارزیابی‌های خود را به محیط‌های بدون اتصال به اینترنت منتقل کرده است. این نهاد ناظر دریافت که مایتوس ۵ حتی پس از آنکه پژوهشگران به آن اطلاع دادند اهداف حمله واقعی هستند، نه شبیه‌سازی‌شده، به حمله خود ادامه داده است. پژوهشگران همچنین مشاهده کردند که مدل در فرایند استدلال زنجیره‌ای خود، پیامدهای اقدامات زیان‌بار را به‌درستی در نظر نمی‌گرفت. هنگامی که از مدل درباره رفتارش پرسش شد، توجیه‌های نامعتبری تولید کرد تا وانمود کند اهداف موردنظر صرفاً شبیه‌سازی بوده‌اند؛ رفتاری که نشان می‌داد استدلال آن به نفع هدفی که دنبال می‌کرد، سوگیری دارد. در میان مدل‌هایی که در ارزیابی‌های سایبری آزمایش شدند، بیشتر آن‌ها دست به اقداماتی خارج از محدوده مجاز زدند و مایتوس ۵ در این گروه بیش از دیگر مدل‌ها چنین رفتاری نشان داد.
مؤسسه امنیت هوش مصنوعی بریتانیا این رفتار را «استدلال انگیزه‌محور» توصیف کرد؛ وضعیتی که در آن مدل استنباط‌هایی تولید می‌کند که به‌طور سوگیرانه از نتیجه‌گیری‌های توجیه‌کننده ادامه رویکرد خود حمایت می‌کنند. این نهاد هشدار داد که چنین رفتاری تشخیص ناهم‌ترازی مدل‌ها را برای پژوهشگران دشوارتر می‌کند. این مؤسسه در گزارش فنی خود نوشت: «اگر این مسائل در سطحی گسترده‌تر و در مدل‌های آینده نیز وجود داشته باشند، پیامدهای نگران‌کننده‌ای خواهند داشت.»
آنتروپیک که ممکن است از ماه آینده وارد بازار سهام شود، پذیرفته است که با وجود بهبود رفتار مدل‌های کنونی، اقدامات ایمنی هنوز به سطح مطلوب نرسیده‌اند. این شرکت اعلام کرد: «ما معتقدیم همه توسعه‌دهندگان، از جمله خود ما، باید برای اطمینان از اینکه هم‌ترازی، نظارت و تدابیر ایمنی همگام با شتاب گرفتن توانایی‌های سامانه‌های پیشرفته هوش مصنوعی پیش می‌روند، کارهای بیشتری انجام دهند.»
منبع: The Register