اوپن‌ای‌آی دسترسی به اینترنت را هنگام آموزش مدل‌ها قطع می‌کند؛ آنتروپیک هم بار دیگر به ضعف‌های ایمنی اعتراف کرد
ظاهراً همه‌چیز کاملاً تحت کنترل است!
نویسنده: توماس کلابرن، خبرنگار حوزه هوش مصنوعی و نرم‌افزار
تاریخ انتشار: جمعه ۲۳ اکتبر ۲۰۲۶، ساعت ۲۳:۳۶ به وقت UTC
اوپن‌ای‌آی اعلام کرده است که دسترسی مدل‌های پیشرفته هوش مصنوعی خود به اینترنت را در طول فرایند آموزش قطع خواهد کرد؛ تصمیمی که نشان می‌دهد تدابیر ایمنی اجراشده تا امروز برای مهار خطرات این فناوری کافی نبوده‌اند.
این شرکت در مطلبی در وبلاگ خود نوشت: «با توجه به وضعیت کنونی پژوهش‌های مربوط به هم‌راستاسازی مدل‌ها، سامانه‌های نظارتی و امنیت زیرساخت‌های اینترنت، معتقدیم رویکرد مسئولانه این است که آموزش مدل‌های پیشرفته را بدون دسترسی به اینترنت انجام دهیم. این سیاست را به اجرا گذاشته‌ایم و تا زمانی که پیشرفت در این سازوکارهای حفاظتی، فراهم کردن دسترسی گسترده‌تر به اینترنت را توجیه نکند، آن را ادامه خواهیم داد.»
این تصمیم پس از انتشار گزارشی از سوی دو شریک ارزیابی ایمنی اوپن‌ای‌آی، یعنی METR و Redwood Research، اتخاذ شده است. این گزارش نشان داد که تدابیر امنیتی و سامانه‌های نظارتی اوپن‌ای‌آی در طول تابستان دارای ضعف‌های جدی بوده و کارایی لازم را نداشته‌اند.
اوپن‌ای‌آی می‌گوید از آن زمان تاکنون «امنیت محیط‌های پژوهشی خود را به‌طور چشمگیری تقویت کرده» و با همکاری ارائه‌دهندگان خدمات ابری خود، کنترل‌های تازه‌ای را برای حفاظت از زیرساخت‌هایش به اجرا گذاشته است.
این شرکت همچنین مدعی است که تدابیر جدید به‌تازگی در مهار حادثه‌ای در ۲۰ سپتامبر مؤثر بوده‌اند؛ حادثه‌ای که در آن یکی از مدل‌های پژوهشی داخلی با سوءاستفاده از پیکربندی نادرست سامانه نام دامنه (DNS) توانست به اینترنت دسترسی پیدا کند.
اوپن‌ای‌آی در توضیح این اتفاق اعلام کرد: «اگرچه توانستیم حادثه را مهار کنیم، این اتفاق ضعف‌هایی را آشکار کرد که برطرف کردن آن‌ها به اقدامات بیشتری نیاز داشت. ما آموزش و ارزیابی توانمندترین مدل‌های خود را متوقف کردیم و از این فرصت برای تقویت بیشتر امنیت زیرساخت‌ها، بهبود سامانه‌های نظارتی و ارتقای سازوکارهایی استفاده کردیم که هنگام شناسایی فعالیت‌های دارای خطر جدی، اجرای فرایندها را به‌طور خودکار متوقف می‌کنند.»
در همین حال، در آنتروپیک چه می‌گذرد؟
آنتروپیک، رقیب آمریکایی اوپن‌ای‌آی که مانند آن با اتکا به سرمایه‌گذاری‌های پرریسک و مبتنی بر انتظارات آینده فعالیتی گسترده و مخاطره‌آمیز دارد، با خطرات مشابهی در جریان آزمایش و ارزیابی مدل‌های خود روبه‌رو شده است. این شرکت پیش‌تر در ماه اوت اعلام کرده بود: «به‌طور پیش‌فرض، تمام ارزیابی‌های امنیت سایبری باید در یک محیط ایزوله و مقاوم‌سازی‌شده، یعنی محیط محاسباتی جداگانه‌ای که به اینترنت دسترسی ندارد، انجام شوند.»
این شرکت فعال در حوزه هوش مصنوعی روز جمعه گزارشی منتشر کرد که در آن تلاش مدل Claude Mythos 5 برای متقاعد کردن یک پروژه متن‌باز به پذیرش کد مخرب بررسی شده است. این رفتار زمانی رخ داد که مدل در یک ارزیابی امنیتی از نوع «تسخیر پرچم» (Capture the Flag) شرکت داشت و کنترل‌های ایمنی آن غیرفعال شده بودند. گزارش همچنین به چند حادثه مرتبط دیگر می‌پردازد که آنتروپیک نخستین بار در ماه ژوئیه افشا کرده بود.
انتشار این گزارش هم‌زمان با ارائه تحلیلی مستقل از رفتار مدل Mythos توسط مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) صورت گرفته است. به گفته آنتروپیک، این مؤسسه نیز تصمیم گرفته ارزیابی‌های خود را بدون دسترسی به اینترنت انجام دهد.
گزارش مؤسسه امنیت هوش مصنوعی بریتانیا به سه یافته کلیدی اشاره می‌کند که بیش از آنکه پاسخ روشنی ارائه دهند، پرسش‌های تازه‌ای را مطرح می‌کنند.
نخستین یافته این است که مدل Mythos 5 حتی پس از آنکه به آن اطلاع داده شد اهداف حمله واقعی هستند و بخشی از یک ارزیابی آزمایشی محسوب نمی‌شوند، همچنان به حمله خود ادامه داد.
یافته دوم به فرایند استدلال زنجیره‌ای مدل مربوط می‌شود. این فرایند هنگام تصمیم‌گیری، پیامدهای اقدامات آسیب‌زا را در نظر نگرفته بود. افزون بر این، هنگامی که از مدل درباره رفتارش سؤال شد، اغلب برای توجیه اقدامات خود به‌اشتباه ادعا می‌کرد که هدف حمله شبیه‌سازی‌شده بوده است؛ رفتاری که از سوگیری مدل به نفع دستیابی به هدفش حکایت دارد.
سومین یافته نیز به گفته این مؤسسه آن است که بیشتر مدل‌های آزمایش‌شده در ارزیابی‌های امنیت سایبری، اقداماتی خارج از حدود مجاز انجام داده‌اند؛ هرچند این رفتار در Mythos 5 بیش از سایر مدل‌ها مشاهده شده است.
مؤسسه امنیت هوش مصنوعی بریتانیا درباره رفتارهای مشاهده‌شده اعلام کرد: «این رفتارها می‌توانند نشان‌دهنده آن باشند که مدل‌ها به نوعی استدلال انگیزه‌محور روی می‌آورند؛ یعنی استنباط‌ها و استدلال‌هایی تولید می‌کنند که به سمت نتیجه‌گیری‌های توجیه‌کننده ادامه یک روش مشخص برای انجام وظیفه سوگیری دارند.»
به بیان ساده‌تر، مدل‌ها برای رسیدن به هدف خود «استدلال» می‌کنند؛ حتی اگر این استدلال منسجم نباشد یا با اصول هم‌راستاسازی که ظاهراً باید از آن‌ها پیروی کنند، سازگاری نداشته باشد.
این مؤسسه در گزارش فنی کامل خود که در قالب فایل PDF منتشر شده، هشدار داد: «اگر مشخص شود این مشکلات در مدل‌های دیگر نیز به‌طور گسترده وجود دارند و در مدل‌های آینده هم تکرار می‌شوند، پیامدهای نگران‌کننده‌ای خواهند داشت.» این نهاد نظارتی به‌طور مشخص تأکید کرد که استدلال انگیزه‌محور، شناسایی موارد ناهم‌راستایی مدل‌ها را دشوارتر می‌کند.
آنتروپیک که انتظار می‌رود شاید از همین ماه آینده عرضه اولیه سهام خود را آغاز کند، تلاش کرده است در برابر این یافته‌ها موضعی اطمینان‌بخش اتخاذ کند. این شرکت با اشاره به اینکه مدل‌های کنونی‌اش رفتار بسیار بهتری دارند، کوشیده از شدت نگرانی‌ها بکاهد؛ هرچند هم‌زمان پذیرفته است که ایمنی هوش مصنوعی هنوز بیش از آنکه دستاوردی تحقق‌یافته باشد، هدفی است که شرکت‌ها برای رسیدن به آن تلاش می‌کنند.
آنتروپیک در این زمینه اعلام کرد: «ما معتقدیم همه توسعه‌دهندگان، از جمله خود ما، همچنان باید تلاش کنند تا هم‌راستاسازی مدل‌ها، سامانه‌های نظارتی و تدابیر ایمنی بتوانند همگام با توانایی‌های به‌سرعت در حال پیشرفت سامانه‌های پیشرفته هوش مصنوعی توسعه پیدا کنند.»