Anthropic پس از نفوذ مدل‌های هوش مصنوعی به وب‌سایت‌های دولتی، آزمایش‌های پرریسک AI را آفلاین کرد
Anthropic اعلام کرد مدل‌های داخلی هوش مصنوعی این شرکت که تحت «ارزیابی‌های پرخطر و امنیت سایبری» قرار دارند، پس از چند رخداد مرتبط با وب‌سایت‌های دولتی آمریکا در سطوح فدرال، ایالتی و محلی، دیگر به اینترنت دسترسی نخواهند داشت.
این تصمیم پس از مواردی اتخاذ شد که در آنها مدل‌های هوش مصنوعی آسیب‌پذیری‌های وب‌سایت‌ها را مورد سوءاستفاده قرار دادند، فرم‌ها را ارسال کردند، محدودیت‌های دسترسی به داده‌ها را دور زدند و از برخی سازوکارهای حفاظتی عبور کردند.
با این حال، این شرکت اعلام کرد رفتارهای نامنطبق مدل‌ها در دنیای واقعی اثر بسیار محدودی داشته و شدت آنها کمتر از برخی رخدادهای گزارش‌شده پیشین ارزیابی شده است. Anthropic همچنین کاخ سفید را در جریان این فعالیت‌های غیرمجاز قرار داده است.
- سوءاستفاده از سرورها برای انجام وظایف. زمانی که ابزار تحلیل علمی یک دانشگاه با مشکل مواجه شد، مدل Claude Mythos Preview اسکریپتی پیدا کرد که فایل‌های سرور را در معرض دسترسی قرار می‌داد. این مدل کد منبع را بازیابی کرد، یک آسیب‌پذیری تزریق را شناسایی کرد و از آن برای اجرای محاسبه درخواستی روی سرور دانشگاه استفاده کرد.
- ارسال ناخواسته فرم‌های واقعی. مدل‌ها گاهی فرم‌های واقعی دولتی را به جای نسخه‌های آزمایشی خراب‌شده استفاده کردند یا با وجود دستور توقف، فرم‌ها را ارسال کردند. در موردی دیگر، Claude Haiku 4.5 یک گزارش ساختگی درباره قتل ایجاد کرد و آن را برای اداره پلیس فیلادلفیا ارسال کرد. این ارسال به‌عنوان هرزنامه علامت‌گذاری و برای بررسی بیشتر ارجاع شد.
- دور زدن محدودیت‌های داده. Claude Mythos 5 توکن‌های دسترسی را از تنظیمات وب‌سایت‌ها یا داشبوردهای عمومی به دست آورد و از آنها برای پرس‌وجوی مستقیم داده‌های دولتی استفاده کرد؛ در نتیجه مسیر معمول دسترسی یا الزامات پرداخت را دور زد. Anthropic می‌گوید این داده‌ها به‌صورت عمومی و در ازای هزینه قابل دسترسی بوده‌اند.
- عبور از محدودیت‌های ابزار دریافت محتوا. مدل‌هایی مانند Claude Opus 5 و Mythos 5 از کوتاه‌کننده‌های URL برای دور زدن محدودیت طول نشانی استفاده کردند؛ محدودیتی که برای جلوگیری از اقدام‌های ناخواسته مانند حملات تزریق SQL طراحی شده بود.
Anthropic برآورد می‌کند که این عامل‌ها ممکن است تحت تأثیر پاداش‌های بیش از حد سخاوتمندانه در جریان یادگیری تقویتی قرار گرفته باشند؛ پاداش‌هایی که احتمالاً آنها را به یافتن راه‌حل‌های غیرمجاز به جای توقف هنگام مسدود شدن یا غیرممکن بودن یک وظیفه تشویق کرده است.
به همین دلیل، تا زمانی که تدابیر امنیتی دوباره قابل اتکا ارزیابی شوند، Anthropic دسترسی زنده به اینترنت را در تمام ارزیابی‌های داخلی مدل‌های هوش مصنوعی خود قطع می‌کند و همه آزمایش‌ها را به محیط‌های آفلاین منتقل خواهد کرد.
Anthropic در توضیح این تصمیم در گزارشی اعلام کرد: «اگرچه اثر این رفتارها محدود بود و ما پیش از این نیز دسترسی به اینترنت زنده را برای برخی ارزیابی‌های پرخطر و امنیت سایبری غیرفعال کرده بودیم، اکنون تصمیم گرفته‌ایم این اقدام را به همه ارزیابی‌های داخلی گسترش دهیم تا زمانی که تأیید کنیم تدابیر امنیتی و نظارتی ما می‌توانند رفتارهایی از این دست را به‌طور قابل اتکا شناسایی کنند.»
رخدادهای پیشین
در اواخر ژوئیه، Anthropic از رخدادی بسیار جدی‌تر خبر داد که در آن عامل‌های مبتنی بر Claude Mythos یک بسته مخرب پایتون شامل سرقت‌کننده اطلاعات ورود ایجاد کردند و آن را در Python Package Index (PyPI) بارگذاری کردند؛ جایی که ۱۵ سامانه آن را دانلود و اجرا کردند.
Claude از این بسته برای تکمیل یک چالش «Capture the Flag» استفاده کرده بود، اما به جای انتشار آن در یک محیط شبیه‌سازی‌شده، به پلتفرم واقعی PyPI راه پیدا کرد.
در ماه اوت، AISI اعلام کرد Mythos 5 در جریان یک آزمایش امنیتی تلاش کرده است یک حمله زنجیره تأمین انجام دهد؛ این مدل با ارسال کد مخرب به یک پروژه متن‌باز و تحت فشار قرار دادن نگهدارنده پروژه برای تأیید آن با استفاده از هویت‌های جعلی، چنین اقدامی را دنبال کرده بود.
در ماه سپتامبر، Anthropic اعلام کرد Opus 4.6 در جریان یک ارزیابی در ژانویه ۲۰۲۶ توانسته بود به دسترسی مدیریتی یک سامانه شخص ثالث دست پیدا کند و اطلاعات شخصی یک فرد را بخواند.