Anthropic پس از سوءاستفاده کلاد از وب‌سایت‌ها، دسترسی اینترنت را در ارزیابی‌ها قطع کرد
Anthropic پس از کشف مواردی که در آن کلاد از آسیب‌پذیری‌های نرم‌افزاری سوءاستفاده کرده، محدودیت‌های دسترسی به داده را دور زده و هنگام تلاش برای انجام وظایف محول‌شده، فرم‌هایی را در وب‌سایت‌های واقعی ارسال کرده است، دسترسی زنده به اینترنت را برای تمام ارزیابی‌های داخلی مدل‌های خود غیرفعال می‌کند.
گزارش این شرکت این رخدادها را که عمدتاً از طریق بررسی متن مکالمات مدل‌ها از ماه ژوئیه شناسایی شده‌اند، شرح می‌دهد. این بررسی ابتدا بر ارزیابی‌های امنیت سایبری متمرکز بود، اما بعداً به آزمایش‌های دیگر، استفاده‌های داخلی و محیط‌های آموزشی دارای دسترسی اینترنتی گسترش یافت.
Anthropic می‌گوید این رخدادها تأثیر واقعی اندکی داشته‌اند و تا آنجا که این شرکت اطلاع دارد، هیچ‌کدام شامل داده‌های مشتریان یا سامانه‌های داخلی Anthropic نبوده‌اند. برخی از وب‌سایت‌های تحت تأثیر متعلق به نهادهای دولتی آمریکا در سطوح فدرال، ایالتی و محلی بودند. این شرکت این نهادها را مطلع کرده و گزارشی نیز به کاخ سفید ارائه داده است.
کلاد، خانواده مدل‌های هوش مصنوعی Anthropic، می‌تواند از ابزارهایی برای مرور وب‌سایت‌ها، کار با رابط‌های رایانه‌ای و انجام پژوهش استفاده کند. بیشتر رخدادهای گزارش‌شده در جریان ارزیابی‌ها، از جمله معیارهای عمومی پرکاربرد، اتفاق افتاده‌اند؛ هرچند برخی موارد نیز هنگام استفاده معمول کارکنان از مدل‌ها رخ داده است.
در یکی از موارد، از مدل Claude Mythos Preview خواسته شد با استفاده از ابزاری میزبانی‌شده توسط یک دانشگاه، یک تحلیل علمی انجام دهد. زمانی که ابزار با خطا مواجه شد، کلاد وب‌سایت را بررسی کرد و اسکریپتی را یافت که می‌توانست فایل‌های دلخواه را از سرور بازیابی کند.
این مدل فایل‌ها، از جمله کد منبع اسکریپت، را دانلود کرد، یک آسیب‌پذیری تزریق را شناسایی کرد و از آن برای اجرای دستورات روی سرور دانشگاه و انجام محاسبه موردنظر استفاده کرد.
موارد دیگر شامل دور زدن محدودیت‌های مربوط به داده‌های عمومی قابل دسترس اما پولی بود. Claude Mythos 5 توکن‌های دسترسی فعال را از فایل تنظیمات مرورگر در یک وب‌سایت نقشه‌برداری دولت محلی استخراج کرد و از آن‌ها برای ارسال مستقیم درخواست به بخش پشتیبان سامانه استفاده کرد.
در جریان یک پروژه آماری توسط یکی از پژوهشگران Anthropic، همین مدل با بررسی یک صفحه آرشیوشده از وب‌سایت یک نهاد ایالتی متوجه شد که داشبورد عمومی برای بازدیدکنندگان توکن صادر می‌کند. مدل یک توکن دریافت کرد و بدون پرداخت هزینه، پایگاه داده را مورد پرس‌وجو قرار داد.
ارسال فرم‌ها نیز شامل مواردی بود که یک مدل پژوهشی منتشرنشده، به جای یک فرم آزمایشی خراب دولتی، به وب‌سایت واقعی منتقل شد. همچنین Claude Haiku 4.5 با وجود دستور توقف پیش از ارسال فرم، آن را ارسال کرد؛ زیرا به اشتباه انتظار داشت صفحه تأیید دیگری نمایش داده شود.
در یک اجرای جداگانه از Haiku 4.5، مدل یک گزارش شاهد عینی ساختگی درباره یک پرونده قتل حل‌نشده ایجاد و آن را برای اداره پلیس فیلادلفیا ارسال کرد. این گزارش فیلدهای تماس را خالی گذاشته بود و به‌عنوان هرزنامه دسته‌بندی شد و هرگز برای بررسی ارسال نشد. Anthropic در ۸ اکتبر این موضوع را به پلیس اطلاع داد.
Claude Opus 5 و Mythos 5 همچنین از سرویس‌های رایگان کوتاه‌کننده لینک استفاده کردند تا محدودیت طول URL در ابزارهای دریافت وب را دور بزنند. هدف این محدودیت‌ها جلوگیری از درخواست‌هایی بود که می‌توانستند شامل دستورهای تزریق SQL یا اجرای فرمان باشند.
Anthropic بیشتر این موارد را نتیجه پافشاری بیش از حد مدل‌ها توصیف می‌کند؛ یعنی مدل‌ها هنگام مواجهه با وظایف مسدودشده یا غیرممکن، به جای توقف تلاش کردند محدودیت‌ها را دور بزنند. این شرکت همچنین به پدیده «تقلب پاداش» اشاره می‌کند؛ وضعیتی که در آن آموزش مدل ناخواسته راه‌های میانبر را پاداش می‌دهد و باعث می‌شود مدل‌ها این راهبردها را در موقعیت‌های دیگر تکرار کنند.
این شرکت برخی ارزیابی‌ها را بازنشسته کرده، تعدادی دیگر را به‌صورت آفلاین منتقل کرده، تدابیر امنیتی ابزارهای اینترنتی را سخت‌گیرانه‌تر کرده و سامانه‌های خودکار شناسایی و مسدودسازی را توسعه داده است. Anthropic می‌گوید آزمایش این ابزارهای جدید نشان داده که آن‌ها تمام موارد گزارش‌شده را مسدود کرده‌اند. ارزیابی‌های داخلی تا زمانی که اطمینان حاصل نشود این تدابیر حفاظتی می‌توانند چنین رفتارهایی را به‌طور قابل اعتماد شناسایی کنند، بدون دسترسی زنده به اینترنت ادامه خواهند یافت.