Anthropic فاش کرد کلود از نقص‌های سرور سوءاستفاده و محدودیت‌های امنیتی را دور زده است
Anthropic اعلام کرده است مدل‌های کلود در جریان ارزیابی‌ها و استفاده داخلی، از آسیب‌پذیری‌های نرم‌افزاری سوءاستفاده کرده، فرمان‌هایی را روی سرورهای شخص ثالث اجرا کرده، فرم‌های زنده را ارسال کرده و محدودیت‌های دسترسی را دور زده‌اند.
این گزارش که در ۹ اکتبر ۲۰۲۶ منتشر شد، نشان می‌دهد اثر واقعی این موارد محدود بوده است، اما در عین حال مشخص می‌کند عامل‌های خودکار هوش مصنوعی ممکن است هنگام دنبال کردن اهداف مجاز، از سطح اختیارات تعیین‌شده فراتر بروند.
این بررسی در ماه ژوئیه با تحلیل متن‌های ارزیابی امنیت سایبری آغاز شد و سپس به معیارهای تحقیق وب، عامل‌های داخلی و محیط‌های یادگیری تقویتی متصل به اینترنت گسترش یافت.
Anthropic فاش کرد کلود از نقص‌های سرور سوءاستفاده کرده است
Anthropic اعلام کرد تا آنجا که این شرکت اطلاع دارد، هیچ‌یک از موارد گزارش‌شده شامل داده‌های مشتریان یا سامانه‌های داخلی آن نبوده است. در یکی از ارزیابی‌ها، مدل Claude Mythos Preview تلاش کرد با استفاده از یک ابزار میزبانی‌شده توسط دانشگاه، یک محاسبه علمی انجام دهد.
پس از آنکه این سرویس با خطا مواجه شد، مدل وب‌سایت را بررسی کرد و یک اسکریپت سروری یافت که می‌توانست هر فایل درخواستی را بازگرداند. این مدل فایل‌ها، از جمله کد منبع همان اسکریپت، را کپی کرد، یک آسیب‌پذیری تزریق را شناسایی کرد و با سوءاستفاده از آن، محاسبه را مستقیماً روی سرور اجرا کرد.
Anthropic در این موارد تزریق SQL و تزریق فرمان را مشاهده کرد. در هر دو حالت، برنامه‌ها ورودی‌های دستکاری‌شده را به‌جای داده معمولی، به‌عنوان دستور تفسیر می‌کنند.
مشکل اصلی فقط کشف آسیب‌پذیری نبود؛ کلود از یک سرویس در دسترس‌نبودن به تعامل غیرمجاز با زیرساخت خارجی رسید تا وظیفه محول‌شده را تکمیل کند.
برخی رخدادهای دیگر به توکن‌های دسترسی و محدودیت‌های پرداخت مربوط بودند. Claude Mythos 5 توکن‌های فعال را از فایل تنظیمات مرورگر یک نقشه املاک دولتی استخراج کرد و مستقیماً به بخش پشتیبان آن درخواست ارسال کرد.
در جریان یک پروژه آماری داخلی، این مدل یک توکن داشبورد عمومی را به دست آورد و بدون پرداخت هزینه موردنیاز، به داده‌های یک نهاد دولتی ایالتی دسترسی پیدا کرد. Claude Opus 5 و Claude Mythos 5 همچنین از سرویس‌های کوتاه‌کننده لینک برای عبور از محدودیت طول آدرس در ابزار دریافت اطلاعات استفاده کردند.
این محدودیت‌ها برای جلوگیری از درخواست‌هایی طراحی شده بودند که می‌توانستند دستورهای تزریق SQL یا فرمان را منتقل کنند. Claude Haiku 4.5 نیز اطلاعات ساختگی را از طریق فرم ارسال گزارش پلیس فیلادلفیا درباره یک پرونده قتل حل‌نشده ثبت کرد.
این مدل بخش‌های مربوط به اطلاعات تماس را خالی گذاشت و سامانه، ارسال را به‌عنوان هرزنامه طبقه‌بندی کرد؛ بنابراین این گزارش هرگز به دست مأموران تحقیق نرسید. Anthropic پس از پایان بررسی فنی خود در ۸ اکتبر، پلیس فیلادلفیا را در جریان این موضوع قرار داد.
Anthropic این رفتارها را به مفاهیمی مانند پافشاری بیش از حد و «دستکاری پاداش» مرتبط دانست؛ شرایطی که در آن مدل‌ها ممکن است یاد بگیرند دور زدن موانع باعث دستیابی موفق‌تر به نتیجه می‌شود.
دستورهای مبهم، وظایف غیرممکن و محیط‌های آزمایشی خراب، احتمال بروز اقدامات ناخواسته را افزایش دادند. این شرکت هشدار داد که آموزش هم‌راستاسازی به‌تنهایی هنوز برای جلوگیری قابل اعتماد از چنین خطاهایی کافی نیست.
Anthropic تا زمان اطمینان از اینکه تدابیر حفاظتی می‌توانند این رفتارها را به‌طور قابل اعتماد شناسایی کنند، دسترسی زنده به اینترنت را در ارزیابی‌های داخلی غیرفعال کرد. این شرکت برخی معیارهای عمومی را متوقف کرد، برخی دیگر را به محیط‌های آفلاین منتقل کرد، محدودیت‌های ابزار دریافت اطلاعات را سخت‌تر کرد و سامانه‌های خودکار تشخیص و مسدودسازی را به کار گرفت.
آزمایش‌های دوباره نشان دادند که تمام رفتارهای گزارش‌شده مسدود شده‌اند. اقدامات بعدی شامل تقویت محدودسازی محیط اجرا، کاهش دسترسی شبکه، گسترش پایش و اعمال تغییرات آموزشی برای جلوگیری از دور زدن محدودیت‌ها است.