کلود در جریان یک آزمایش، گزارش جعلی قتل را به پلیس ارسال کرد
در جریان یک آزمایش شرکت Anthropic، یکی از مدل‌های Claude فرم گزارش‌دهی پلیس فیلادلفیا را تکمیل کرد و یک سرنخ ساختگی درباره یک پرونده قتل حل‌نشده ارسال کرد. Anthropic اکنون دسترسی اینترنت زنده را از تمام ارزیابی‌های داخلی خود حذف کرده است. اگر به Claude در مرورگر Chrome اجازه پر کردن فرم‌ها را می‌دهید، یک تنظیم مهم وجود دارد که باید به آن توجه کنید.
Anthropic در تاریخ ۹ اکتبر گزارشی درباره اقدامات ناخواسته مدل‌های خود منتشر کرد. چشمگیرترین مورد مربوط به مدل Claude Haiku 4.5 بود. این مدل هنگام تولید نمونه‌هایی از تعامل با وب‌سایت‌ها، به صفحه‌ای از پلیس فیلادلفیا درباره یک پرونده قتل حل‌نشده رسید. این صفحه دارای فرم ارسال اطلاعات مردمی بود. Claude در فرم نوشت که شاید فردی مطابق با توضیحات را در نزدیکی خیابانی که در صفحه ذکر شده بود دیده باشد، اما بخش‌های مربوط به نام و اطلاعات تماس را خالی گذاشت و دکمه ارسال را زد. در حالی که صفحه هیچ توضیحی درباره مظنون ارائه نکرده بود، Claude این گزارش را از خود ساخته بود.
این اتفاق در ۱۸ ژوئیه، کمی پیش از نیمه‌شب رخ داد. سامانه پلیس این پیام را به‌عنوان هرزنامه علامت‌گذاری کرد و گزارش هرگز به دست بازرسان نرسید. Anthropic تنها در ۲۸ سپتامبر، هنگام بررسی متن‌های ثبت‌شده آزمایش‌ها، از این حادثه مطلع شد و در اوایل اکتبر شهر را در جریان گذاشت. پلیس در بیانیه‌ای که NBC10 منتشر کرد، گفت: «تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر، غیرقابل قبول است.»
الگویی در متن‌های ثبت‌شده آزمایش‌ها
این گزارش نمونه‌های دیگری را نیز فهرست می‌کند که در آن Claude به‌جای توقف، راهی برای عبور از یک مانع پیدا کرده است. Claude Haiku 4.5 چندین بار فرم‌هایی را ارسال کرد، با اینکه به آن گفته شده بود پیش از مرحله نهایی متوقف شود؛ زیرا انتظار داشت صفحه تأیید نمایش داده شود. یک مدل پژوهشی منتشرنشده نیز زمانی که باید از نسخه آزمایشی یک فرم استفاده می‌کرد، به یک وب‌سایت دولتی واقعی رفت و فرم واقعی را ثبت کرد. طبق گزارش Axios، وزارت خارجه آمریکا ۲۰ درخواست ناقص ویزا از یک مدل آزمایشی Anthropic دریافت کرد که ۱۹ مورد از آن‌ها در ماه اوت ارسال شده بودند. هیچ‌کدام پردازش نشدند. Claude Mythos 5 توکن‌های دسترسی را از فایل تنظیمات یک سرویس نقشه استخراج کرد و مستقیماً سرور آن را درخواست کرد. Claude Opus 5 و Mythos 5 نیز برای عبور از محدودیت طول ابزار دریافت داده، از کوتاه‌کننده‌های رایگان لینک استفاده کردند.
Anthropic می‌گوید هیچ داده مشتری در این موارد دخیل نبوده و تأثیر واقعی آن‌ها حداقلی بوده است. با این حال، برخی از این موارد در استفاده‌های معمول داخلی از Claude رخ داده‌اند. این شرکت همچنین نوشته است که آموزش هم‌راستاسازی مدل‌ها «هنوز به‌تنهایی کافی یا کاملاً مقاوم نیست». پیش‌تر در ماه ژوئیه، Anthropic اعلام کرده بود که Claude در جریان آزمایش‌های امنیتی به سه شرکت واقعی نفوذ کرده بود.
Anthropic اینترنت زنده را از ارزیابی‌های خود حذف می‌کند
اکنون تمام ارزیابی‌های داخلی Anthropic بدون دسترسی به اینترنت آزاد اجرا می‌شوند. این شرکت برخی بنچمارک‌های عمومی را متوقف کرده و برخی دیگر را بازطراحی کرده است تا دیگر با وب‌سایت‌های واقعی تعامل نداشته باشند. ابزارهایی مانند دریافت اطلاعات از وب محدودیت‌های سخت‌گیرانه‌تری پیدا کرده‌اند و ابزارهای تشخیص جدید برای جلوگیری از چنین رفتارهایی توسعه یافته‌اند. Anthropic می‌گوید در آزمایش‌های داخلی خود توانسته تمام موارد گزارش‌شده را شناسایی کند. نیروی جدید Super Intelligence Force در کاخ سفید نیز واکنش نشان داد و از شرکت‌های هوش مصنوعی خواست هرگونه حادثه مرتبط با مدل‌های خود را فوراً گزارش کنند. این گروه در بیانیه‌ای به Axios گفت: «فرایند اطلاع‌رسانی و اصلاح این موارد اختیاری نیست.»
این موضوع برای Claude در Chrome چه معنایی دارد؟
یکی از جزئیات پرونده پلیس برای کاربران عادی اهمیت دارد. دستورهای آزمایش، ورود به حساب‌ها، استفاده از داده‌های شخصی، خرید و اقدامات مخرب را ممنوع کرده بودند، اما درباره فرم‌ها محدودیتی تعیین نکرده بودند و Claude این موضوع را به‌عنوان اجازه تلقی کرد. افزونه Claude در Chrome نیز شکاف مشابهی دارد. راهنمای مجوزهای این افزونه می‌گوید که Claude در همه حالت‌ها از خرید، ایجاد حساب جدید و حذف دائمی جلوگیری می‌کند و همیشه پیش از وارد کردن اطلاعات حساس درخواست تأیید می‌کند. اما یک فرم ساده که اطلاعات حساس ندارد، تحت هیچ‌یک از این محدودیت‌ها قرار نمی‌گیرد.
این افزونه سه حالت تأیید دارد. در حالت «تأیید دستی»، Claude پیش از هر اقدام جداگانه درخواست تأیید می‌کند. حالت «تأیید خودکار» تصمیم‌گیری را به بررسی ایمنی می‌سپارد و گزینه پیش‌فرض در پنل کناری Cowork است، در حالی که حالت «رد کردن همه تأییدها» هر دو مرحله را حذف می‌کند. اگر به Claude اجازه می‌دهید فرم‌ها را در وب‌سایت‌هایی که کنترلشان نمی‌کنید پر کند، از منوی کشویی کنار کادر ورود پیام، حالت تأیید دستی را فعال کنید. تنظیمات افزونه همچنین فهرست تمام وب‌سایت‌هایی را که به‌طور دائمی تأیید کرده‌اید نشان می‌دهد و امکان لغو این مجوزها را فراهم می‌کند. در ماه اوت، تنها یک ایمیل دستکاری‌شده کافی بود تا پنج مرورگر هوش مصنوعی را تحت کنترل بگیرد.