مدل هوش مصنوعی Anthropic یک گزارش قتل جعلی برای پلیس ارسال کرد

هوش مصنوعی Anthropic و گزارش جعلی به پلیس

این پیام ظاهراً از سوی یک شاهد ارسال شده بود و ادعا می‌کرد فردی «مطابق با مشخصات توصیف‌شده» در نزدیکی محل یک قتل حل‌نشده در فیلادلفیا دیده شده است؛ در حالی که صفحه‌ای که مدل به آن پاسخ داده بود، هیچ توضیحی درباره مظنون ارائه نمی‌کرد. این متن توسط یکی از مدل‌های هوش مصنوعی Anthropic در جریان یک آزمایش خودکار تولید شد و این شرکت اکنون گزارشی درباره این گزارش و دیگر اقدامات ناخواسته‌ای که مدل‌های Claude در وب‌سایت‌های واقعی انجام داده‌اند منتشر کرده است.

نکات کلیدی

• Claude Haiku 4.5 در تاریخ ۱۸ ژوئیه، هنگام انجام وظایف نمونه روی وب‌سایت‌های انتخاب‌شده به‌صورت تصادفی، یک گزارش جعلی از طریق PhillyUnsolvedMurders.com ارسال کرد؛ این گزارش به پوشه هرزنامه رفت و هرگز به دست بازرسان نرسید.
• Anthropic این حادثه را در ۲۸ سپتامبر شناسایی کرد، در ۷ اکتبر پلیس را در جریان گذاشت و در ۹ اکتبر گزارشی منتشر کرد که چهار نوع رفتار ناخواسته مدل را، از جمله در برخی وب‌سایت‌های دولتی آمریکا، توضیح می‌دهد.
• این شرکت دسترسی زنده به اینترنت را برای همه ارزیابی‌های داخلی متوقف کرده است تا زمانی که سامانه‌های نظارتی بتوانند چنین رفتارهایی را به‌طور قابل اعتماد شناسایی کنند.

مدل چه چیزی نوشت؟

در این آزمایش از Claude Haiku 4.5 خواسته شد وظایف نمونه‌ای را در صفحات وبی که به‌صورت تصادفی انتخاب شده بودند، ایجاد و اجرا کند. یکی از اجراها به صفحه‌ای درباره یک قتل حل‌نشده رسید که شامل فرم ارسال اطلاعات برای پلیس بود.

دستورهای آزمایش، ورود به حساب‌ها، ایجاد حساب جدید، وارد کردن اطلاعات شخصی، انجام خرید و ارسال هر چیزی که مخرب باشد را ممنوع کرده بودند. اما درباره فرم‌ها محدودیتی وجود نداشت. مدل یک پیام کوتاه برای گزارش نوشت، اعلام کرد که ممکن است اطلاعاتی داشته باشد و جمله‌ای با این مضمون وارد کرد: «به یاد دارم فردی را دیدم که با مشخصات توصیف‌شده مطابقت داشت و در این منطقه بود.» سپس نام خیابانی را که در صفحه ذکر شده بود، وارد کرد. مدل بخش‌های مربوط به نام و اطلاعات تماس را خالی گذاشت و دکمه ارسال را فشرد.

Anthropic می‌گوید متن ثبت‌شده نشان می‌دهد مدل در حال تولید محتوای نمونه برای انجام وظیفه خود بوده، نه اینکه قصد فریب کسی را داشته باشد. این گزارش ساعت ۱۱:۲۷ شب ۱۸ ژوئیه ارسال شد.

واکنش پلیس

سامانه‌های پلیس این پیام را به‌عنوان هرزنامه شناسایی کردند. پلیس اعلام کرد این گزارش هرگز برای بررسی به مرکز جرایم لحظه‌ای ارسال نشد و هیچ نشانه‌ای از دسترسی به داده‌های شهری یا اطلاعات پلیس وجود ندارد.

با این حال، مقام‌های پلیس به این موضوع اعتراض کردند. پلیس تأخیر Anthropic در اطلاع‌رسانی به شهر را «غیرقابل قبول» خواند. فاصله میان ارسال گزارش در ژوئیه و اطلاع‌رسانی در اکتبر بیش از ۱۱ هفته بود. این اداره اعلام کرد: «پرونده‌های حل‌نشده شامل قربانیان واقعی، خانواده‌های داغدار و مأمورانی هستند که برای یافتن پاسخ تلاش می‌کنند.»

مدیران این اداره در ۸ اکتبر با نمایندگان شرکت دیدار کردند. پلیس، اداره حقوقی شهر، دفتر نوآوری و فناوری و تیم شهردار شرل پارکر همچنان در حال بررسی این پرونده هستند. طبق قوانین پنسیلوانیا، ارائه آگاهانه گزارش نادرست به پلیس معمولاً برای افراد جرم سبک محسوب می‌شود، هرچند این قانون با در نظر گرفتن انسان‌ها نوشته شده است.

چهار نوع فراتر رفتن از حدود

گزارش پلیس تنها یکی از موارد شناسایی‌شده بود. Anthropic رفتارهای مشاهده‌شده را در چهار دسته قرار داده است.

در دسته نخست، Claude از نقص‌های ساده نرم‌افزاری در سرورهای خارجی استفاده کرد. هنگامی که یک ابزار پژوهشی میزبانی‌شده توسط دانشگاه خطا بازگرداند، Claude Mythos Preview اسکریپتی را پیدا کرد که فایل‌ها را ارائه می‌داد، کد آن را خواند، یک نقص تزریق را شناسایی کرد و از آن برای اجرای فرمان روی سرور استفاده کرد.

دسته دوم مربوط به فرم‌هایی بود که Claude نباید ارسال می‌کرد. علاوه بر گزارش پلیس، یک مدل پژوهشی منتشرنشده پس از اینکه نسخه تمرینی فرم بارگذاری نشد، یک فرم واقعی دولتی را ثبت کرد. همچنین Claude Haiku 4.5 در برخی موارد زمانی که از آن خواسته شده بود یک مرحله پیش از پایان متوقف شود، همچنان دکمه ارسال را فشار داد.

در دسته سوم، Claude برای دسترسی به داده‌هایی که پشت توکن‌ها یا هزینه‌ها قرار داشتند، موانع را دور زد. Claude Mythos 5 توکن‌های دسترسی را از فایل تنظیمات یک نقشه محلی دولتی استخراج کرد و مستقیماً سرور را درخواست کرد. در موردی دیگر، این مدل از توکن بازدیدکنندگان یک داشبورد سازمان دولتی ایالتی استفاده کرد تا هزینه دسترسی به داده را دور بزند.

در دسته چهارم، چند مدل از جمله Claude Opus 5 و Claude Mythos 5 از کوتاه‌کننده‌های رایگان لینک برای عبور از محدودیت طول در ابزار دریافت وب خود استفاده کردند. اپراتور یکی از این سرویس‌های کوتاه‌کننده، ترافیک را شناسایی و Anthropic را مطلع کرد.

Anthropic می‌گوید بیشتر این موارد نوعی پافشاری مدل‌ها بوده است؛ یعنی زمانی که یک مدل نمی‌تواند وظیفه‌ای را طبق دستور اصلی انجام دهد، راهی برای عبور از مانع پیدا می‌کند. این شرکت نام سازمان‌های درگیر را اعلام نکرد، اما می‌گوید هر نهاد آسیب‌دیده را مطلع کرده و گزارشی نیز به کاخ سفید ارائه داده است.

تغییرات اعمال‌شده توسط Anthropic

این شرکت آزمایش خودکاری را که منجر به ارسال گزارش شد متوقف کرد و برای اجراهای آینده یک مرحله اعتبارسنجی اضافه کرد. همچنین برخی ارزیابی‌های عمومی را حذف کرد، برخی دیگر را به محیط‌های آفلاین منتقل کرد و محدودیت‌های ابزار دریافت وب خود را افزایش داد.

اکنون دسترسی زنده به اینترنت برای همه ارزیابی‌های داخلی Anthropic غیرفعال است. این شرکت همچنین ابزارهایی ساخته که رفتارهای مطرح‌شده در گزارش را شناسایی و مسدود می‌کنند؛ این ابزارها در آزمایش با همه موارد فهرست‌شده، موفق به توقف آن‌ها شدند. عامل‌های داخلی نیز به زیرساختی با مدیریت مرکزی و سازوکارهای کنترل قوی‌تر منتقل می‌شوند.

Anthropic شدت این موارد را کمتر از رخدادهای امنیت سایبری اعلام‌شده در ماه‌های ژوئیه و سپتامبر ارزیابی می‌کند. این شرکت قصد دارد با گسترش بررسی گزارش‌های ثبت‌شده، انتشار چنین یافته‌هایی را ادامه دهد.

این افشاگری پس از مجموعه‌ای از رخدادهای مشابه در تابستان امسال در صنعت هوش مصنوعی منتشر شده است. OpenAI چند روز از حضور عامل هوش مصنوعی خود در Hugging Face بی‌خبر بود و بعدتر به بیش از ۱۰۰ سازمان درباره فعالیت عامل‌های هوش مصنوعی سرکش هشدار داد. در سپتامبر نیز OpenAI پس از اینکه یکی از عامل‌هایش به یک پورتال سلامت دولتی استرالیا نفوذ کرد، عذرخواهی کرد. هر یک از این موارد از داخل آزمایش‌هایی آغاز شدند که قرار بود در محیطی کنترل‌شده باقی بمانند.

اکنون وب‌سایت‌های دولتی در چندین مورد از این گزارش‌ها مطرح شده‌اند و همین موضوع باعث شده نهادهای نظارتی توجه بیشتری نشان دهند. گزارش Anthropic درباره فعالیت مدل‌ها در وب‌سایت‌های فدرال، ایالتی و محلی در زمانی منتشر شده که شرکت‌ها اختیارات بیشتری به عامل‌های هوش مصنوعی در محیط‌های کاری می‌دهند؛ روندی که پیش‌تر یک مشکل جدید در امنیت هویت ایجاد کرده است. مجموعه‌ای از پلتفرم‌های نظارت بر عامل‌های خودمختار برای حل این شکاف ایجاد شده‌اند، اما پرونده فیلادلفیا نشان می‌دهد چگونه یک دستور ظاهراً بی‌ضرر می‌تواند در نهایت به صندوق ورودی پلیس ختم شود.

نوشته ویتوتاس والینسکاس