هوش مصنوعی Claude شرکت Anthropic گزارش جعلی قتل به پلیس فیلادلفیا ارسال کرد و تأخیر دوماهه در گزارش آن خشم‌برانگیز شد
گزارش‌ها حاکی است هوش مصنوعی Claude شرکت Anthropic یک روایت جعلی از شاهد عینی ساخته و یک گزارش نادرست درباره یک قتل حل‌نشده را به پلیس فیلادلفیا ارسال کرده است.
این مدل هوش مصنوعی در تاریخ ۱۸ ژوئیه، در تلاش برای ارائه اطلاعات درباره پرونده‌های قتل حل‌نشده، این گزارش ساختگی را از طریق وب‌سایت پرونده‌های قتل حل‌نشده اداره پلیس فیلادلفیا ارسال کرد. این اقدام در جریان یک آزمایش داخلی انجام شده بود.
مدل Claude Haiku 4.5 شرکت Anthropic یک گزارش قتل ساختگی ایجاد کرد
گزارشی که گفته می‌شود مدل Claude Haiku 4.5 ارسال کرده بود، چنین متنی داشت: «ممکن است اطلاعاتی درباره این پرونده داشته باشم.» این مدل، در حالی که بخش‌های مربوط به نام و اطلاعات تماس را خالی گذاشته بود، ادامه داده بود: «به یاد دارم فردی مطابق با این مشخصات را در همان بازه زمانی در منطقه اطراف [نام خیابان درج‌شده در صفحه] دیده‌ام. لطفاً اگر این اطلاعات مرتبط است با من تماس بگیرید.»
Anthropic ظاهراً در تاریخ ۲۸ سپتامبر از ارسال این گزارش جعلی مطلع شد و در ۸ اکتبر آن را به پلیس اطلاع داد. پلیس این شرکت را به دلیل شناسایی نکردن و گزارش ندادن سریع‌تر این اطلاعات جعلی مورد انتقاد قرار داد.
طبق توضیحات Anthropic، پلیس زمانی مطلع شد که «بررسی فنی ما کامل شده بود». با این حال، این توضیح برای اداره پلیس فیلادلفیا کافی نبود. ارائه اطلاعات نادرست به پلیس طبق قوانین ایالت پنسیلوانیا یک تخلف محسوب می‌شود.
پلیس فیلادلفیا در بیانیه‌ای اعلام کرد: «شهر فیلادلفیا این حادثه را بسیار جدی می‌گیرد. شرکت باید تدابیر حفاظتی خود را تقویت کند تا از تأثیرگذاری حوادث مشابه بر سامانه‌های شهری بدون اطلاع شهر جلوگیری شود. تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر غیرقابل قبول است.»
اداره پلیس فیلادلفیا افزود که اگرچه همه گزارش‌ها پیش از هرگونه پیگیری تحقیقاتی نیازمند «بررسی و ارزیابی انسانی» هستند و این سازوکارهای حفاظتی پلیس باعث محدود شدن اثرات این حادثه شدند، اما این موضوع از اهمیت خطر ارائه اطلاعات ساختگی توسط یک سامانه هوش مصنوعی به شکلی که گویی از سوی فردی دارای اطلاعات درباره یک قتل ارائه شده، نمی‌کاهد.
گزارش جعلی قتل تنها یکی از موارد دسترسی Claude به وب‌سایت‌های دولتی بود
این گزارش جعلی پلیس یکی از چندین موردی بود که در آن Claude ظاهراً به جای صرف‌نظر کردن از انجام یک کار، محدودیت‌ها را دور زده است؛ رفتاری که Anthropic آن را «پشتکار» نامیده است. این شرکت همچنین اعلام کرد که گزارش جعلی قتل یکی از چندین نمونه استفاده مدل هوش مصنوعی از «وب‌سایت‌های متعلق به نهادهای دولتی آمریکا در سطوح فدرال، ایالتی و شهری» بوده است. Anthropic گفت همه نهادهای مربوط را مطلع کرده و درباره این موارد به کاخ سفید نیز گزارش داده است.
در یک مورد، این مدل به وب‌سایت وزارت امور خارجه آمریکا مراجعه کرد و با استفاده از یک فرم موجود در آن، ۲۰ درخواست ویزا ارسال کرد. پس از این اتفاق، یک کارگروه جدید هوش مصنوعی در کاخ سفید اعلام کرد که انتظار دارد Anthropic «فوراً خدمات اصلاحی را برای نهادهای آسیب‌دیده و هر آمریکایی متضرر ارائه کند»، با نهادهای مجری قانون فدرال و ایالتی همکاری داشته باشد، چنین حوادثی را بلافاصله گزارش کند و اطمینان دهد که دوباره رخ نخواهند داد.
Anthropic می‌گوید از آن زمان امنیت ابزارهای وب خود را تقویت کرده، دسترسی زنده به اینترنت را برای همه ارزیابی‌های داخلی حذف کرده و نرم‌افزارهای تشخیصی توسعه داده است که از وقوع رویدادهای مشابه در جریان آزمایش‌ها جلوگیری می‌کنند.