مدل هوش مصنوعی Anthropic در پرونده قتل حل‌نشده فیلادلفیا اطلاعات نادرست به پلیس ارسال کرد
«ممکن است اطلاعاتی درباره این پرونده داشته باشم»، مدلی از هوش مصنوعی به پلیس اعلام کرد.
مقام‌های شرکت Anthropic و پلیس اعلام کردند یک مدل هوش مصنوعی این شرکت، گزارشی نادرست درباره یک پرونده قتل حل‌نشده را در وب‌سایت اداره پلیس فیلادلفیا ثبت کرده است.
این شرکت فناوری در گزارشی که به‌صورت عمومی منتشر کرد، گفت مدل هوش مصنوعی Claude Haiku 4.5 در تابستان، این گزارش ساختگی را در صفحه مربوط به قتل‌های حل‌نشده اداره پلیس فیلادلفیا ارسال کرده است.
اداره پلیس فیلادلفیا (PPD) در بیانیه‌ای اعلام کرد: «پرونده‌های حل‌نشده شامل قربانیان واقعی، خانواده‌های داغدار و مأمورانی هستند که برای یافتن پاسخ تلاش می‌کنند. شرکت‌های فناوری باید تمام اقدامات لازم را انجام دهند تا از ارسال اطلاعات نادرست توسط سامانه‌هایشان به نیروهای انتظامی جلوگیری کنند.»
WPVI
مقام‌های پلیس گفتند این رویداد ساعت ۱۱:۲۷ شب به وقت محلی در ۱۸ ژوئیه رخ داد و گزارش ارسالی ظاهراً از سوی «فردی که ممکن است اطلاعاتی درباره پرونده داشته باشد» ارائه شده بود.
بر اساس بیانیه Anthropic، مدل Claude Haiku 4.5 در فرمی که در وب‌سایت ارسال کرد، نوشته بود: «ممکن است اطلاعاتی درباره این پرونده داشته باشم. به یاد دارم فردی مطابق با توضیحات ارائه‌شده را در همان بازه زمانی در منطقه [نام خیابان درج‌شده در صفحه] دیده باشم. لطفاً اگر این اطلاعات مرتبط است با من تماس بگیرید.»
Leon Neal/Getty Images
اداره پلیس اعلام کرد این گزارش به‌عنوان هرزنامه علامت‌گذاری شد و هرگز برای بازرسان بخش قتل ارسال نشد. مقام‌ها توضیح ندادند چرا این گزارش به پوشه هرزنامه منتقل شده بود.
پلیس فیلادلفیا گفت تا ۷ اکتبر از وجود این گزارش جعلی اطلاع نداشت؛ زمانی که Anthropic این حادثه را به این اداره اطلاع داد. طبق بیانیه پلیس، Anthropic در ۲۸ سپتامبر متوجه این رخداد شده بود.
Anthropic همچنین اعلام کرد که کاخ سفید را در جریان این حادثه قرار داده است.
جدا از این رخداد، دونالد ترامپ، رئیس‌جمهور آمریکا، در ماه سپتامبر رهبران اصلی فناوری کشور از جمله داریو آمودی، مدیرعامل Anthropic، را برای نشستی در کاخ سفید گرد هم آورد؛ نشستی که در آن شرکت‌کنندگان توافقی را امضا کردند که ترامپ آن را «قانون اساسی» برای خودنظارتی در صنعت هوش مصنوعی نامید. ترامپ گفت این توافق خودتنظیمی «از نظر اخلاقی الزام‌آور» است.
Kevin Dietsch/Getty Images
در بیانیه پلیس فیلادلفیا آمده است: «شهر فیلادلفیا این حادثه را بسیار جدی می‌گیرد. شرکت باید تدابیر حفاظتی خود را تقویت کند تا از تأثیرگذاری رخدادهای مشابه بر سامانه‌های شهری بدون اطلاع شهر جلوگیری شود. تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر غیرقابل قبول است.»
Anthropic در گزارشی که روز جمعه منتشر کرد، گفت Claude Haiku 4.5 این گزارش نادرست را زمانی ایجاد کرد که «در حال تولید و اجرای نمونه وظایف روی صفحات وب انتخاب‌شده به‌صورت تصادفی» بود.
این شرکت در گزارش خود گفت: «به Claude دستور داده شده بود هرگز وارد حساب‌ها نشود، حساب جدید ایجاد نکند، اطلاعات شخصی وارد نکند، خرید انجام ندهد یا چیزی مخرب ارسال نکند؛ اما این دستورها ارسال فرم‌ها را ممنوع نکرده بودند.»
پلیس فیلادلفیا اعلام نکرد که این گزارش هوش مصنوعی درباره کدام پرونده قتل حل‌نشده ثبت شده بود.
افشای این رخداد از سوی Anthropic پس از آن انجام شد که این شرکت در اوایل سال جاری اعلام کرد بررسی متن‌های مربوط به امنیت سایبری آن‌ها سه مورد را شناسایی کرده است که در آن‌ها «یک مدل Claude از اینترنت تحقیق کرده یا در تعامل با یک محیط ارزیابی شخص ثالث بوده و سپس به سامانه‌های واقعی سه سازمان مختلف بدون مجوز دسترسی پیدا کرده است».
این گزارش جعلی پلیس تقریباً هم‌زمان با حادثه‌ای رخ داد که در آن گفته شد یک عامل خودکار هوش مصنوعی شرکت OpenAI در جریان یک آزمایش امنیت سایبری، بدون مجوز به سامانه‌های رایانه‌ای شرکت نوپای هوش مصنوعی Hugging Face دسترسی پیدا کرده است. این حادثه باعث شد گروه غیرانتفاعی «مدافعان حقوقی برای علم و فناوری ایمن» (LASST) شکایتی علیه OpenAI ثبت کند.
درو پوزاتری، سخنگوی OpenAI، ماه گذشته به ABC News گفت: «Hugging Face یک حادثه جدی بود و ما در واکنش به آن مجموعه‌ای از اقدامات را انجام داده‌ایم، اما این شکایت کاملاً بی‌اساس است.»
Anthropic اهمیت این حادثه مربوط به گزارش جعلی پلیس را کاهش داد و در گزارش خود گفت این رخداد و سایر مواردی که شناسایی کرده، «تأثیر واقعی حداقلی» داشته‌اند.
پلیس فیلادلفیا گفت تدابیر حفاظتی موجود، تأثیر این حادثه را محدود کرده است.
این اداره اعلام کرد: «فرآیند معمول تحقیقات پلیس برای دریافت سرنخ‌های جرم، نیازمند بررسی انسانی و اعتبارسنجی پیش از ارسال هر سرنخ برای پیگیری‌های تحقیقی است.»
پلیس فیلادلفیا افزود: «صرف‌نظر از اینکه چه کسی اطلاعات را ارسال کرده یا چگونه به اداره رسیده است، یک سرنخ موضوعی برای ارزیابی است، نه یک واقعیت اثبات‌شده. بازرسان اعتبار آن را بررسی کرده و به دنبال شواهد تأییدکننده می‌گردند. یک ارسال خودکار این فرآیند را دور نمی‌زند.»
Anthropic اعلام کرد فرآیند آزمایشی که به ارسال گزارش جعلی پلیس منجر شد را متوقف کرده و اقدامات بیشتری برای بهبود امنیت و سازوکارهای نظارتی انجام داده است تا بتواند «رفتارهایی از این دست را به‌طور قابل اتکا شناسایی کند».
این شرکت مدل به‌روزشده خود، Claude Haiku 5.5، را در ۷ اکتبر منتشر کرد؛ همان روزی که پلیس فیلادلفیا را از گزارش جعلی مطلع کرد.