Anthropic می‌گوید عامل هوش مصنوعی این شرکت در پرونده قتل قصد «گمراه کردن» پلیس را نداشت
مدل هوش مصنوعی Claude شرکت Anthropic در ماه ژوئیه در جریان یک پرونده قتل، یک گزارش جعلی به پلیس فیلادلفیا ارسال کرد؛ اتفاقی که تازه‌ترین نمونه از اقدام‌های پیش‌بینی‌نشده هوش مصنوعی در مرحله آزمایش است. به گفته پلیس فیلادلفیا، این شرکت تا ۲۸ سپتامبر از این حادثه مطلع نشد و در ۷ اکتبر موضوع را به این اداره اطلاع داد.
Anthropic در مطلبی که ۹ اکتبر منتشر کرد، شدت این اتفاق را کمتر از موارد قبلی دانست که در آن‌ها Claude اقدام‌هایی انجام داده بود که از سوی شرکت انتظار نمی‌رفت یا برای آن‌ها دستور نگرفته بود. این شرکت همچنین گفت بر اساس متن ثبت‌شده از این رویداد، «به نظر می‌رسد Claude صرفاً برای انجام این وظیفه، محتوای نمونه تولید می‌کرده و تلاش نمی‌کرده برای رسیدن به هدفی، کسی را گمراه کند.»
بر اساس نوشته وبلاگی Anthropic، ارسال گزارش جعلی درباره قتل یکی از تازه‌ترین نمونه‌های «اقدام‌های ناخواسته مدل» در Claude بوده است. این شرکت نمونه‌های دیگری را نیز ذکر کرد؛ از جمله اینکه مدل برای دسترسی به داده‌هایی که با توکن یا پرداخت هزینه محدود شده بودند، از یک محدودیت عبور کرده و همچنین از یک نقص ساده نرم‌افزاری برای اجرای فرمان‌ها روی یک سرور استفاده کرده است.
Anthropic گفت این موارد دقیقاً مشابه «سرکش شدن» هوش مصنوعی نیستند، اما این حادثه نیز نمونه‌ای از توانایی مدل‌های هوش مصنوعی برای متوقف نشدن در مسیر تکمیل یک وظیفه است.
شرکت‌های Anthropic، OpenAI، Meta و دیگر فعالان حوزه هوش مصنوعی تاکنون موارد متعددی را گزارش کرده‌اند که در آن مدل‌هایشان در سناریوهای آزمایشی، در اینترنت آزاد اقدام‌های غیرمنتظره‌ای انجام داده‌اند. داریو آمودی، مدیرعامل Anthropic، نیز در مطلبی در ماه سپتامبر هشدار داد شرکت‌های هوش مصنوعی باید «سرعت بهبود توانایی‌های مدل‌های هوش مصنوعی را کاهش دهند» زیرا این فناوری خطرهای جدی به همراه دارد.
اداره پلیس فیلادلفیا در بیانیه‌ای درباره این حادثه توضیح داد: «طبق اعلام Anthropic، مدل این شرکت در حال انجام آزمایشی درباره تعامل با وب‌سایت‌هایی بود که به‌صورت تصادفی انتخاب شده بودند. این مدل به وب‌سایت PhillyUnsolvedMurders.com دسترسی پیدا کرد و اطلاعات نادرستی درباره یک پرونده قتل حل‌نشده ارسال کرد.»
این اداره افزود: «این ارسال که در تاریخ ۱۸ ژوئیه ۲۰۲۶ ساعت ۱۱:۲۷ شب ثبت شده بود، ظاهراً از طرف فردی انجام شده بود که ممکن است اطلاعاتی درباره این پرونده داشته باشد.»
این گزارش در نهایت به پوشه هرزنامه منتقل شد. پلیس گفت هیچ نشانه‌ای از دسترسی غیرمجاز به سامانه‌هایش یا به خطر افتادن داده‌های اداره وجود ندارد. «گزارش» ایجادشده توسط Claude شامل توصیف یک فرد، نام یا اطلاعات تماس نبود؛ اما طبق اعلام Anthropic، این مدل گفته بود به یاد می‌آورد فردی مطابق با این توصیف را در حوالی «خیابانی که در صفحه ذکر شده بود» و در همان بازه زمانی دیده است.
Anthropic در واکنش به این اتفاق اعلام کرد دسترسی اینترنتی را برای ارزیابی‌های داخلی مدل‌های هوش مصنوعی خود قطع می‌کند. این شرکت پیش از این نیز در پاسخ به رخدادهای امنیت سایبری، دسترسی اینترنتی را برای ارزیابی‌های «پرخطر» و امنیت سایبری محدود کرده بود.
Anthropic در مطلب وبلاگی روز جمعه خود گفت: «مواردی که تاکنون در این دسته‌ها شناسایی کرده‌ایم، تأثیر حداقلی در دنیای واقعی داشته‌اند.» این شرکت افزود که این رخدادها را از نظر هم‌راستایی و امنیت، «به‌طور قابل توجهی کم‌خطرتر» از حوادثی می‌داند که در گزارش‌های ۳۰ ژوئیه و ۹ سپتامبر خود منتشر کرده بود.
Anthropic گفت اقدام‌های اخیر Claude نمونه‌ای از «پافشاری» هستند؛ وضعیتی که در آن Claude وقتی نمی‌تواند یک وظیفه را طبق دستور انجام دهد، به جای توقف، تلاش می‌کند از محدودیت عبور کند.
اداره پلیس فیلادلفیا از Anthropic به دلیل ناتوانی در مهار رفتار هوش مصنوعی خود انتقاد کرد. این اداره در بیانیه‌ای گفت: «این شرکت باید تدابیر حفاظتی خود را تقویت کند تا از وقوع حوادث مشابه و تأثیرگذاری آن‌ها بر سامانه‌های شهری بدون اطلاع شهر جلوگیری شود.»
پلیس فیلادلفیا همچنین افزود: «تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر، غیرقابل قبول است.»