کلود در جریان آزمایش‌های تابستانی، گزارش قتل جعلی به پلیس فیلادلفیا ارسال کرد
کلود، مدل هوش مصنوعی Anthropic، در جریان آزمایش‌های تابستانی یک گزارش جعلی درباره قتل به پلیس فیلادلفیا ارسال کرد
Anthropic بیش از دو ماه بعد پلیس را از این اتفاق مطلع کرد.
یک مدل هوش مصنوعی شرکت Anthropic، گزارشی ساختگی درباره یک پرونده قتل حل‌نشده را از طریق فرم آنلاین اداره پلیس فیلادلفیا (PPD) ارسال کرد.
این گزارش که در تاریخ ۱۸ ژوئیه از طریق وب‌سایت PhillyUnsolvedMurders.com توسط «فردی که ممکن است اطلاعاتی درباره این پرونده داشته باشد» ثبت شده بود، مستقیماً به پوشه هرزنامه صندوق دریافت پیام‌ها منتقل شد. Anthropic در ۲۸ سپتامبر متوجه این مورد شد، در ۷ اکتبر پلیس فیلادلفیا را مطلع کرد و نمایندگان خود را روز بعد به مقر پلیس فرستاد.
Anthropic به پلیس اعلام کرد که این هوش مصنوعی در جریان یک تمرین آزمایشی که شامل تعامل با وب‌سایت‌های انتخاب‌شده به‌صورت تصادفی بود، این گزارش را ارسال کرده است. پلیس فیلادلفیا اعلام کرد یافته‌های اولیه‌اش تاکنون با توضیحات Anthropic همخوانی دارد.
از آنجا که این گزارش به‌عنوان هرزنامه علامت‌گذاری شده بود، هرگز به مرکز جرایم لحظه‌ای این اداره نرسید. پلیس فیلادلفیا گفت مأموران تمام گزارش‌های دریافتی، چه خودکار و چه دستی، را پیش از ارسال برای بازرسان بررسی می‌کنند و این روند از سوءاستفاده از سامانه دریافت اطلاعات جلوگیری می‌کند. با این حال، این اداره تأکید کرد که این موضوع «از جدیت ارسال اطلاعات جعلی توسط یک هوش مصنوعی نمی‌کاهد».
پلیس فیلادلفیا در بیانیه‌ای گفت: «شهر فیلادلفیا این حادثه را بسیار جدی می‌گیرد. شرکت باید تدابیر حفاظتی خود را تقویت کند تا از تأثیرگذاری حوادث مشابه بر سامانه‌های شهری بدون اطلاع شهر جلوگیری شود. تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر، غیرقابل قبول است.»
این اداره افزود: «پلیس و دولت چرل پارکر همچنان این حادثه را از نزدیک زیر نظر خواهند داشت و به‌محض در دسترس قرار گرفتن اطلاعات بیشتر، آن را با مردم در میان خواهند گذاشت. علاوه بر تحقیقات درباره این حادثه، دولت پارکر تمام تدابیر نظارتی ضروری را در سطح محلی و با همکاری شرکای ایالتی و فدرال بررسی خواهد کرد.»
Anthropic در ۹ اکتبر گزارشی درباره این حادثه و دیگر خطاهای هوش مصنوعی منتشر کرد. این گزارش چهار دسته از شکست‌های هوش مصنوعی را بررسی می‌کرد: سوءاستفاده از آسیب‌پذیری‌ها، دسترسی به داده‌های محدودشده، دور زدن محدودیت ابزارهای دریافت اطلاعات با استفاده از کوتاه‌کننده‌های لینک و ارسال اطلاعات نادرست از طریق فرم‌های وب.
Anthropic از اعلام نام سازمان‌های آسیب‌دیده خودداری کرد، به‌جز پلیس فیلادلفیا که پس از انتشار عمومی موضوع توسط این اداره نامش مشخص شد. برخی موارد شامل وب‌سایت‌های دولتی محلی، ایالتی و فدرال آمریکا بودند، اما این شرکت مشخص نکرد که هرکدام در کدام‌یک از چهار دسته خطا قرار می‌گیرند.
پلیس فیلادلفیا نام مدل مسئول را اعلام نکرد، اما Anthropic گفت مدل Claude Haiku 4.5 برای تولید و اجرای نمونه وظایف در صفحات وب تصادفی به کار گرفته شده بود و اشاره کرد که دستورهای داده‌شده به مدل به اندازه کافی مشخص نبوده‌اند.
در گزارش Anthropic آمده است: «به کلود دستور داده شده بود هرگز وارد حسابی نشود، حساب جدید ایجاد نکند، اطلاعات شخصی وارد نکند، خرید انجام ندهد یا چیزی مخرب ارسال نکند؛ اما این دستورها ارسال فرم‌ها را به‌طور مشخص ممنوع نکرده بودند.»
متن گزارش جعلی چنین بود: «ممکن است اطلاعاتی درباره این پرونده داشته باشم. به یاد دارم فردی مطابق با این توصیف را در آن بازه زمانی در منطقه اطراف [نام خیابان درج‌شده در صفحه] دیده‌ام. لطفاً اگر این اطلاعات مرتبط است، با من تماس بگیرید.»
Anthropic گفت این حادثه نسبت به حملات سایبری رخ‌داده در تابستان شدت کمتری داشت. در گزارش این شرکت آمده است: «به نظر می‌رسد کلود تنها در حال تولید محتوای نمونه برای انجام وظیفه بوده است، نه اینکه برای رسیدن به هدفی خاص تلاش کند کسی را گمراه کند.»
در مقابل، شرکت سازنده کلود اعلام کرد «عدم صداقت» مشاهده‌شده در تابستان، برای «ساعت‌ها ادامه داشت» و از ادامه حملات پشتیبانی می‌کرد.
Anthropic اعلام کرد هر زمان این نوع خطاها را شناسایی کند، به گزارش آن‌ها ادامه خواهد داد و آموزش‌های رفتاری و هم‌ترازی مدل را نیز بهبود خواهد داد. این گزارش ۳۰۹۵ کلمه‌ای هیچ عذرخواهی‌ای دربر نداشت.