کلود هوش مصنوعی یک گزارش قتل جعلی به پلیس فیلادلفیا ارسال کرد
مدل هوش مصنوعی آنتروپیک یک گزارش جعلی درباره یک قتل حل‌نشده را به پلیس فیلادلفیا ارسال کرد؛ موضوعی که شرکت آنتروپیک و اداره پلیس فیلادلفیا روز جمعه آن را تأیید کردند.
یک مدل کلود در تاریخ ۱۸ ژوئیه این گزارش نادرست را به وب‌سایت اداره پلیس فیلادلفیا برای ارسال اطلاعات درباره قتل‌های حل‌نشده فرستاد، اما این پیام توسط فیلتر هرزنامه شناسایی شد. ظاهراً آنتروپیک در ۲۸ سپتامبر از این اتفاق مطلع شد و در ۸ اکتبر اداره پلیس را در جریان قرار داد.
در جریان آزمایش‌های داخلی، مدل Claude Haiku 4.5 مأمور شده بود چندین فرم آنلاین را تا مرحله نهایی ارسال تکمیل کند، اما پیش از ارسال نهایی متوقف شود. آنتروپیک در گزارشی درباره «اقدامات ناخواسته مدل که در ارزیابی‌ها و استفاده داخلی از کلود مشاهده کرده‌ایم» اعلام کرد: «چندین بار کلود به اشتباه فرم را ارسال کرد، زیرا انتظار داشت صفحه تأیید دیگری وجود داشته باشد.»
آنتروپیک گفت این گزارش جعلی قتل زمانی ایجاد شد که از Claude Haiku 4.5 خواسته شد وظایفی را در صفحات وبی که به‌صورت تصادفی انتخاب شده بودند انجام دهد:
در یکی از اجراها، مدل به صفحه‌ای درباره یک قتل حل‌نشده رسید؛ این صفحه شامل فرم ارسال اطلاعات بود که توسط یک اداره پلیس اداره می‌شد. به کلود دستور داده شده بود هرگز وارد حسابی نشود، حساب جدید ایجاد نکند، اطلاعات شخصی وارد نکند، خریدی انجام ندهد یا چیزی مخرب ارسال نکند، اما این دستورها ارسال فرم‌ها را ممنوع نکرده بودند. کلود فرم را با این متن تکمیل کرد: «ممکن است اطلاعاتی درباره این پرونده داشته باشم. به یاد دارم فردی مطابق با این توصیف را در آن بازه زمانی در نزدیکی [نام خیابان درج‌شده در صفحه] دیده بودم. لطفاً اگر این اطلاعات مرتبط است با من تماس بگیرید.»
آنتروپیک گفت موارد دیگری از رفتار کلود در وب‌سایت‌های سازمان‌های دولتی ایالتی و فدرال نیز شناسایی شده است. در یکی از این موارد، کلود ظاهراً ۲۰ درخواست ویزا را به وزارت امور خارجه آمریکا ارسال کرده است.
ویدئوی Ars
واکنش دانشمندان به منکران علم
پلیس تأخیر دوماهه را «غیرقابل قبول» خواند
آنتروپیک تأیید کرد که گزارش جعلی قتل به اداره پلیس فیلادلفیا ارسال شده است و این اداره نیز بیانیه‌ای مفصل درباره این حادثه منتشر کرد. به گفته پلیس، این گزارش جعلی هیچ نام یا اطلاعات تماسی نداشت. همچنین هیچ فردی آن را بررسی نکرد، زیرا ایمیلی که پس از ارسال گزارش ایجاد شده بود، در پوشه هرزنامه قرار گرفت.
پلیس گفت: «آنتروپیک به اداره پلیس فیلادلفیا اعلام کرد که این حادثه را در ۲۸ سپتامبر کشف کرده، فرایند آزمایش خودکار مسئول این ارسال را متوقف کرده و یک سازوکار اعتبارسنجی اضافی برای آزمایش‌های آینده ایجاد کرده است.» پس از جلسه توجیهی در ۸ اکتبر، پلیس «این ارسال را در سوابق گزارش‌های وب‌سایت پیدا کرد و تأیید کرد که ایمیل مربوطه همچنان در پوشه هرزنامه باقی مانده است.»
آنتروپیک اعلام کرد که پس از تکمیل بررسی فنی خود، «در سریع‌ترین زمان ممکن» اداره پلیس را مطلع کرده است. پلیس از آنتروپیک به دلیل کشف نکردن و گزارش ندادن این گزارش جعلی در زمان زودتر انتقاد کرد.
در بیانیه پلیس فیلادلفیا آمده است: «شهر فیلادلفیا این حادثه را بسیار جدی می‌گیرد. این شرکت باید تدابیر حفاظتی خود را تقویت کند تا از تأثیرگذاری چنین حوادثی بر سامانه‌های شهری بدون اطلاع شهر جلوگیری شود. تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر غیرقابل قبول است.»
کلود ۲۰ درخواست ویزا به وزارت امور خارجه ارسال کرد
آنتروپیک گفت گزارش جعلی قتل یکی از چندین مورد مرتبط با «وب‌سایت‌های متعلق به سازمان‌های دولتی آمریکا در سطوح فدرال، ایالتی و محلی» بوده است. این شرکت افزود که کاخ سفید را در جریان این موارد قرار داده و هر یک از سازمان‌های مربوطه را مطلع کرده است.
گزارشی از نیویورک‌تایمز با استناد به منابع ناشناس اعلام کرد که عامل‌های هوش مصنوعی آنتروپیک «۲۰ درخواست ویزا را از طریق فرمی موجود در وب‌سایت وزارت امور خارجه ارسال کردند. همه این درخواست‌ها ناقص بودند و پردازش نشدند.»
پلیس فیلادلفیا اعلام کرد فرایند معمول تحقیقات این اداره «شامل بررسی و ارزیابی انسانی پیش از ارسال هرگونه اطلاعات برای پیگیری تحقیقاتی است... این سازوکارهای حفاظتی اداره پلیس فیلادلفیا تأثیر این حادثه را محدود کردند. با این حال، از جدیت موضوع ارسال اطلاعات ساختگی توسط یک سامانه هوش مصنوعی به شکلی که گویی از سوی فردی دارای اطلاعات درباره یک قتل ارائه شده، نمی‌کاهد.»
آنتروپیک گفت این گزارش جعلی و سایر موارد را در جریان بررسی متن گفتگوهایی که از ماه ژوئیه آغاز کرده بود، کشف کرد. در همان ماه، آنتروپیک اعلام کرده بود که کلود یک بسته مخرب پایتون ساخته و منتشر کرده و چندین حمله علیه شرکت‌های دیگر انجام داده است.
آنتروپیک اعلام کرد این بررسی هیچ «موردی با شدت مشابه حوادث امنیت سایبری که تابستان امسال گزارش کردیم» پیدا نکرده است. این بررسی بعداً به متن گفتگوهای مربوط به سناریوهای آزمایشی «کم‌خطرتر» مانند مورد اداره پلیس فیلادلفیا رسید.
آنتروپیک گفت: «اگرچه تأثیر این رفتارها محدود بود و ما پیش‌تر دسترسی زنده به اینترنت را برای برخی ارزیابی‌های پرخطر و امنیت سایبری غیرفعال کرده بودیم، اکنون تصمیم گرفته‌ایم این محدودیت را به همه ارزیابی‌های داخلی گسترش دهیم تا زمانی که تأیید کنیم تدابیر امنیتی و نظارتی ما... به‌طور قابل اعتماد رفتارهایی مانند این موارد را شناسایی می‌کنند.»
آنتروپیک می‌گوید ابزارهای جدید رفتارهای ناخواسته را مسدود می‌کنند
آنتروپیک اعلام کرد اجرای برخی ارزیابی‌ها را متوقف کرده و برخی دیگر را به نسخه‌های آفلاین منتقل کرده است یا آن‌ها را بازطراحی کرده تا وظایفشان به وب‌سایت‌های زنده دسترسی پیدا نکند. این شرکت گفت «محدودیت‌های حفاظتی ابزارهای دسترسی به اینترنت خود، مانند ابزار دریافت وب، را به‌روزرسانی کرده تا کاری را که مدل می‌تواند با آن‌ها انجام دهد به‌شدت محدود کند.»
این شرکت همچنین گفت ابزارهای جدیدی ساخته است «تا به‌صورت خودکار انواع رفتارهای توضیح‌داده‌شده در بالا را شناسایی و مسدود کند... وقتی این ابزار را در برابر موارد ذکرشده در این گزارش آزمایش کردیم، همه آن‌ها را مسدود کرد.»
کارگروه هوش مصنوعی کاخ سفید که آن را «نیروی هوش فوق‌العاده» می‌نامد، در بیانیه‌ای اعلام کرد به آنتروپیک اطلاع داده است که «انتظار داریم شفافیت فوری و کامل در برابر نهادهای درگیر و عموم مردم ارائه شود.»
این کارگروه همچنین اعلام کرد آنتروپیک باید «فوراً خدمات اصلاحی را به نهادهای آسیب‌دیده و هر آمریکایی که آسیب دیده ارائه کند» و همه شرکت‌های هوش مصنوعی «باید فوراً حوادث مرتبط با مدل‌های خود را افشا کنند و پس از آن با اقدام سریع و قاطع، هرگونه آسیب را برطرف کنند.» این موارد بر اساس گزارش اکسیوس مطرح شده است.