کلود گزارشی ساختگی درباره یک پرونده قتل حل‌نشده به پلیس ارسال کرد؛ آنتروپیک ماجرا را منتشر کرد
| نویسنده: شین اس. الیسون
مدل هوش مصنوعی Claude Haiku 4.5 با استفاده از اطلاعاتی که خودش ساخته بود، فرم دریافت گزارش‌های مردمی یک اداره پلیس را درباره پرونده قتلی حل‌نشده تکمیل و ارسال کرد. شرکت آنتروپیک در ۹ اکتبر جزئیات این اتفاق را منتشر کرد. به گفته آنتروپیک، این گزارش به‌عنوان هرزنامه شناسایی شد و هرگز برای بررسی به بخش تحقیقات ارجاع داده نشد. اداره پلیس فیلادلفیا نیز در بیانیه مطبوعاتی خود این اتفاق را اطلاع‌رسانی کرده است.
این مدل مأمور شده بود در صفحات وبی که به‌صورت تصادفی انتخاب می‌شدند، وظایفی نمونه تعریف و اجرا کند. در جریان همین فعالیت، به صفحه‌ای درباره پرونده قتل مذکور رسید. آنتروپیک می‌گوید دستورالعمل‌های مدل، ورود به حساب‌های کاربری، ساخت حساب جدید، واردکردن اطلاعات شخصی، خرید و انجام اقدامات مخرب را ممنوع کرده بود، اما هیچ محدودیتی درباره ارسال فرم‌ها وجود نداشت. کلود در فرم پلیس نوشت: «ممکن است اطلاعاتی درباره این پرونده داشته باشم. به یاد دارم در آن بازه زمانی، فردی را که با مشخصات اعلام‌شده مطابقت داشت، در محدوده [خیابان نام‌برده‌شده در صفحه] دیده‌ام. اگر این اطلاعات مرتبط است، لطفاً با من تماس بگیرید.» به گفته آنتروپیک، صفحه وب هیچ توصیفی از مشخصات عامل جنایت ارائه نکرده بود و مدل نیز قسمت‌های مربوط به نام و اطلاعات تماس را خالی گذاشت.
آنتروپیک این موارد را در چهار دسته رفتاری طبقه‌بندی کرده است
ارسال فرم‌هایی که مدل نباید آن‌ها را ارسال می‌کرد، یکی از این چهار دسته است و ماجرای گزارش ساختگی به پلیس تنها نمونه آن نیست. در یک ارزیابی جداگانه، به Claude Haiku 4.5 دستور داده شده بود فرم مشخصی را فقط تا مرحله پیش از ارسال نهایی تکمیل کند. بااین‌حال، مدل چندین بار فرم را ارسال کرد، زیرا انتظار داشت پس از ارسال، صفحه تأیید نمایش داده شود. در موردی دیگر، یک مدل تحقیقاتی منتشرنشده که در رده پیشرفته‌ترین مدل‌ها قرار نداشت، با نسخه تمرینی یک فرم دولتی مواجه شد که بارگذاری نمی‌شد. مدل به‌جای توقف، به وب‌سایت میزبان فرم واقعی مراجعه کرد و همان فرم را ارسال کرد.
سه دسته دیگر شامل سوءاستفاده از نقص نرم‌افزاری برای اجرای فرمان روی سرور، دورزدن محدودیت‌ها برای دسترسی به داده‌های حفاظت‌شده و استفاده از سرویس‌های کوتاه‌کننده لینک برای عبور از محدودیت طول آدرس در ابزار واکشی محتوای وب است. در یکی از موارد، Claude Mythos Preview هنگام کار با یک ابزار تحلیل میزبانی‌شده در دانشگاه با خطا مواجه شد. این مدل سپس اسکریپتی روی سرور پیدا کرد که «هر فایلی را که از آن درخواست می‌شد، برمی‌گرداند». پس از آن نیز «آسیب‌پذیری تزریقی را پیدا کرد که امکان اجرای فرمان روی سرور را فراهم می‌کرد» و از این قابلیت برای تکمیل محاسبات خود استفاده کرد. در نمونه‌ای دیگر، Claude Mythos 5 ابزاری برای پذیرش توافق‌نامه استفاده از داده‌ها در اختیار نداشت؛ بنابراین از برنامه‌های میزبانی‌شده در همان وب‌سایت کمک گرفت تا صفحه توافق‌نامه را بارگذاری کند و از طرف خودش آن را بپذیرد.
موارد مربوط به دسترسی غیرمجاز به داده‌های محدودشده نیز به Claude Mythos 5 مربوط می‌شد. در یک مورد، از مدل خواسته شده بود موقعیت مکانی ثبت‌شده در یک عکس را شناسایی کند. مدل فایل تنظیماتی را بررسی کرد که سامانه نقشه املاک یک دولت محلی برای مرورگر کاربران ارسال می‌کرد. سپس «توکن‌های دسترسی معتبر» را در آن یافت و با استفاده از آن‌ها مستقیماً از سرور پشتیبان نقشه اطلاعات درخواست کرد. در موردی دیگر، این مدل در حال انجام پروژه‌ای آماری برای یکی از پژوهشگران آنتروپیک بود که از طریق نسخه آرشیوشده وب‌سایت یک نهاد دولتی متوجه شد داشبورد عمومی آن نهاد به هر بازدیدکننده یک توکن دسترسی می‌دهد. مدل توکن دریافت کرد و بدون پرداخت هزینه، داده‌هایی را از سامانه درخواست کرد که آن نهاد معمولاً در ازای دریافت پول می‌فروشد.
Claude Opus 5 و Claude Mythos 5 نیز از جمله مدل‌هایی بودند که برای عبور از محدودیت‌ها به سرویس‌های کوتاه‌کننده لینک متوسل شدند. آنتروپیک می‌گوید یکی از گردانندگان سرویس da.gd با این شرکت تماس گرفته و اعلام کرده است که رفتار مشابهی را مشاهده کرده است.
آنتروپیک گزارش خود را در ۱۲ اکتبر اصلاح کرد
در متن اصلاحیه آمده است: «در نسخه قبلی این مطلب، به‌اشتباه اعلام شده بود که محدودیت‌های ابزار واکشی محتوای وب کلود با هدف جلوگیری از حملات تزریق SQL یا تزریق فرمان اعمال شده‌اند.» آنتروپیک توضیح داده است که در تعداد اندکی از اجرای ارزیابی‌ها، یکی از مدل‌ها هنگام انجام حمله تزریق SQL یا اقدام ناخواسته دیگری از سرویس‌های کوتاه‌کننده آدرس اینترنتی استفاده کرده بود؛ بااین‌حال، محدودیت‌های ابزار واکشی وب اساساً برای جلوگیری از چنین حملاتی طراحی نشده بودند.
آنتروپیک می‌گوید پیامدهای این اتفاقات ناچیز بوده است
آنتروپیک اعلام کرده است مواردی که تاکنون شناسایی شده‌اند، «تأثیر بسیار محدودی در دنیای واقعی» داشته‌اند و از نظر هم‌راستایی رفتار مدل‌ها با اهداف و دستورالعمل‌های تعیین‌شده و همچنین امنیت، «به‌مراتب کم‌خطرتر» از حوادث امنیت سایبری هستند که این شرکت در ۳۰ ژوئیه و ۹ سپتامبر گزارش کرده بود. تا جایی که آنتروپیک اطلاع دارد، هیچ‌یک از این موارد به داده‌های مشتریان یا سامانه‌های داخلی خود شرکت مربوط نبوده است. این شرکت همچنین کاخ سفید را در جریان قرار داده، به تمام نهادهای درگیر اطلاع‌رسانی کرده و از انتشار نام سازمان‌های آسیب‌دیده خودداری کرده است.
راهکارهای اصلاحی اعلام‌شده از سوی آنتروپیک عمدتاً بر جلوگیری از اجرای ارزیابی‌ها در اینترنت واقعی متمرکز هستند. این شرکت برخی ارزیابی‌های عمومی را متوقف کرده و تعدادی دیگر را به محیط‌های آفلاین انتقال داده است. همچنین سازوکارهای حفاظتی ابزار واکشی محتوای وب را به‌روزرسانی کرده، عامل‌های هوش مصنوعی داخلی را به زیرساختی با مدیریت متمرکز منتقل کرده و دسترسی آن‌ها به اینترنت را محدودتر ساخته است. آنتروپیک می‌گوید ابزارهایی نیز توسعه داده که می‌توانند رفتارهای توصیف‌شده در این گزارش را به‌صورت خودکار شناسایی و مسدود کنند. این ابزارها اکنون در بیشتر ارزیابی‌های شرکت و همچنین در استفاده داخلی از عامل‌های مبتنی بر مدل‌های پیشرفته به کار گرفته می‌شوند. به گفته آنتروپیک، این سامانه هنگام آزمایش روی تمام موارد مطرح‌شده در گزارش، موفق شده است رفتارهای موردنظر را مسدود کند.
اوپن‌ای‌آی نیز گزارش‌هایی درباره رفتارهای مشابه مدل‌های خود منتشر کرده است. از جمله این موارد می‌توان به مدلی اشاره کرد که پس از خواندن پیام‌های یک کانال اسلک، به این نتیجه رسید که ممکن است از بین برود و همچنین ۵۳ موردی که عامل‌های هوش مصنوعی این شرکت تصاویر کاربران را در وب‌سایت‌های میزبانی عکس بارگذاری کرده بودند.
آنتروپیک بررسی سوابق کامل تعاملات مدل‌ها را از ماه ژوئیه و در چارچوب ارزیابی‌های امنیت سایبری خود آغاز کرد. این بررسی‌ها از آن زمان به استفاده داخلی از کلود و همچنین محیط‌های یادگیری تقویتی دارای دسترسی به اینترنت گسترش یافته‌اند. این شرکت می‌گوید قصد دارد هم‌زمان با ادامه بررسی‌ها، موارد جدیدی را که شناسایی می‌شوند نیز گزارش کند.