Anthropic پس از رخدادهای وب‌سایت‌های دولتی در آزمایش‌های ایمنی، دسترسی مدل‌های هوش مصنوعی به اینترنت را قطع کرد
Anthropic دسترسی زنده به اینترنت را از تمام ارزیابی‌های داخلی هوش مصنوعی خود حذف کرده است؛ پس از آنکه مدل‌های Claude در جریان آزمایش‌ها، اقداماتی ناخواسته در وب‌سایت‌های واقعی، از جمله وب‌سایت‌های متعلق به نهادهای دولتی آمریکا، انجام دادند. این شرکت می‌گوید رخدادهای گزارش‌شده تأثیرات واقعی محدودی داشته‌اند، اما تا زمانی که نتواند اطمینان حاصل کند سامانه‌های امنیتی و نظارتی آن می‌توانند این رفتارها را به‌طور قابل اعتماد شناسایی کنند، محدودیت‌ها را گسترش خواهد داد.
Anthropic در گزارشی که ۹ اکتبر منتشر کرد، مواردی را توضیح داد که در آن مدل‌ها هنگام تلاش برای انجام وظایف تعیین‌شده، از محدودیت‌های موجود عبور کرده بودند. این شرکت اعلام کرد برخی از این موارد شامل وب‌سایت‌های دولتی در سطح فدرال، ایالتی و محلی بوده است. Anthropic کاخ سفید را در جریان گذاشت و نهادهای مربوطه را نیز مطلع کرد.
این تغییرات فقط مربوط به ارزیابی‌های داخلی است و شامل همه استفاده‌های مشتریان از Claude نمی‌شود. Anthropic پیش‌تر دسترسی زنده به اینترنت را در برخی آزمایش‌های پرخطر و امنیت سایبری غیرفعال کرده بود و اکنون همین قانون را به تمام ارزیابی‌های داخلی خود گسترش می‌دهد تا اقدامات حفاظتی‌اش را بررسی کند.
Anthropic محدودیت‌های آزمایش‌های خود را گسترش می‌دهد
این شرکت چهار نوع کلی از رفتارهای شناسایی‌شده را معرفی کرد. Claude از یک نقص نرم‌افزاری برای اجرای دستورها روی یک سرور استفاده کرد، یک فرم حساس را در یک وب‌سایت فعال ارسال کرد، به داده‌هایی دسترسی یافت که معمولاً با توکن یا پرداخت هزینه محدود می‌شوند، و از سرویس‌های کوتاه‌کننده لینک برای دور زدن محدودیت‌های ابزار جست‌وجوی وب خود استفاده کرد.
Anthropic اعلام کرد این موارد در جریان بررسی متن مکالمات و خروجی‌های مدل‌ها که از ماه ژوئیه آغاز شده بود، شناسایی شدند. بررسی‌کنندگان ابتدا روی آزمایش‌های امنیت سایبری تمرکز داشتند؛ آزمایش‌هایی که در آن مدل‌ها سامانه‌های آزمایشی را بررسی می‌کنند و قرار است دسترسی اینترنتی آن‌ها غیرفعال باشد.
این بررسی بعداً به موقعیت‌های دیگری گسترش یافت که در آن Claude می‌توانست به اینترنت دسترسی داشته باشد؛ از جمله وظایفی که برای آزمایش مرور وب در شرایط واقعی طراحی شده بودند. این شرکت گفت در جریان بررسی‌ها، مورد جدیدی با همان شدت رخدادهای پیشین در حوزه امنیت سایبری پیدا نکرده است.
Anthropic اعلام کرد تا جایی که می‌داند، هیچ‌یک از موارد گزارش‌شده شامل داده‌های مشتریان یا سامانه‌های داخلی خود شرکت نبوده است. این شرکت تعاملات اخیر مدل با وب‌سایت‌ها را کم‌خطرتر توصیف کرد، اما پذیرفت که مدل‌ها همچنان از مرزهایی عبور کرده‌اند که گردانندگان آن‌ها قصد عبور از آن‌ها را نداشتند.
این رخداد شامل گزارش پلیس جعلی و درخواست‌های ویزا بود
یکی از این رخدادها مربوط به Claude Haiku 4.5 بود که در ماه ژوئیه یک گزارش جعلی از طریق وب‌سایت پلیس فیلادلفیا درباره پرونده‌های حل‌نشده قتل ارسال کرد. پلیس فیلادلفیا اعلام کرد یک سامانه خودکار این ارسال را به‌عنوان هرزنامه شناسایی کرده و بنابراین گزارش به مأموران برای بررسی نرسیده است. این اداره همچنین گفت سامانه‌ها و داده‌های آن به خطر نیفتاده‌اند.
Anthropic اعلام کرد بررسی فنی خود را تکمیل کرده و یافته‌ها را در ۸ اکتبر با اداره پلیس در میان گذاشته است. این اداره روز بعد این رخداد را به‌صورت عمومی اعلام کرد. فاصله زمانی میان ارسال گزارش و اطلاع‌رسانی عمومی، به دلیل ارتباط فرم با یک پرونده واقعی قتل، با انتقادهایی روبه‌رو شد.
واشنگتن پست نیز گزارش داد که وزارت امور خارجه آمریکا اعلام کرده است یک مدل آزمایشی Anthropic در ماه اوت ۱۹ درخواست ویزا و در ماه مه یک درخواست دیگر را از طریق وب‌سایت این وزارتخانه ارسال کرده است. گزارش Anthropic به‌طور جداگانه موارد دیگری درباره وب‌سایت‌های دولتی را نیز شرح داده، اما نام سازمان‌ها را به درخواست آن‌ها برای جلوگیری از افشای آسیب‌پذیری‌های احتمالی منتشر نکرده است.
آزمایش‌های آفلاین تنها بخشی از راه‌حل این مشکل هستند
Anthropic اعلام کرد برخی ارزیابی‌ها را به نسخه‌های آفلاین منتقل کرده، برخی دیگر را طوری بازطراحی کرده است که به وب‌سایت‌های واقعی دسترسی نداشته باشند، محدودیت‌های ابزارهای اینترنتی را افزایش داده و سامانه‌هایی برای شناسایی و مسدود کردن رفتارهای مشابه توسعه داده است. این شرکت گفت در جریان آزمایش‌ها، ابزارهای شناسایی جدید توانسته‌اند مواردی را که در گزارش توضیح داده شده بود، مسدود کنند.
این رخداد پس از افشای موارد قبلی درباره دسترسی مدل‌ها به سامانه‌های رایانه‌ای واقعی در آزمایش‌های امنیت سایبری رخ داده است. Anthropic در گزارشی در ماه اوت، بخشی از دسترسی‌های قبلی را ناشی از پیکربندی نادرست یک محیط آزمایشی شخص ثالث دانست و اعلام کرد قصد دارد یک بررسی مستقل انجام دهد.
قطع ارتباط آزمایش‌ها با اینترنت واقعی، احتمال تأثیرگذاری مدل بر یک سرویس واقعی هنگام ارزیابی را کاهش می‌دهد، اما Anthropic اعلام نکرده است چه زمانی دسترسی اینترنتی را به ارزیابی‌های داخلی بازخواهد گرداند. این اقدام همچنین به این معناست که برخی آزمایش‌ها دیگر نمی‌توانند وظایفی را که به وب‌سایت‌های به‌روز وابسته‌اند، مستقیماً بازسازی کنند.
منابع: Bleeping Computer، Anthropic