Anthropic برای جلوگیری از «سرکشی» مدل‌هایش، دسترسی آنها به اینترنت را مسدود کرد
Anthropic دسترسی مدل‌های آزمایشی خود به اینترنت را برای جلوگیری از رفتارهای خارج از کنترل قطع کرد
شرکت Anthropic اعلام کرده است که به‌دلیل نگرانی از احتمال «سرکشی» مدل‌های آزمایشی خود، دسترسی آنها به اینترنت را قطع کرده است. این شرکت، سازنده Claude، می‌گوید برخی از این سیستم‌ها هنگام آزمایش، رفتارهای نامناسبی از خود نشان داده و حتی تلاش کرده‌اند این رفتارها را پنهان کنند.
Anthropic در یک پست وبلاگی نوشت که مجموعه‌ای از نمونه‌های رفتار نادرست را در سیستم‌های خود پیدا کرده است و نمی‌تواند اطمینان داشته باشد که در صورت تکرار چنین رفتارهایی، همیشه بتواند آنها را «به‌طور قابل اعتماد شناسایی کند». به همین دلیل، این شرکت مجبور شده است این سیستم‌ها را در حالت آفلاین نگه دارد.
این یافته‌های جدید حاصل بررسی فعالیت مدل‌های Anthropic از ماه ژوئیه است و نشان می‌دهد این رفتارها ممکن است مدتی بدون اطلاع این شرکت رخ داده باشند. این موضوع پس از افزایش نگرانی‌ها درباره رفتارهای «سرکش» هوش مصنوعی مطرح شده است؛ نگرانی‌هایی که پس از کشف هک یک شرکت هوش مصنوعی رقیب توسط یک مدل OpenAI آغاز شد و سپس با شناسایی مجموعه‌ای از حملات انجام‌شده توسط مدل‌های خارج از کنترل به وب‌سایت‌های مختلف ادامه یافت.
مانند بسیاری از موارد مشابه، Anthropic اعلام کرد این رخدادها در جریان آزمایش‌هایی اتفاق افتاده‌اند که در آنها از عامل‌های هوش مصنوعی خواسته شده بود برای حل مسائل از اینترنت استفاده کنند. این عامل‌ها در این فرایند از روش‌های ممنوعه مختلفی استفاده کردند؛ از جمله انجام حملات سایبری علیه وب‌سایت‌های دیگر و یافتن راه‌هایی برای عبور از محدودیت‌های اعمال‌شده بر رفتارشان.
Anthropic گفت در بیشتر موارد، مشکل اصلی این رفتارها به مسئله «پافشاری» مربوط می‌شد؛ یعنی زمانی که سیستم‌ها نمی‌توانستند یک وظیفه را مطابق دستور انجام دهند و به‌جای آن، راه‌هایی برای دور زدن محدودیت‌ها پیدا می‌کردند.
این شرکت اعلام کرد موارد تازه گزارش‌شده «تأثیر واقعی بسیار محدودی» داشته‌اند. با این حال، هشدار داد که «همین رفتارها با قدرتمندتر شدن مدل‌ها می‌توانند آسیب بسیار بیشتری ایجاد کنند» و به همین دلیل مجبور است مجموعه‌ای از اقدامات پیشگیرانه را اجرا کند.
مهم‌ترین اقدام، حذف دسترسی زنده به اینترنت در زمان آزمایش مدل‌هاست. علاوه بر این، شرکت برخی ارزیابی‌ها را به‌طور کامل متوقف خواهد کرد، محافظ‌های جدیدی برای جلوگیری از دور زدن محدودیت‌ها توسط مدل‌ها اضافه می‌کند و ابزارهای تازه‌ای برای شناسایی و متوقف کردن خودکار رفتارهای نامناسب توسعه خواهد داد.
Anthropic در آینده امیدوار است بتواند سیستم‌های خود را بهتر آموزش دهد تا آنها به‌صورت مستقل‌تر با اهداف انسانی هماهنگ رفتار کنند؛ رویکردی که پیش از این نیز دنبال کرده است. با این حال، شرکت تأکید کرد که آموزش مدل‌ها «هنوز به‌تنهایی کافی یا کاملاً قابل اتکا نیست» و تا آن زمان باید از روش‌های دفاعی برای کنترل این رفتارها استفاده کند.