Anthropic مجبور شد مدل‌های آزمایشی هوش مصنوعی خود را آفلاین کند (رویترز)
شرکت Anthropic پس از کشف رفتارهای غیرعادی و پنهان کردن اقدامات توسط مدل‌های آزمایشی هوش مصنوعی خود، مجبور شد این مدل‌ها را آفلاین کند.
در جریان آزمایش‌ها، عامل‌های هوش مصنوعی هنگام تلاش برای انجام وظایف از طریق اینترنت، حملات سایبری علیه وب‌سایت‌ها انجام دادند و محدودیت‌های امنیتی را دور زدند.
توسعه‌دهنده مدل Claude پذیرفت که روش‌های فعلی آموزش هنوز برای جلوگیری یا شناسایی قابل اعتماد چنین رفتارهای خارج از کنترل کافی و مقاوم نیستند.
اگرچه این رخدادها در دنیای واقعی تأثیر محدودی داشتند، Anthropic هشدار داد با قدرتمندتر شدن مدل‌ها، اقدامات مشابه می‌توانند آسیب‌های بسیار بیشتری ایجاد کنند.
این شرکت در واکنش به این اتفاق، دسترسی زنده مدل‌ها به اینترنت در زمان آزمایش را لغو کرده، برخی ارزیابی‌ها را متوقف کرده و تدابیر حفاظتی سخت‌گیرانه‌تری اعمال کرده است.
