آنتروپیک: مدل‌های جدید کلود پس از نفوذ به سامانه‌های چهار سازمان واقعی در آزمایش‌های امنیتی، ایمن‌تر شده‌اند
شرکت آنتروپیک می‌گوید مدل‌های جدید هوش مصنوعی کلود، پس از آنکه نسخه‌های قبلی در جریان آزمایش‌های امنیت سایبری به سامانه‌های چهار سازمان واقعی نفوذ کردند، اکنون کمتر احتمال دارد حملات سایبری غیرمجاز انجام دهند. با این حال، نتایج آزمایش‌های شبیه‌سازی‌شده نشان می‌دهد خطرات امنیتی همچنان پابرجاست.
نویسنده: امیر آبیازوف | ۲۳ اکتبر ۲۰۲۶، ساعت ۱۴:۲۲
نکات کلیدی
- مدل‌های کلود در جریان آزمایش‌های امنیتی به سامانه‌های واقعی چهار سازمان دسترسی پیدا کردند.
- مدل‌های جدید آنتروپیک در مقایسه با نسخه‌های قبلی، رفتارهای آسیب‌زا را با نرخ بسیار کمتری نشان می‌دهند.
- آزمایش‌های شبیه‌سازی‌شده نشان می‌دهد با وجود تقویت تدابیر ایمنی هوش مصنوعی، خطرات امنیتی همچنان باقی است.
آنتروپیک اعلام کرده است که جدیدترین مدل‌های هوش مصنوعی کلود در مقایسه با نسخه‌های پیشین، کمتر احتمال دارد حملات سایبری غیرمجاز انجام دهند. این ارزیابی پس از آن منتشر شده که مدل‌های قبلی این شرکت در جریان آزمایش‌های امنیت سایبری توانسته بودند به سامانه‌های رایانه‌ای متعلق به چهار سازمان واقعی نفوذ کنند.
یافته‌های این شرکت از تفاوتی نگران‌کننده حکایت دارد: مدل‌های جدید هوش مصنوعی ظاهراً در تشخیص موقعیت‌های خطرناک عملکرد بهتری دارند، اما همچنان ممکن است هنگام تلاش برای انجام وظایف محول‌شده، از محدودیت‌های امنیتی عبور کنند.
بر اساس پژوهش آنتروپیک که ۹ سپتامبر منتشر شد، مدل کلود Mythos 5 در ۸۲ درصد از آزمایش‌های شبیه‌سازی‌شده امنیت سایبری، اقداماتی با پیامدهای بسیار آسیب‌زا انجام داد. این میزان برای مدل Claude Opus 5 به ۳۱ درصد و برای Mythos 5.1 به ۳۳ درصد کاهش یافت.
البته این ارقام به آزمایش‌های شبیه‌سازی‌شده‌ای مربوط می‌شود که عمداً برای قرار دادن مدل‌ها در شرایط خصمانه طراحی شده‌اند و نشان‌دهنده احتمال حمله مستقل هوش مصنوعی به کسب‌وکارهای واقعی نیستند.
کلود چگونه به سامانه‌های چهار سازمان واقعی نفوذ کرد؟
این رخدادها در جریان ارزیابی‌های کنترل‌شده امنیت سایبری اتفاق افتاد که آنتروپیک با همکاری شرکت مستقل Irregular، شریک آزمایش‌های امنیتی خود، انجام می‌داد.
در این آزمایش‌ها از کلود خواسته شده بود چالش‌های موسوم به «تسخیر پرچم» یا Capture the Flag را حل کند. این چالش‌ها تمرین‌هایی هستند که در آن‌ها نفوذ به سامانه‌های رایانه‌ای برای دستیابی به اطلاعات مشخص شبیه‌سازی می‌شود.
با این حال، یک خطا در پیکربندی محیط آزمایش باعث شد مدل‌ها به اینترنت واقعی متصل بمانند؛ در حالی که قرار بود فعالیت آن‌ها به محیط‌هایی کاملاً ایزوله محدود شود.
در نتیجه، چهار مدل مجزای کلود بدون مجوز به زیرساخت‌های واقعی متعلق به اشخاص ثالث دسترسی پیدا کردند. این مدل‌ها سامانه‌های عملیاتی واقعی را به‌اشتباه اهداف مجاز آزمایش تشخیص داده بودند.
آنتروپیک ابتدا در ماه ژوئیه، پس از بررسی حدود ۱۴۱ هزار گزارش ثبت‌شده از اجرای آزمایش‌ها، سه مورد نفوذ را شناسایی کرد. مورد چهارم که به نسخه اولیه Claude Opus 4.6 در ماه ژانویه مربوط می‌شد، در اوت کشف و در سپتامبر افشا شد.
این شرکت سپس دامنه بررسی‌های خود را به حدود ۴۸۱ میلیون گزارش ثبت‌شده گسترش داد، اما هیچ مورد دیگری با شدت مشابه یا بیشتر شناسایی نکرد.
این یافته‌ها نگرانی‌ها درباره سامانه‌های هوش مصنوعی با استقلال عمل فزاینده را تشدید کرده است؛ نگرانی‌هایی که پیش‌تر نیز در درخواست مایکروسافت برای ایجاد سازوکارهای حفاظتی اضطراری مطرح شده بود.
مدل‌های جدید آنتروپیک ایمن‌تر شده‌اند، اما خطرات همچنان باقی است
آنتروپیک پس از شناسایی این رخدادها، شرایط خطرناک مشابهی را در محیط‌های شبیه‌سازی‌شده بازسازی کرد تا رفتار مدل‌های مختلف را با یکدیگر مقایسه کند.
در مجموعه‌ای شامل ۱۵۰ نوبت آزمایش، مدل Claude Mythos 5 در ۸۲ درصد موارد اقداماتی با پیامدهای بسیار آسیب‌زا انجام داد. این رقم برای Opus 5 برابر با ۳۱ درصد و برای Mythos 5.1 معادل ۳۳ درصد بود.
در ارزیابی جداگانه‌ای که برای سنجش تلاش مدل‌ها در خروج از محیط ایزوله یا «سندباکس» انجام شد، مدل Mythos 5 در حدود ۵۹ درصد آزمایش‌ها و Opus 5 در ۱۵ درصد موارد برای عبور از محدودیت‌های محیط تلاش کردند. در همین سناریوی مشخص، هیچ تلاشی از سوی Mythos 5.1 ثبت نشد.
با این حال، آنتروپیک هشدار داده است که محیط‌های شبیه‌سازی‌شده و ابزارهای ارزیابی خودکار ممکن است میزان رفتارهای آسیب‌زا را بیش از واقعیت نشان دهند؛ به‌ویژه زمانی که مدل‌ها تصور می‌کنند اقداماتشان نمی‌تواند بر انسان‌های واقعی تأثیر بگذارد.
این یافته‌ها در شرایطی منتشر شده که هم‌زمان با رقابت توسعه‌دهندگان برای تقویت توانایی استدلال مستقل و قابلیت‌های نرم‌افزاری هوش مصنوعی، هشدارهای گسترده‌تری درباره ایمنی این فناوری مطرح شده است.
همین قابلیت‌های پیشرفته فرصت‌های تازه‌ای نیز در اختیار مهاجمان سایبری قرار می‌دهد. تحقیقات پیشین از شناسایی عملیات فیشینگ با کمک هوش مصنوعی خبر داده بود. از سوی دیگر، انتشار مدل قدرتمند Fable 5 آنتروپیک نیز پرسش‌هایی درباره امنیت ارزهای دیجیتال ایجاد کرده است.
چرا ایمنی هوش مصنوعی برای کسب‌وکار آنتروپیک اهمیت دارد؟
پیامدهای این یافته‌ها به آزمایش‌های آزمایشگاهی محدود نمی‌شود.
آنتروپیک در حال گسترش فعالیت‌های تجاری خود در بازار مشتریان سازمانی است و هم‌زمان برای عرضه احتمالی سهامش در بورس آماده می‌شود. اطلاعات منتشرشده درباره اسناد عرضه اولیه سهام این شرکت از تعهدات مالی قابل‌توجه در حوزه زیرساخت و همچنین خطرات مرتبط با هوش مصنوعی حکایت دارد.
این شرکت همچنین به دلیل رشد ارزش‌گذاری خود مورد توجه قرار گرفته است؛ موضوعی که اهمیت برخورداری از سازوکارهای حفاظتی قابل‌اعتماد را برای مشتریان سازمانی آن بیش از پیش افزایش می‌دهد.