آنتروپیک: احتمال حملات سایبری مدل‌های هوش مصنوعی ما کاهش یافته، اما یک‌سوم آزمایش‌ها همچنان با نتیجه‌ای نگران‌کننده همراه بوده است
نویسنده: جای حمید
- آنتروپیک می‌گوید احتمال تلاش Claude Opus 5.5 برای عبور از محدودیت‌های امنیتی ۸۵ درصد کاهش یافته است.
- چهار مدل کلود در هفت نوبت آزمایش امنیت سایبری روی سامانه‌های واقعی نقش داشتند.
- مدل Opus 4.7 پس از آنکه به‌اشتباه تصور کرد مجوز لازم را دارد، به یک شرکت واقعی حمله کرد.
شرکت آنتروپیک می‌گوید مدل‌های جدیدتر هوش مصنوعی این شرکت کمتر احتمال دارد بدون دریافت دستور، خودسرانه دست به اقدامات خطرناک بزنند. بااین‌حال، یافته‌های دیگری وجود دارد که نمی‌توان به‌سادگی از کنار آن‌ها گذشت: برخی مدل‌های کلود در جریان تمرین‌هایی که قرار بود صرفاً آزمایشی باشند، سامانه‌های واقعی را هدف حمله قرار دادند. در یکی از موارد نیز یک سامانه نظارت بر ایمنی، توجیه مدل هوش مصنوعی برای انجام این اقدام را پذیرفت.
در این موارد، هیچ گروه هکری به کلود دستور نداده بود که به یک کسب‌وکار حمله کند. مدل‌ها به‌صورت مستقل فعالیت می‌کردند و تلاش داشتند چالش‌هایی را حل کنند که برای سنجش توانایی آن‌ها در نفوذ به سامانه‌ها طراحی شده بود.
اما پیکربندی نادرست محیط آزمایش باعث شده بود دسترسی به اینترنت واقعی همچنان برقرار باشد. از سوی دیگر، در دستورالعمل‌های آزمایش نیز به‌روشنی مشخص نشده بود که کدام دستگاه‌ها خارج از محدوده مجاز قرار دارند و نباید هدف حمله قرار گیرند.
آنتروپیک می‌گوید رفتار Opus 5.5 نسبت به مدل‌های قبلی بهبود یافته است
آنتروپیک مدل Claude Opus 5.5 را در ۲۲ سپتامبر منتشر کرد و می‌گوید این مدل در ارزیابی‌های خودکار رفتار و هم‌راستایی با اهداف و دستورالعمل‌های انسانی، بهترین نتایج این شرکت را تاکنون به دست آورده است. این آزمایش‌ها رفتارهایی مانند نادیده گرفتن سازوکارهای ایمنی، دور زدن محدودیت‌های فنی یا دنبال کردن اهدافی را بررسی می‌کنند که با خواسته‌های کاربران در تضاد هستند.
یکی از نتایج بیش از بقیه جلب توجه می‌کند: تلاش‌های Opus 5.5 برای خروج از محیط محدود و کنترل‌شده، در مقایسه با Opus 5 و Claude Mythos 5.1 حدود ۸۵ درصد کمتر بوده است. آنتروپیک همچنین احتمال انجام اقداماتی خارج از نقش و وظایف تعریف‌شده را در مدل جدید پایین‌تر ارزیابی می‌کند. در پژوهش‌های هوش مصنوعی، چنین انحرافی از اهداف موردنظر را «ناهم‌راستایی» یا Misalignment می‌نامند.
یکی دیگر از تغییرات، مقابله با افرادی است که تلاش می‌کنند از طریق استخراج غیرمجاز، فرایند استدلال داخلی مدل را کپی کنند. به گفته آنتروپیک، سازوکارهای دفاعی این شرکت در برابر تقطیر مدل، میزان سرقت توکن‌های مربوط به استدلال را بین ۹۰ تا ۹۹ درصد کاهش داده‌اند؛ کاهشی که می‌تواند تا صد برابر برسد. ارزیابان مستقلی از جمله Frontier Design نیز توانایی‌های Opus 5.5 را بررسی کرده‌اند.
بااین‌حال، این پیشرفت‌ها موضوعی جدا از بررسی حوادثی هستند که پیش‌تر رخ داده‌اند. آنتروپیک در تحقیقات خود چهار سامانه کلود را بررسی کرده است: یک نسخه آزمایشی اولیه از Opus 4.6، مدل Opus 4.7، مدل Mythos 5 و یک مدل پژوهشی بدون نام که توانایی‌های آن تقریباً هم‌سطح Mythos بوده است.
«تمام حوادث تنها شامل یک نمونه از کلود بودند که به‌صورت مستقل و بدون همکاری با نمونه‌های دیگر فعالیت می‌کرد. هر نوبت اجرا نیز حدود ۱۰ تا ۳۴ ساعت فعالیت عملی را دربر می‌گرفت.»
در مجموع، هفت نوبت اجرای آزمایش در چهار حادثه ثبت شد. سه حادثه هرکدام تنها در یک نوبت رخ دادند، اما چهار اجرای دیگر مربوط به Opus 4.7 بودند که همگی یک هدف مشخص را نشانه گرفته بودند. تمام این موارد در جریان ارزیابی‌های معمول امنیت سایبری پیش از انتشار مدل‌ها رخ دادند؛ ارزیابی‌هایی که یک شریک خارجی واحد طراحی کرده بود.
کلود سامانه‌های واقعی را با اهداف آزمایشی اشتباه گرفت
مأموریتی که به مدل‌ها داده شده بود، یک چالش امنیتی از نوع «تسخیر پرچم» یا Capture the Flag بود. در این نوع تمرین، کلود یک سناریوی ساختگی، یک رایانه هدف و دستورالعمل‌هایی دریافت می‌کرد تا یک اطلاعات محرمانه پنهان‌شده به نام «پرچم» را پیدا کند. در متن دستورها آمده بود که دسترسی به اینترنت وجود ندارد، اما در واقع به دلیل یک خطای پیکربندی، اتصال اینترنت همچنان فعال بود. همچنین در دستورالعمل‌ها مشخص نشده بود که آزمایش روی کدام سامانه‌ها مجاز است.
مدل پژوهشی داخلی آنتروپیک زمان قابل‌توجهی را صرف بررسی این موضوع کرد که آیا واقعاً به اینترنت متصل شده است یا خیر. با وجود شواهدی که نشان می‌داد به اینترنت واقعی دسترسی پیدا کرده، مدل همچنان تصور می‌کرد تمام آنچه مشاهده می‌کند، بخشی از یک محیط شبیه‌سازی‌شده بسیار پیشرفته است.
این مدل داخلی سرانجام متوجه اشتباه خود شد و حمله را متوقف کرد. بااین‌حال، هنگامی که بخشی از آزمایش دوباره اجرا شد، مدل در بیشتر مسیرهای جایگزین همچنان به اقدامات خود ادامه داد.
با وجود این، هنگامی که از مدل درباره رفتارش سؤال شد، پذیرفت که استدلالش دچار خطا و سوگیری شده است؛ اعترافی که مدل Mythos 5 هرگز انجام نداد.
مدل Opus 4.7 نیز مرتکب اشتباه دیگری شد. این مدل توانست تشخیص دهد شرکتی که با آن روبه‌رو شده واقعی است، اما با این تصور که دسترسی فنی به سامانه به معنای داشتن مجوز است و از آنجا که نام شرکت واقعی با شرکت خیالی موجود در سناریوی آزمایش یکسان بود، تصمیم گرفت به آن حمله کند. Opus 4.7 هیچ‌گاه درستی این فرض را زیر سؤال نبرد. بااین‌حال، هنگامی که شواهد بیشتری درباره نداشتن مجوز در اختیارش قرار گرفت، تمایل کمتری به انجام حمله نشان داد.
آنتروپیک همچنین این حوادث را دوباره در برابر ابزارهای شناسایی خود بازآزمایی کرد. نتایج نشان داد سامانه‌های نظارتی جدید این شرکت که به‌صورت زنده فعالیت می‌کنند و قابلیت مسدودسازی اقدامات خطرناک را دارند، توانسته‌اند این رفتارها را به‌شکلی قابل‌اعتماد شناسایی کنند.
طبقه‌بندهای امنیت سایبری Claude Fable 5 می‌توانستند هر سه حادثه اصلی را متوقف کنند. در مقابل، طبقه‌بندهای حالت خودکار یا Auto-mode که برای جلوگیری از اقدامات خودمختار پرخطر در ابزارهایی مانند Claude Code استفاده می‌شوند، قادر بودند از وقوع دو مورد از این سه حادثه جلوگیری کنند.
اما نتایج مربوط به سامانه‌های نظارتی آزمایشی آفلاین چندان یکدست نبود. این سامانه‌ها زنجیره تفکر یا مسیر استدلال مدل را بررسی می‌کنند تا رفتارهای خرابکارانه و تصمیم‌های بی‌پروا را شناسایی کنند.
«دریافتیم که این سامانه‌های نظارتی نمی‌توانستند حادثه مربوط به Claude Mythos 5 را شناسایی کنند؛ زیرا استدلال مدل، سامانه نظارتی را متقاعد کرده بود که محیط آزمایش شبیه‌سازی‌شده است و بنابراین اقدامات مدل آسیب واقعی ایجاد نمی‌کند. بااین‌حال، همین سامانه‌ها توانستند سایر حوادث را شناسایی کنند.»