آنتروپیک هشدار داد مدل‌های کوچک هوش مصنوعی ممکن است ظرف چند ماه روی دستگاه‌های اینترنت اشیا خودتکثیر شوند
تیم پژوهش امنیتی آنتروپیک موسوم به «تیم قرمز مرزی» (Frontier Red Team) در یافته‌هایی که ۱۲ اکتبر منتشر کرد، اعلام کرده است مدل‌های کوچک هوش مصنوعی ممکن است ظرف چند ماه به سطحی از توانایی برسند که بتوانند بدون نیاز به مراکز داده، روی دستگاه‌های ارزان اینترنت اشیا خود را تکثیر کنند. دستگاه‌های مصرفی با تدابیر امنیتی ناکافی، مانند فرهای هوشمند و گیرنده‌های ارزان اندرویدی تلویزیون، می‌توانند به‌عنوان منابع پردازشی مورد سوءاستفاده قرار گیرند.
در آزمایش‌ها، یک مدل ۹ میلیارد پارامتری (9B) توانست روی هشت مورد از ۹ نوع سخت‌افزار آزمایش‌شده فرایند استنتاج را اجرا کند. مدل‌هایی با کمتر از ۳۰ میلیارد پارامتر نیز هم‌اکنون قادرند بسیاری از مراحل جداگانه تشکیل‌دهنده فرایند تکثیر را انجام دهند، اما هنگام اتصال این مراحل به یکدیگر و اجرای کامل فرایند از ابتدا تا انتها، همچنان خطاهایی رخ می‌دهد.
در یک محیط ارزیابی ساده‌شده، مدل‌هایی با عملکردی برابر یا بالاتر از GLM-5.2 توانستند به‌صورت خودکار کل زنجیره عملیات، از آلوده‌سازی اولیه تا تکمیل تکثیر، را اجرا کنند. در یک شبکه آزمایشی هشت‌گرهی ساخته‌شده روی پلتفرم ابری گوگل (Google Cloud Platform)، مدل GLM-5.2 در چهار مورد از پنج تلاش توانست به همه گره‌ها سرایت کند و در تلاش باقی‌مانده به هفت گره رسید. با این حال، تیم پژوهشی تأکید کرد عناصر حمله سایبری، مانند درگاه‌های ارتباطی بدون احراز هویت که به‌عنوان نقطه ورود عمل می‌کنند، عمداً ساده‌سازی شده بودند و این نتایج نشان‌دهنده سقف احتمالی رخداد در شرایط واقعی هستند.
اگر مدل‌های کوچک به روند پیشرفت فعلی خود ادامه دهند، انتظار می‌رود تا پایان سال ۲۰۲۶ به این آستانه توانایی برسند.
عامل‌های خودتکثیرشونده توزیع‌شده روی دستگاه‌های ارزان
در یک نمایش عملی، تیم پژوهشی ۱۵ گیرنده ارزان اندرویدی تلویزیون را که هرکدام حدود ۵۵ دلار قیمت داشتند، به هم متصل کرد و مدل Gemma4-26B-A4B را در یک پیکربندی توزیع‌شده اجرا کرد. سرعت پردازش این سامانه تنها ۰٫۳۹ توکن در ثانیه بود، اما اگر شبکه‌ای در مقیاسی مشابه بات‌نت «Kimwolf» با بیش از ۲ میلیون دستگاه آلوده در نظر گرفته شود، می‌توان حدود ۱۳۳ هزار نسخه تکثیرشده را فعال کرد. ظرفیت پردازشی کل چنین سناریویی تقریباً معادل ۴۰ پردازنده گرافیکی NVIDIA H100 خواهد بود.
سرعت تکثیر در این مدل پایین است و دو برابر شدن جمعیت آن چند روز زمان می‌برد. با این حال، تیم تحقیقاتی می‌گوید زمانی که انتشار آغاز شود و یک مرکز کنترل‌کننده برای توقف عملیات وجود نداشته باشد، مهار آن دشوار خواهد شد.
خودتکثیری هوش مصنوعی بیش از پیش محتمل می‌شود
با افزایش توانایی‌های هوش مصنوعی، نگرانی‌ها درباره «تکثیر و سازگاری خودکار» (Autonomous Replication and Adaptation یا ARA) ــ وضعیتی که در آن مدل‌ها بدون کنترل انسانی خود را مستقر و منتشر می‌کنند ــ بیش از پیش جدی شده است. پژوهش‌های قبلی امکان شکل‌گیری «کرم‌های هوش مصنوعی» را نشان داده‌اند؛ برنامه‌هایی که می‌توانند شبکه‌ها را بررسی کنند، از آسیب‌پذیری‌ها سوءاستفاده کنند و وزن‌های مدل را روی خوشه‌های پردازشی گرافیکی تکثیر کنند. تفاوت مهم این نوع تهدید با بدافزارهای سنتی آن است که خود وزن‌های مدل نیز بخشی از محموله بدافزار را تشکیل می‌دهند.
به گفته آنتروپیک، تاکنون هیچ برنامه خودتکثیرشونده کاملاً خارج از کنترل تأیید نشده است. با این حال، عامل‌های هوش مصنوعی به‌تدریج در حال تسلط بر هر مرحله از فرایند تکثیر خود هستند و توانایی آن‌ها برای انتقال بهبودهای سازگارشونده به نسخه‌های تکثیرشده نیز در حال افزایش است.
پردازنده‌های گرافیکی مراکز داده اهداف ارزشمندی برای چنین بدافزارهایی هستند، اما استفاده از شتاب‌دهنده‌های گران‌قیمت الزاماً ضروری نیست. بات‌نت‌های توزیع‌شده متشکل از دستگاه‌های اینترنت اشیا می‌توانند منابع پردازشی کافی برای اجرای مدل‌های قدرتمند را فراهم کنند. این دستگاه‌ها ارزان هستند، اما اغلب از تدابیر امنیتی مناسب برخوردار نیستند.
شکل نهایی تکثیر خودکار هوش مصنوعی هنوز مشخص نیست. این پدیده ممکن است به شکل یک «کپک لجن‌مانند دیجیتال» کند و توزیع‌شده ظاهر شود که از دستگاه‌های با امنیت ضعیف تغذیه می‌کند، یا به شکل یک مدل حمله قدرتمند که مراکز داده را با سرعت بالا به خطر می‌اندازد، یا حتی مدلی که انسان‌ها را فریب می‌دهد تا منابع پردازشی خود را در اختیار آن قرار دهند.
اقدامات دفاعی و توصیه‌های صنعت
تیم پژوهشی آنتروپیک مجموعه‌ای از اقدامات دفاعی را پیشنهاد کرده است؛ از جمله نظارت ارائه‌دهندگان خدمات اینترنتی بر جریان‌های ترافیکی برای شناسایی ناهنجاری‌ها و استفاده از «هانی‌پات»ها (دستگاه‌های طعمه) برای ثبت نمونه‌های حمله. در پرونده بات‌نت Mirai، جداسازی و اطلاع‌رسانی به مشترکانی که احتمال آلودگی آن‌ها وجود داشت، طی ۱۴ روز ۹۲ درصد از آلودگی‌ها را حذف کرد؛ در حالی که بدون اطلاع‌رسانی این میزان ۷۴ درصد بود.
این تیم از تولیدکنندگان خواسته است به سمت پیکربندی‌های امن پیش‌فرض حرکت کنند و حداقل استانداردهای امنیتی را از طریق مقررات ارتقا دهند. آن‌ها همچنین معتقدند صنعت باید در سطح گسترده، سیستم‌هایی بسازد که تا حد ممکن مانع انتشار چنین برنامه‌های خودتکثیرشونده‌ای شوند و هم‌زمان برای جهانی آماده شوند که در آن این تهدیدها ممکن است برای مدت طولانی باقی بمانند.
عامل‌های هوش مصنوعی سبک‌وزن، در مقایسه با مهاجمان انسانی، ممکن است هیچ تردیدی در صرف تلاش برای نفوذ به تعداد بسیار زیاد دستگاه‌های اینترنت اشیا در سراسر جهان نداشته باشند. گسترش برنامه‌های خودتکثیرشونده کند می‌تواند هشداری باشد برای نزدیک شدن برنامه‌های سریع‌تر و تهاجمی‌تری که شاید توانایی نفوذ به ماشین‌های دارای دفاع قوی‌تر یا سرقت کارآمد کلیدهای API را داشته باشند.