آنتروپیک هشدار داد: مدل‌های هوش مصنوعی ممکن است بدون دسترسی به مراکز داده، خودتکثیر شوند
هوش مصنوعی خودتکثیرشونده می‌تواند شبیه یک کرم رایانه‌ای عمل کند؛ بدافزاری که بدون دخالت انسان از سامانه‌ای به سامانه دیگر گسترش می‌یابد و بالقوه می‌تواند میلیون‌ها رایانه را آلوده کند و خسارت‌های هنگفتی به بار آورد.
برخی گونه‌های جانوری می‌توانند بدون جفت تولیدمثل کنند. این فرایند که «بکرزایی» نام دارد، زمانی رخ می‌دهد که تخمک بارورنشده به جنین تبدیل شود. بکرزایی که نام آن در زبان یونانی به معنای «تولد باکره» است، در برخی گیاهان و شماری از جانوران بی‌مهره نیز مشاهده می‌شود.
هوش مصنوعی، طبیعتاً، ماهیتی متفاوت دارد. این فناوری از نظر زیستی موجودی زنده نیست و تولیدمثل جنسی هم ندارد؛ بنابراین، در شرایط عادی، انتظار نمی‌رود بتواند فرزندانی تولید کند یا خودش را تکثیر کند.
با این حال، به نظر می‌رسد این وضعیت در حال تغییر باشد. شرکت بزرگ هوش مصنوعی آنتروپیک این هفته هشدار داد که مدل‌هایش ممکن است به‌زودی بتوانند بدون دسترسی به مرکز داده خودتکثیر شوند. این قابلیت به مدل هوش مصنوعی امکان می‌دهد بدون کمک انسان، نسخه‌هایی از خود را از یک رایانه، سرور یا دستگاه متصل به اینترنت به دستگاهی دیگر منتقل کند و گسترش دهد؛ رفتاری که آن را به کرم‌ها و ویروس‌های رایانه‌ای شبیه می‌کند.
ویلیام ژو و دنیل فریمن، پژوهشگران آنتروپیک، در یادداشتی در وبلاگ این شرکت نوشتند: «آزمایش‌های ما نشان می‌دهد که ممکن است تنها چند ماه تا زمانی فاصله داشته باشیم که مدل‌های کوچک هوش مصنوعی به‌اندازه کافی توانمند شوند تا بتوانند روی دستگاه‌های تجاری اینترنت اشیا، مانند فرهای هوشمند و گیرنده‌های تلویزیونی اندرویدی متفرقه، خودتکثیر شوند.»
این دو پژوهشگر هشدار دادند که متوقف کردن چنین فرایندی می‌تواند دشوار باشد، زیرا «هیچ نقطه مرکزی‌ای وجود ندارد که بتوان آن را خاموش کرد».
نگران‌کننده‌تر آنکه این فناوری ممکن است شکل نوعی بدافزار مبتنی بر هوش مصنوعی را به خود بگیرد و بتواند «به‌طور مستقل دستگاه‌های ناآشنا را شناسایی و بررسی کند».
هوش مصنوعی ممکن است نسل بعدی کرم‌های رایانه‌ای را ایجاد کند
هوش مصنوعی این ظرفیت را دارد که مانند یک «کرم» عمل کند؛ برنامه‌ای که برای تکثیر خودکار در سامانه‌های رایانه‌ای طراحی شده است. کرم‌های پیشرفته می‌توانند راه‌های دسترسی به شبکه را پیدا کنند، آسیب‌پذیری‌ها را شناسایی کنند و به دستگاه‌های دیگر راه یابند. تکثیر سریع آن‌ها منابع زیادی از حافظه، توان پردازشی، فضای ذخیره‌سازی و پهنای باند شبکه را مصرف می‌کند. در نتیجه، سامانه‌ها به‌شدت کند می‌شوند، از کار می‌افتند و حتی ممکن است کل شبکه از دسترس خارج شود.
برخلاف ویروس که معمولاً به نوعی دخالت انسانی نیاز دارد، مثلاً دانلود یک فایل آلوده یا کلیک روی پیوند مشکوک در ایمیل، کرم‌ها بدون هیچ تعامل انسانی و با بهره‌برداری از آسیب‌پذیری‌های شبکه گسترش می‌یابند. به همین دلیل، یک کرم ماهرانه طراحی‌شده می‌تواند بسیار خطرناک‌تر از یک ویروس باشد. کرم‌ها قادرند ظرف چند دقیقه هزاران دستگاه را به خطر بیندازند.
یک کرم رایانه‌ای مجهز به هوش مصنوعی از کرم‌های سایبری سنتی خطرناک‌تر است، زیرا می‌تواند روش‌های خود را با شرایط تطبیق دهد، از هر آلودگی درس بگیرد و حملاتش را متناسب با آسیب‌پذیری‌های دستگاه‌های مختلف تنظیم کند؛ درحالی‌که بدافزارهای سنتی معمولاً به مجموعه‌ای ثابت و از پیش برنامه‌ریزی‌شده از دستورها متکی هستند.
پژوهشگران آنتروپیک هشدار دادند: «چنین کرم هوش مصنوعی‌ای می‌تواند هنگام تکثیر، وزن‌های مدل خود را نیز همراه ببرد یا آن‌ها را دوباره از یک مخزن عمومی دانلود کند و سپس استنتاج را مستقیماً روی سخت‌افزارهای به‌دست‌گرفته‌شده اجرا کند. در عمل، وزن‌های مدل به بخشی از محموله بدافزار تبدیل می‌شوند.»
پژوهشگران همچنین مطرح کردند که کرم‌های مجهز به هوش مصنوعی می‌توانند از دستگاه‌های اینترنت اشیای ناایمن سوءاستفاده کنند، خود را با سخت‌افزارهای ناآشنا تطبیق دهند و بدون دخالت انسان گسترش یابند. برخلاف بدافزارهای سنتی که به زیرساختی متمرکز متکی هستند، متوقف کردن این سامانه‌های توزیع‌شده هوش مصنوعی ممکن است دشوار باشد.
جان کاربری، کارشناس راهکارها در شرکت امنیت سایبری Xcape, Inc.، به نشریه The National Interest گفت: «نرم‌افزارهای خودتکثیرشونده پدیده تازه‌ای نیستند.»
نخستین نمونه واقعی از این نوع نرم‌افزار، کرم «درخت کریسمس» بود که در سال ۱۹۸۷ یک دانشجوی برنامه‌نویس آلمانی آن را نوشت. عملکرد این کرم بی‌ضرر بود: در سامانه‌های رایانه‌ای منتشر می‌شد و با نمایش پیامی برای آرزوی «کریسمسی بسیار شاد و بهترین آرزوها برای سال نو» به کاربران خوشامد می‌گفت. این پیام با تصویری ابتدایی از درخت کریسمس با نویسه‌های ASCII همراه بود. با وجود این، کرم یادشده در سامانه‌های رایانه‌ای نسبتاً ابتدایی آن زمان اختلال گسترده‌ای ایجاد کرد.
سال بعد، کرم کریسمس تحت‌الشعاع کرم موریس قرار گرفت؛ بدافزاری که به‌دلیل تأثیر ویرانگرش بر اینترنت نوپا، گاهی «کرم بزرگ» نامیده می‌شود. این کرم هزاران رایانه را آلوده کرد و ممکن است تا ۱۰ میلیون دلار خسارت به بار آورده باشد، هرچند این رقم قطعی نیست و تا حدی برآوردی است. رابرت تاپان موریس، دانشجوی تحصیلات تکمیلی دانشگاه کرنل که این کرم را طراحی کرده بود، به نخستین فردی در ایالات متحده تبدیل شد که بر اساس قانون مقابله با تقلب و سوءاستفاده رایانه‌ای به ارتکاب جرم سنگین محکوم شد. موریس به سه سال آزادی مشروط محکوم شد؛ او بعدها در تأسیس شتاب‌دهنده استارتاپی وای کامبینیتور مشارکت کرد و اکنون استاد علوم رایانه در مؤسسه فناوری ماساچوست (MIT) است.
کاربری نوشت: «پژوهش آنتروپیک تحول تازه‌ای را برجسته می‌کند: تقسیم و توزیع وزن‌های مدل میان دستگاه‌های الکترونیکی مصرفی. این وضعیت به این معناست که کلیدهای قطع اضطراری متمرکز برای جلوگیری از خروج داده یا ارتباطات، نمی‌توانند آلودگی‌های محلی را خنثی کنند. به‌جای نگرانی افراطی درباره خودمختاری احتمالی مدل‌ها، مدیران امنیت باید بر اصول بنیادی معماری تمرکز کنند: دستگاه‌های الکترونیکی جانبی را در زیرشبکه‌های مجزا قرار دهند، رابط‌های مدیریتی بدون احراز هویت را غیرفعال کنند و پیش از آنکه انتشار خودکار بدافزار عملی شود، اعتبارنامه‌های پیش‌فرض را حذف کنند.»
اگر هوش مصنوعی هنوز نمی‌تواند خودش را تکثیر کند، به‌زودی قادر به انجام این کار خواهد بود
مدل‌های فعلی هوش مصنوعی هنوز نمی‌توانند تمام مراحل تکثیر را روی سخت‌افزارهای اینترنت اشیا که آزمایش شده‌اند، به‌طور قابل اتکا انجام دهند؛ با این حال، ممکن است این قابلیت ظرف چند ماه پدیدار شود.
نباید چنین خطرهایی را دست‌کم گرفت. این هشدار تازه‌ترین مورد از مجموعه هشدارها درباره آسیب‌های احتمالی هوش مصنوعی است.
جان استرند، مالک شرکت Black Hills Information Security، گفت: «اکنون کاملاً وارد قلمرو داستان‌های علمی‌تخیلی شده‌ایم؛ با این تفاوت که متأسفانه دیگر داستان نیست.»
پژوهشگران چندین دهه است که کرم‌های خودتکثیرشونده و بات‌نت‌ها را بررسی می‌کنند. یکی از نمونه‌ها بات‌نت کارنا بود که هکری ناشناس بین ژوئن و اکتبر ۲۰۱۲ آن را ایجاد کرد.
در حوزه امنیت سایبری، نگرانی همواره این بوده است که چنین تهدیدهایی تا چه اندازه می‌توانند گسترش پیدا کنند. تفاوت مهم اینجاست که هوش مصنوعی می‌تواند آسیب‌پذیری‌ها را شناسایی کند، به‌طور خودکار از آن‌ها بهره‌برداری کند و سپس در دستگاه‌های مختلف تکثیر شود؛ به‌جای آنکه صرفاً به یک آسیب‌پذیری شناخته‌شده متکی باشد.
استرند به The National Interest گفت: «مهم‌ترین نکته این است که مدل‌های کوچک‌تر بسیاری از قابلیت‌های مدل‌های پیشرفته و پیشتاز را دارند؛ فقط برای انجام کارها به زمان بیشتری نیاز دارند. وقتی گزارش‌هایی درباره مدل‌های پژوهشی رده‌بالا، مانند Mythos، می‌خوانید، باید بدانید که مدل‌های کوچک‌تر که روی سامانه‌هایی با حدود ۱۲۸ گیگابایت حافظه اجرا می‌شوند نیز در همان محدوده توانمندی قرار دارند. ممکن است به همان اندازه خوب یا سریع نباشند، اما مدافعان باید برای مقابله با آن‌ها آماده باشند.»
اینترنت اشیا به‌ویژه آسیب‌پذیر است
ظهور تهدیدهای خودتکثیرشونده در مدل‌های هوش مصنوعی که روی رایانه‌ها اجرا می‌شوند، خطری تازه و احتمالاً پیش‌بینی‌نشده است. این تهدید تنها به رایانه‌ها و تلفن‌های هوشمند محدود نمی‌شود و می‌تواند طیف گسترده‌ای از دستگاه‌های متصل را تحت تأثیر قرار دهد.
دارین فرده، مدیر ارشد مهندسی بازاریابی فنی در شرکت Ridge Security Technology Inc.، به The National Interest گفت که پژوهش آنتروپیک «تغییری جالب در چشم‌انداز تهدیدها» را برجسته می‌کند. به گفته او، سال‌ها تلاش صرف ایمن‌سازی دستگاه‌های اینترنت اشیا شده است، اما اکنون پژوهشگران آینده‌ای را بررسی می‌کنند که در آن یک تلویزیون هوشمند ممکن است کاری فراتر از پیشنهاد برنامه‌های تماشایی انجام دهد.
فرده نوشت: «این دستگاه می‌تواند به بخشی از زیرساخت توزیع‌شده و خودمختار برای حمله تبدیل شود. این جهش بزرگی است؛ البته جهشی که توصیه نمی‌کنم. بر اساس تجربه من در حوزه امنیت تهاجمی، پرسش صرفاً این نیست که آیا یک مدل هوش مصنوعی می‌تواند خودش را تکثیر کند یا نه، بلکه این است که پس از به‌دست‌آوردن جای پا چه کارهایی از آن برمی‌آید. آیا می‌تواند دستگاه‌های دیگر را شناسایی کند، از مرزهای اعتماد عبور کند، از ضعف‌ها بهره‌برداری کند، دسترسی خود را حفظ کند و بدون زیرساخت متمرکز به فعالیت ادامه دهد؟»
قابلیت خودتکثیری هوش مصنوعی روی چنین دستگاه‌هایی ممکن است خطرهای عملیاتی تازه‌ای نیز ایجاد کند.
کاربری گفت: «خودتکثیری مستقل هوش مصنوعی در سخت‌افزارهای اینترنت اشیا که در مجاورت شبکه‌های سازمانی قرار دارند، خطرهای فوری عملیاتی و حقوقی ایجاد می‌کند؛ زیرا دستگاه‌های مدیریت‌نشده در حاشیه شبکه را، بدون نیاز به مراکز داده، به بسترهایی توزیع‌شده برای حمله تبدیل می‌کند. نزدیک به چهار دهه صرف مقاوم‌سازی شبکه‌ها در برابر کرم‌های خودتکثیرشونده کرده‌ایم، اما حالا با نمایشگرهای اتاق‌های کنفرانس که به‌روزرسانی نشده‌اند، دوباره راه را برای بازگشت آن‌ها باز می‌کنیم.»
آیا از فناوری‌ای که درک نمی‌کنیم بیش از حد می‌ترسیم؟
اکنون این پرسش مطرح است که آیا با بزرگ‌نمایی خطرهای فناوری‌ای روبه‌رو هستیم که درک درستی از آن نداریم، یا اینکه تهدید واقعی از آنچه تصور می‌کنیم جدی‌تر است.
استیون سوئیفت، مدیرعامل شرکت Suzu Labs، نوشت: «درباره فرار هوش مصنوعی از محدودیت‌ها، هک کردن راه خود برای دستیابی به منابع و سپس از دست رفتن کامل کنترل آن، ترس‌افکنی زیادی وجود دارد. پژوهش آنتروپیک درباره هوش مصنوعی خودتکثیرشونده مستقیماً امکان‌پذیری این سناریو را در دستگاه‌های اینترنت اشیا بررسی می‌کند؛ دستگاه‌هایی که معمولاً کنترل‌های امنیتی اندکی دارند یا اصلاً فاقد چنین کنترل‌هایی هستند و به همین دلیل هدف‌های آسانی به شمار می‌روند.»
سوئیفت به The National Interest گفت: «باید روشن کنیم که خودتکثیری به چه معناست، چون این اصطلاح ترسناک به نظر می‌رسد. این مفهوم تازه نیست؛ به بدافزارهای خودتکثیرشونده کرم می‌گوییم. بنابراین، هوش مصنوعی خودتکثیرشونده را دقیق‌تر می‌توان نوعی بدافزار معمولی از خانواده کرم‌ها دانست که قابلیت دانلود وزن‌های مدل را نیز دارد و سپس می‌تواند با استفاده از فراخوانی ابزارها برای اجرای توابع موردنیاز، دستورها و خروجی‌ها را بی‌وقفه در یک چرخه تکرار کند.»
از زمان ظهور کرم کریسمس و کرم موریس، متخصصان امنیت سایبری در شناسایی و حذف کرم‌ها از شبکه‌ها مهارت زیادی پیدا کرده‌اند. زیرساخت‌های رایانه‌ای امروزی عموماً به‌گونه‌ای طراحی شده‌اند که در برابر این تهدیدها مقاومت کنند. یکی از دلایل آنکه ویروس‌های رایانه‌ای در تصور عمومی تهدید بزرگ‌تری به شمار می‌روند، این است که هرچند سریع‌تر خود را با شرایط تطبیق می‌دهند، معمولاً خسارت کمتری ایجاد می‌کنند. از بسیاری جهات، بدافزارهای مجهز به هوش مصنوعی که خود را تکثیر می‌کنند، گونه دیگری از روشی قدیمی هستند.
سوئیفت گفت: «با این حال، ما همچنان محصولاتی از اینترنت اشیا عرضه می‌کنیم که عملاً هیچ امنیتی ندارند و به‌گونه‌ای طراحی شده‌اند که به‌راحتی بتوان آن‌ها را به خطر انداخت. بخش بزرگی از دستگاه‌های اینترنت اشیا همین حالا نیز، بدون اطلاع یا رضایت صاحبانشان، به‌عنوان بخشی از بات‌نت‌ها استفاده می‌شوند.»
درباره نویسنده: پیتر سوشیو
پیتر سوشیو در طول ۳۰ سال فعالیت روزنامه‌نگاری خود با ده‌ها روزنامه، مجله و وب‌سایت همکاری کرده است. او مرتباً درباره تجهیزات نظامی، تاریخ سلاح گرم، امنیت سایبری، سیاست و امور بین‌الملل می‌نویسد. سوشیو همچنین نویسنده همکار فوربز و Clearance Jobs است. او در ایالت میشیگان زندگی می‌کند. می‌توانید او را در توییتر با شناسه @PeterSuciu دنبال کنید. نشانی ایمیل نویسنده: [email protected].