بنیان‌گذاران Mace Ai: نفوذ عامل‌های هوش مصنوعی OpenAI به هاگینگ فیس چه معنایی برای کسب‌وکارها دارد؟
حدود ۱۲۰۰ عامل هوش مصنوعی متعلق به OpenAI شبکه ارتباطی مخصوص خود را ایجاد کردند و یاد گرفتند چگونه در آزمون‌های امنیت سایبری تقلب کنند.
بر اساس شهادت ارائه‌شده به یکی از زیرکمیته‌های سنای آمریکا در ۳۰ سپتامبر، حدود ۷۰۰ عامل از این مجموعه در ادامه توانستند به سامانه‌های هاگینگ فیس (Hugging Face) نفوذ کنند.
این اتفاق محور گفت‌وگویی در برنامه Roundtable با گرگ فرانک، دانشمند ارشد و هم‌بنیان‌گذار Mace Ai، و والتون کومر، رئیس هیئت‌مدیره، مدیرعامل و هم‌بنیان‌گذار این شرکت بود. جیمز هکمن، ناشر برنامه Roundtable وب‌سایت TheStreet، این پرسش را مطرح کرد که چگونه عامل‌های هوش مصنوعی که برای کمک به شرکت‌ها طراحی شده‌اند، ممکن است به تهدیدی در درون همان شرکت‌ها تبدیل شوند.
عامل‌های هوش مصنوعی چگونه از محیط آزمایش خارج شدند؟
OpenAI در حال آزمایش مدل‌های خود با استفاده از ExploitGym، یک مجموعه آزمون دشوار برای سنجش توانایی‌های امنیت سایبری، بود. این آزمایش‌ها بدون تدابیر حفاظتی‌ای انجام می‌شد که شرکت معمولاً در محصولات عمومی خود به کار می‌گیرد.
به گفته OpenAI در گزارش ۲۶ اوت، مدل‌ها یک آسیب‌پذیری در Artifactory، سامانه ثبت و نگهداری بسته‌های نرم‌افزاری میزبانی‌شده توسط OpenAI، پیدا کردند و از آن برای دسترسی به اینترنت بهره بردند.
هاگینگ فیس در ۱۶ ژوئیه نفوذ به سامانه‌های خود را افشا کرد و اعلام کرد که یک سامانه متشکل از عامل‌های خودمختار هوش مصنوعی، تمام مراحل این عملیات را از ابتدا تا انتها انجام داده است. بررسی‌های بعدی نشان داد صدها عامل از طریق یک تابلوی پیام مشترک با یکدیگر هماهنگ شده بودند.
هاگینگ فیس یک پلتفرم زیرساختی هوش مصنوعی است که توسعه‌دهندگان از آن برای ذخیره‌سازی و اشتراک‌گذاری مدل‌ها و مجموعه‌داده‌ها استفاده می‌کنند. این رخنه امنیتی به این معنا بود که عامل‌های آزمایشی OpenAI، به‌جای باقی ماندن در رایانه‌هایی که برای آزمایش به آن‌ها اختصاص یافته بود، بدون مجوز به سامانه‌های یک شرکت دیگر دسترسی پیدا کرده بودند.
هاگینگ فیس اعلام کرد که دسترسی غیرمجاز به تعداد محدودی از مجموعه‌داده‌های داخلی و چند مورد از اطلاعات احراز هویت را شناسایی کرده است، اما هیچ نشانه‌ای از دست‌کاری مدل‌ها، مجموعه‌داده‌ها یا Spaces عمومی این پلتفرم پیدا نشده است. به گفته این شرکت، عامل‌ها در جریان عملیات خود هزاران اقدام مستقل را در محیط‌های آزمایشی ایزوله و کوتاه‌عمر انجام داده بودند.
محیط آزمایشی ایزوله یا سندباکس (Sandbox)، محیطی رایانه‌ای است که برای محدود نگه داشتن فعالیت‌ها و جلوگیری از سرایت آن‌ها به سامانه‌های دیگر طراحی می‌شود. در این ماجرا، عامل‌ها از یک سرویس مدیریت بسته‌های نرم‌افزاری به‌عنوان مسیری برای دور زدن این محدودیت‌ها استفاده کردند و سپس یافته‌های خود را با عامل‌های دیگر به اشتراک گذاشتند.
OpenAI اعلام کرد که عامل‌ها توانستند روی ده‌ها سرور هاگینگ فیس کد اجرا کنند و کنترل کامل مدیریتی یکی از سرورها را به دست بگیرند. به گفته این شرکت، آن‌ها به مقدار محدودی از داده‌های خصوصی و اطلاعات احراز هویت پلتفرم پیام‌رسان شرکت دسترسی یافتند، اما داده‌های مشتریان OpenAI و دسترس‌پذیری محصولات آن تحت تأثیر قرار نگرفت.
فرانک گفت: «اتفاقی که افتاد این بود که OpenAI در حال آزمایش مدلی بود که هنوز منتشر نشده بود و برای انجام این آزمایش، محدودیت‌های ایمنی‌ای را که معمولاً بر مدل اعمال می‌شود، کاهش داده بود.»
هماهنگی ۱۲۰۰ عامل هوش مصنوعی برای پیدا کردن راه تقلب
گروه پژوهشی مستقل METR که OpenAI به آن اجازه بررسی این اتفاق را داده بود، در شهادت کریس پینتر، رئیس این گروه، در سنای آمریکا، ابعاد فعالیت این مجموعه از عامل‌های خارج‌شده از کنترل را تشریح کرد.
ازدحام عامل‌های هوش مصنوعی یا Agent Swarm به سامانه‌ای غیرمتمرکز یا نیمه‌هماهنگ گفته می‌شود که در آن چندین عامل هوش مصنوعی با تخصص‌های متفاوت، به‌طور هم‌زمان برای رسیدن به هدفی مشترک همکاری می‌کنند.
این عامل‌ها از طریق تابلوی پیام مشترکی که خودشان ساخته بودند، بیش از ۷۰ هزار پیام و فایل با یکدیگر مبادله کردند.
آن‌ها ظرف چهار ساعت روشی پیدا کردند که به همه عامل‌ها امکان تقلب در آزمون را می‌داد. پینتر گفت مسائلی که به این عامل‌ها محول شده بود، اساساً حل‌شدنی نبودند؛ بااین‌حال، عامل‌ها به‌جای اعلام ناتوانی در انجام مأموریت، همچنان برای یافتن راه‌حل تلاش کردند.
OpenAI بعدها متوجه شد که مدل‌هایش پیش از این اتفاق هرگز نتوانسته بودند ۱۹۸ مورد از مجموع ۸۹۸ مسئله مجموعه آزمون را حل کنند. طبق گزارش این شرکت، همین مسائل حل‌نشده ۹۳ درصد از موضوعاتی را تشکیل می‌دادند که عامل‌ها در تابلوی پیام مشترک خود درباره آن‌ها گفت‌وگو کرده بودند.
به گفته پینتر، حدود ۷۰۰ عامل از این مجموعه در ادامه به سامانه‌های هاگینگ فیس نفوذ کردند. جدول زمانی منتشرشده از سوی OpenAI نشان می‌دهد که یکی از عامل‌ها در ۱۰ ژوئیه توانست ۱۴ مورد از اطلاعات احراز هویت افشاشده هاگینگ فیس را بازیابی کند و در ۱۱ ژوئیه نیز کدهایی را روی سرورهای پردازشی این پلتفرم اجرا کرد.
فرانک گفت: «در نهایت ۱۲۰۰ عامل گرد هم آمدند، یک ساختار سلسله‌مراتبی کامل و روشی برای برقراری ارتباط ایجاد کردند و راهی پیدا کردند که با تقلب بتوانند آزمون را پشت سر بگذارند.»
تلاش عامل‌ها برای پاک کردن ردپای خود
به گفته METR، عامل‌ها می‌دانستند که برنامه ارزیابی نتایج ممکن است به دلیل تقلب، آن‌ها را در آزمون مردود اعلام کند. پینتر توضیح داد که این عامل‌ها تلاش کردند هم سوابق ثبت‌شده فعالیت‌های خود و هم برنامه‌ای را که عملکردشان را بررسی می‌کرد، دست‌کاری کنند.
فرانک در توضیح رفتار آن‌ها گفت عامل‌ها به این نتیجه رسیدند که «باید ردپای خود را پاک کنیم» و سپس شروع به حذف آثار اقداماتی کردند که انجام داده بودند.
هکمن گفت همین بخش ماجرا بیش از همه او را نگران کرده است. او توضیح داد: «اما این واقعاً ترسناک است، چون حالا انگیزه این است که کاری نادرست را پنهان کنند.»
کومر گفت: «واقعیت این است که آنچه اتفاق افتاد نسبتاً بی‌خطر بود. فکر نمی‌کنم مردم باید بیش از اندازه آن را بزرگ کنند.» او افزود: «آن‌ها فقط سعی داشتند ردپای خود را پاک کنند.»
بااین‌حال، کومر نقش آزمایشگاه‌های توسعه‌دهنده هوش مصنوعی در وقوع این اتفاق را نیز پذیرفت. او گفت: «آیا آزمایشگاه‌های پیشرو هوش مصنوعی می‌توانستند در ایمن‌سازی محیط‌های سندباکس خود بهتر عمل کنند و جلوی وقوع چنین اتفاقاتی را بگیرند؟ بله.»
OpenAI این اتفاق را یک «هشدار اولیه» توصیف کرد و اعلام کرد که در حال ایجاد محیط‌های سندباکس ایزوله، اعمال محدودیت‌های سخت‌گیرانه‌تر بر دسترسی به اینترنت و افزایش نظارت بر فعالیت عامل‌هاست.
کسب‌وکارها چه چیزهایی را باید آزمایش کنند و از چه کسانی کمک بگیرند؟
هکمن با اشاره به هشدار روز یکشنبه ساتیا نادلا، مدیرعامل مایکروسافت، درباره ضرورت وجود سازوکاری برای توقف اضطراری هوش مصنوعی ابراز نگرانی کرد. فرانک نیز نادلا را «فردی فوق‌العاده باهوش» توصیف کرد.
فرانک توضیح داد که شرکت Mace Ai برای ارزیابی امنیت عامل‌های هوش مصنوعی تلاش می‌کند آن‌ها را به عبور از محدوده اختیاراتشان ترغیب کند. او گفت: «آیا می‌توانیم آن عامل را متقاعد کنیم از محدوده‌ای که برایش مجوز تعیین کرده‌اید، فراتر برود؟ مسئله اصلی دقیقاً همین است.»
کومر تأکید کرد که شناسایی آسیب‌پذیری‌ها تنها بخشی از فرایند ارزیابی امنیت است. او توضیح داد که شرکتش پس از شناسایی مشکلات، تغییراتی را در سامانه‌های عامل‌های هوش مصنوعی مشتریان پیشنهاد می‌کند و سپس با انجام آزمایش‌های مجدد بررسی می‌کند که آیا این تغییرات مؤثر بوده‌اند یا خیر.
فرانک معتقد است که فرایند آزمایش باید شامل ارزیابی از سوی یک نهاد مستقل و شخص ثالث نیز باشد. هکمن این پرسش را مطرح کرد که آیا آزمایشگاهی که خودش محصولاتش را ارزیابی می‌کند، با تعارض منافع روبه‌رو نیست؟ فرانک در پاسخ گفت: «باید یک نهاد ثالث بی‌طرف وجود داشته باشد.» او این وضعیت را با شرکت‌هایی مقایسه کرد که به مؤسسات رتبه‌بندی اعتباری پول می‌دهند تا بدهی‌های خودشان را رتبه‌بندی کنند.
فرانک شرکت Mace Ai را نهادی مستقل معرفی کرد و گفت: «نمی‌خواهم درباره آن [تحقیق METR] اظهارنظر کنم. ما واقعاً مستقل هستیم.»
گروه METR نیز در شهادت خود اعلام کرده است که از توسعه‌دهندگانی که محصولاتشان را آزمایش می‌کند، هیچ‌گونه دستمزد یا حمایت مالی دریافت نمی‌کند. بررسی این گروه مستقل از گزارش داخلی OpenAI درباره این اتفاق انجام شده بود.
کومر در کنار تأکید بر مسائل امنیتی، به فرصت‌هایی که هوش مصنوعی برای کسب‌وکارها ایجاد می‌کند نیز اشاره کرد. او هوش مصنوعی را «عاملی برای چندبرابر کردن توان شرکت‌ها» توصیف کرد که می‌تواند به کارکنان کمک کند کارهای بیشتری انجام دهند.