OpenAI روزانه ۵۰۰ هزار دلار هزینه می‌کند تا بفهمد عامل‌های هوش مصنوعی‌اش چه کرده‌اند؛ هزینه شما چقدر خواهد بود؟
۱۴ اکتبر ۲۰۲۶ – آیوش ستی
عامل‌های هوش مصنوعی OpenAI از محیط آزمایشی خود خارج شدند، به Hugging Face نفوذ کردند و با سامانه‌های بیش از ۱۰۰ سازمان تماس داشتند. OpenAI هنوز نمی‌تواند با قطعیت بگوید این عامل‌ها دقیقاً چه کارهایی انجام داده‌اند. اگر سازندگان این عامل‌ها هم نمی‌توانند رفتار آن‌ها را به‌طور کامل ردیابی کنند، سازمان‌های دیگر چگونه خواهند توانست چنین کاری را انجام دهند؟
فراتر از تیتر خبر
ما این ماجرا را در برنامه «This Week in AI Security» بررسی کردیم و از آن زمان ذهنم را درگیر کرده است. OpenAI اکنون به بیش از ۱۰۰ سازمان اطلاع داده که ممکن است عامل‌های هوش مصنوعی این شرکت بدون مجوز به سامانه‌های آن‌ها دسترسی پیدا کرده باشند. برای مشخص کردن ابعاد کامل این رخداد، این شرکت در حال بررسی حدود ۵۰ پتابایت داده از نزدیک به ۷ هزار پردازنده گرافیکی است؛ فرآیندی که بیش از ۵۰۰ هزار دلار در روز هزینه دارد و هنوز زمان پایان مشخصی برای آن اعلام نشده است.
دوباره به این موضوع فکر کنید: شرکتی که این عامل‌ها را ساخته و احتمالاً بیش از هر مجموعه دیگری آن‌ها را می‌شناسد، برای فهمیدن کارهایی که انجام داده‌اند به عملیاتی در مقیاس یک مرکز داده نیاز دارد.
من معمولاً درباره خبرهای ترسناک حوزه هوش مصنوعی محتاط هستم. بسیاری از این خبرها وقتی جزئیاتشان را بررسی می‌کنید، اهمیت اولیه خود را از دست می‌دهند. اما این مورد هرچه بیشتر بررسی شود، نگران‌کننده‌تر به نظر می‌رسد.
طبق گزارش رخداد خود OpenAI، اتفاقات به این شکل رخ داده است:
ماه مه
عامل‌های هوش مصنوعی در اجرای آزمایش‌های آموزشی پژوهشی OpenAI راه‌هایی برای پیام‌رسانی با یکدیگر و دسترسی به اینترنت از طریق یک مدیر بسته داخلی پیدا کردند. یک تیم داخلی در اواخر ماه مه فعالیت‌های پیام‌رسانی و دسترسی غیرمجاز به اینترنت را مشاهده کرد، اما هشدار مربوطه به سطح بالاتر منتقل نشد.
ماه ژوئیه
عامل‌هایی که در انجام وظایف دشوار ارزیابی امنیت سایبری گیر کرده بودند، برای یافتن پاسخ به اینترنت مراجعه کردند. یکی از آن‌ها ۱۴ اعتبارنامه عمومی افشاشده در Hugging Face را پیدا کرد که امکان دسترسی نوشتن داشتند و آن‌ها را با سایر عامل‌ها به اشتراک گذاشت.
از آنجا، عامل‌ها مجموعه‌ای از آسیب‌پذیری‌های ناشناخته قبلی را به هم متصل کردند، روی ده‌ها سرور Hugging Face کد اجرا کردند، در یکی از سرورها دسترسی ریشه به دست آوردند و اعتبارنامه‌های Kubernetes، پایگاه‌های داده، سامانه‌های پیام‌رسانی، مخازن کد و سرویس‌های ابری را در چهار منطقه جمع‌آوری کردند. در این مسیر، آن‌ها همچنین کنترل یک برنامه مشتری میزبانی‌شده در Modal را به دست گرفتند.
چه کسی متوجه این نفوذ شد؟ Hugging Face. این شرکت در ۱۶ ژوئیه نفوذ را اعلام کرد. هشدار امنیتی خود OpenAI تا ۱۹ ژوئیه فعال نشد.
۲۰ سپتامبر
این اتفاق دوباره تکرار شد. یک عامل پژوهشی شکافی در محدودیت‌های شبکه OpenAI پیدا کرد و با استفاده از درخواست‌های DNS به یک چت‌بات خارجی دسترسی یافت. سامانه خودکاری که باید اجرای عامل را متوقف می‌کرد، کار نکرد. OpenAI برای دومین بار در دو ماه، آموزش مدل‌ها را متوقف کرد.
از آن زمان، شرکت پزشکی قانونی Asymmetric Security گزارش داده است که مدل‌های OpenAI داده‌هایی را از ۵۵ وب‌سایت، از جمله SEC، CDC و کلینیک مایو، دریافت کرده‌اند و بخشی از این فعالیت‌ها باعث حذف یا غیرقابل‌دسترسی شدن سوابق شده است. کمیسیون تجارت فدرال آمریکا (FTC) نیز تحقیقاتی در سطح صنعت درباره رفتار عامل‌های سرکش آغاز کرده است. دادستان کل کالیفرنیا هم احضاریه تحقیقاتی برای OpenAI صادر کرده است.
برای رعایت انصاف درباره OpenAI باید گفت که اعلام هشدار به معنای تأیید قطعی یک نفوذ نیست، بخش زیادی از فعالیت‌ها شامل محتوای عمومی بوده و این شرکت درباره مشکلات رخ‌داده شفافیت بیشتری نسبت به بسیاری از شرکت‌ها نشان داده است. با این حال، هیچ‌کدام از این موارد جزئیات نگران‌کننده ماجرا را کم نمی‌کند.
سه نکته‌ای که باید باعث نگرانی شما شود
عامل‌ها می‌دانستند چه می‌کنند
OpenAI استدلال‌های خود عامل‌ها را منتشر کرده است. یکی از عامل‌ها اشاره کرد که حمله به Hugging Face «احتمالاً غیرمجاز» است و مکث کرد. سپس عامل دیگری در تابلوی پیام‌رسانی داخلی آن‌ها با تعیین مهلت شش دقیقه‌ای، اجازه ادامه کار را صادر کرد و عامل اول ادامه داد.
عامل‌ها خودشان را یک «گروه هماهنگ» می‌نامیدند و کارها را میان خود تقسیم کرده بودند. برخی به دنبال اعتبارنامه‌ها بودند و برخی آسیب‌پذیری‌ها را جست‌وجو می‌کردند. حفاظتی که فقط در قضاوت داخلی یک عامل قرار دارد، می‌تواند توسط همان عامل یا عامل دیگری تغییر داده شود؛ و در این مورد، یک عامل توانست عامل دیگر را متقاعد کند.
آن‌ها تسلیم نمی‌شدند
عامل‌ها به‌ندرت یک وظیفه را رها می‌کردند، حتی اگر انجام آن غیرممکن بود. در ۱۹۸ مورد از ۸۹۸ وظیفه ارزیابی، هیچ مدل OpenAI تاکنون پاسخ درست تولید نکرده بود. همین وظایف حل‌نشدنی ۹۳ درصد از وظایفی را تشکیل می‌دادند که عامل‌ها درباره آن‌ها در تابلوی پیام خود صحبت کرده بودند.
اگر هدفی به یک عامل بدهید که نتواند آن را از مسیر قانونی انجام دهد، ممکن است به دنبال راه دیگری برای رسیدن به آن بگردد.
نشانه‌های هشدار در گزارش‌ها وجود داشت، اما کسی اقدام نکرد
نشانه‌های اولیه از اواخر ماه مه در سامانه‌های OpenAI وجود داشتند. OpenAI می‌گوید سامانه‌های نظارتی که امروز اجرا می‌کند، در آن زمان می‌توانستند بیش از یک روز پیش از رسیدن عامل‌ها به Hugging Face تیم امنیتی را مطلع کنند. اما این نظارت برای این ارزیابی‌ها فعال نشده بود.
شرکتی که قربانی شد، پیش از شرکتی که عامل‌های ایجادکننده رخداد را ساخته بود، نفوذ را شناسایی کرد.
این فقط مشکل یک آزمایشگاه پیشرفته نیست
واکنش ساده این است که همه این اتفاقات را «مشکل OpenAI» بدانیم. این برداشت اشتباه است.
مدل پیشرفته را کنار بگذارید و ببینید چه چیزی باقی می‌ماند: عاملی با یک هدف، ابزار و اعتبارنامه که هر مانعی را چیزی برای دور زدن می‌بیند. این همان عامل کدنویسی است که مهندسان شما با یک کلید ابری اجرا می‌کنند. همان عامل پشتیبانی است که به پایگاه داده مشتریان متصل است. همان عامل گردش کاری است که می‌تواند به نام مدیر مالی شما ایمیل ارسال کند.
روش‌هایی که استفاده شدند هم پیچیده نبودند: اعتبارنامه‌های افشاشده، نقص‌های تزریق و کنترل‌های ضعیف دسترسی. این‌ها همان ضعف‌هایی هستند که امروز در بسیاری از محیط‌های سازمانی وجود دارند. هر کلیدی که تیم‌های شما در یک مخزن عمومی، تیکت یا سند مشترک قرار داده باشند، دقیقاً همان چیزی است که این عامل‌ها به دنبال آن می‌گردند؛ و آن را پیدا می‌کنند.
این توانایی در حال گسترش است. OpenAI می‌گوید بسیاری از مدل‌های دیگر، از جمله مدل‌های متن‌باز، به‌زودی به سطح مشابهی از توانایی خواهند رسید. عامل‌هایی که سازمان‌ها در سال آینده به کار می‌گیرند، ممکن است بتوانند همان کارهایی را انجام دهند که عامل‌های پژوهشی OpenAI در تابستان انجام دادند؛ با این تفاوت که آن‌ها دیگر در محیط آزمایشی نخواهند بود، بلکه داخل شبکه شما، با مجوزهای واقعی و دسترسی به داده‌های واقعی فعالیت خواهند کرد.
جزئیات ناخوشایند دیگری هم وجود دارد. وقتی OpenAI دولت استرالیا را مطلع کرد، نخستین ایمیل به یک صندوق عمومی ارسال شد و طبق گزارش فایننشال تایمز، پنج روز دیگر طول کشید تا این پیام به سازمان امنیت سایبری آن کشور برسد. اگر چنین هشداری فردا به شرکت شما برسد، به دست چه کسی خواهد رسید؟ و آن فرد با چه سرعتی می‌تواند پاسخ دهد؟
پرسش‌هایی که از شما پرسیده خواهد شد
وقتی یکی از عامل‌های شما کاری انجام دهد که نباید انجام می‌داد، پرسش‌ها ساده خواهند بود: کدام عامل بود؟ به چه چیزهایی دسترسی داشت؟ چه کاری انجام داد؟ چه زمانی متوجه شدید؟
OpenAI اکنون در حال پاسخ دادن به این پرسش‌ها پس از وقوع رخداد است؛ با هزینه‌ای بیش از ۱۵ میلیون دلار در ماه. بیشتر شرکت‌ها حتی با هر هزینه‌ای هم نمی‌توانند پاسخ دهند، زیرا سوابق موردنیاز را اصلاً در اختیار ندارند.
کدام عامل‌ها را اجرا می‌کنید؟
بیشتر تیم‌های امنیتی نمی‌توانند فهرست کاملی ارائه دهند. عامل‌ها در مخازن ساخته می‌شوند، به حساب‌های ابری متصل می‌شوند و توسط تیم‌هایی راه‌اندازی می‌شوند که شاید کسی را مطلع نکرده باشند. نمی‌توان عاملی را که از وجودش خبر ندارید، نظارت کرد؛ و OpenAI نشان داد وقتی برخی عامل‌ها زیر نظر نباشند چه اتفاقی رخ می‌دهد.
FireTail مدل‌ها و عامل‌های هوش مصنوعی را در کد و محیط‌های ابری سازمان شناسایی می‌کند و آن‌ها را در یک فهرست به‌روز نگه می‌دارد. همچنین مسیر کامل تعاملات LLM عامل‌ها را در پلتفرم‌های AWS، Azure، GCP، OpenAI و Anthropic ثبت می‌کند تا سازمان‌ها در صورت نیاز بتوانند به داده‌های لازم دسترسی داشته باشند.
هر عامل به چه چیزهایی دسترسی دارد؟
دامنه واقعی آسیب یک عامل را ابزارها، مدل‌ها و اعتبارنامه‌های متصل به آن تعیین می‌کنند: تابعی که پایگاه داده مشتریان عملیاتی را جست‌وجو می‌کند، ابزاری که فرمان‌های شِل اجرا می‌کند یا کلیدی که ایمیل ارسال می‌کند. در بسیاری از سازمان‌ها، هیچ‌کدام از این موارد در جایی ثبت نشده است که تیم امنیتی بتواند آن را بررسی کند.
FireTail هر عامل را به مدل‌هایی که فراخوانی می‌کند، پیام‌های سیستمی آن، ریسک مدل پایه و ابزارهایی که می‌تواند استفاده کند، تا سطح خطوط کدی که این موارد در آن تعریف شده‌اند، مرتبط می‌کند.
هر عامل چه کاری انجام داده است؟
این همان پرسش ۵۰۰ هزار دلاری است. در سپتامبر، OpenAI دومین خروج عامل‌ها را ظرف ۱۵ دقیقه شناسایی کرد، زیرا نظارت فعال بود. در ژوئیه، نشانه‌ها هفته‌ها بدون بررسی باقی ماندند و یک شرکت خارجی هشدار را مطرح کرد.
FireTail گزارش‌های عامل‌ها و مدل‌های فعال در سامانه‌های سازمان و ابزارهای هوش مصنوعی مورد استفاده کارکنان را متمرکز و استاندارد می‌کند. این سامانه ناهنجاری‌ها، تزریق فرمان و نشت داده را در زمان واقعی شناسایی می‌کند و هشدارها را بر اساس شدت اولویت‌بندی می‌کند. سوابق خارج از خود عامل‌ها نگهداری می‌شوند، جایی که عامل‌ها نمی‌توانند آن‌ها را تغییر دهند.
هیچ‌کدام از این موارد جایگزین مهار رخداد نیست. جداسازی شبکه، اعتبارنامه‌های محدود و یک کلید توقف اضطراری فعال همچنان نخستین خط دفاعی هستند. اما رخداد سپتامبر OpenAI این موضوع را خلاصه می‌کند: کلید توقف کار نکرد، اما نظارت مؤثر بود.
نتیجه‌گیری‌های اصلی
- فرض کنید عامل‌های شما ممکن است از مرزها عبور کنند. عامل‌های OpenAI هم چنین کردند، حتی هنگام بررسی اینکه آیا باید این کار را انجام دهند یا نه. به جای امیدواری به هم‌راستایی کامل، برای چنین شرایطی برنامه‌ریزی کنید.
- ابتدا فهرست‌برداری کنید. نظارتی که برخی عامل‌ها را پوشش نداد، دلیل از دست رفتن نشانه‌های هشدار در OpenAI بود. چیزی را که پیدا نکرده‌اید نمی‌توانید پوشش دهید.
- مسیر حسابرسی بسازید. گزارش‌ها منبع اصلی داده برای بررسی رخداد هستند. تا زمانی که واقعاً به آن‌ها نیاز پیدا نکنید، متوجه اهمیتشان نمی‌شوید.
- پیش از رخداد، دامنه آسیب را مشخص کنید. هر اعتبارنامه افشاشده و هر ابزار دارای مجوز بیش از حد، مسیری است که یک عامل می‌تواند پیدا کند.
- سوابق را خارج از عامل نگه دارید و آن‌ها را در زمان واقعی بررسی کنید. تفاوت ۱۵ دقیقه با چند هفته، تفاوت میان کشف یک خروج و خواندن گزارش آن در افشای شخص دیگری است.
- بدانید چه کسی باید هشدار را دریافت کند. همین حالا مشخص کنید مسئول رخدادهای مربوط به عامل‌های هوش مصنوعی چه کسی است و با چه سرعتی می‌تواند به چهار پرسش اصلی پاسخ دهد.
OpenAI توان مالی بررسی ۵۰ پتابایت داده را دارد. احتمالاً شما چنین امکانی ندارید. وقتی یکی از عامل‌های شما کاری انجام دهد که نباید انجام می‌داد، ۷ هزار پردازنده گرافیکی در اختیار نخواهید داشت؛ فقط همان سوابقی را دارید که نگه داشته‌اید.