وصله امنیتی آگوست OpenAI برای جلوگیری از سرقت ردپای استدلال مدل‌ها، به‌سرعت دور زده شد
این اتفاق هشداری جدی برای مدیران ارشد امنیت اطلاعات است: رفع یک نقص در مدل لزوماً به معنای حل کامل مشکل نیست و آزمایش مجدد ضروری است.
شرکت پژوهشی امنیت سایبری زینت (Xint) روز دوشنبه جزئیات نقصی را در رابط برنامه‌نویسی کاربردی (API) شرکت OpenAI منتشر کرد که باعث افشای ردپاهای خام استدلال در مدل‌های پیشرفته این شرکت می‌شود و خطر نشت انواع دیگر داده‌ها را نیز آشکار می‌کند. OpenAI وجود این آسیب‌پذیری را تأیید کرده، برای مهار آن اقدام کرده و بابت کشف نقص به پژوهشگران پاداش داده است.
مشکل اینجاست که OpenAI پیش‌تر، در ماه اوت، تدابیری برای مقابله با همین مسئله به کار گرفته بود. این اقدامات پس از انتشار گزارش پژوهشی با عنوان «افکار به‌سرقت‌رفته» (Stolen Thoughts) انجام شد؛ گزارشی که نقصی مشابه را شرح می‌داد و نشان می‌داد چگونه می‌توان ردپاهای استدلال مدل‌ها را سرقت کرد. از پیامدهای احتمالی این آسیب‌پذیری می‌توان به استخراج گسترده داده‌ها، اجرای تزریق دستورهای پنهان از دید کاربر و گنجاندن محموله‌های مخرب برای آلوده‌سازی خروجی‌های عمومی سامانه‌های عامل‌محور اشاره کرد. کشف جدید زینت نشان داد که می‌توان تدابیر امنیتی پیشین OpenAI را دور زد.
OpenAI به درخواست اظهارنظر درباره این موضوع پاسخ نداد.
بازگشت آسیب‌پذیری‌ها پس از اعلام رفع آن‌ها، در حال تبدیل شدن به الگویی در میان شرکت‌های بزرگ هوش مصنوعی است. گزارش‌های مربوط به مشکلات امنیتی فروشندگان بزرگ هوش مصنوعی نیز این روند را نشان می‌دهند. برای نمونه، آمازون وب سرویسز (AWS) اوایل همین ماه اعلام کرد باگی را که در ماه آوریل برطرف کرده بود، دوباره در ماه سپتامبر اصلاح کرده است؛ زیرا مشکل بار دیگر بروز کرده بود.
دور زدن تدابیر امنیتی
شرکت زینت روش دور زدن تدابیر امنیتی را «قاچاق از طریق فشرده‌سازی» (compaction smuggling) نامیده است. در مطلب وبلاگی این شرکت درباره آسیب‌پذیری، روش کار پژوهشگران تشریح شده است.
پژوهشگران نوشتند: «تکنیک جدید ما، یعنی قاچاق از طریق فشرده‌سازی، استدلال یک مدل را با رمزگذاری آن درون یک فرایند فشرده‌سازی، به مدل دیگری منتقل می‌کند.»
آن‌ها ابتدا استدلال رمزگذاری‌شده مربوط به یک وظیفه مشخص را استخراج کردند، وظیفه اصلی را از سابقه تعامل حذف کردند و متن استدلال را بدون هیچ تغییری نگه داشتند.
در ادامه، طبق توضیح منتشرشده در وبلاگ، پژوهشگران از مدل خواستند استدلال را زیر کلید «solution» در یک شیء JSON قرار دهد و تمام فاصله‌های متن را با نویسه تب جایگزین کند. این تغییر برای عبور از سامانه‌های OpenAI که درخواست‌ها را از نظر رعایت سیاست‌های استفاده بررسی می‌کنند، کافی بود. در مطلب آمده است: «عناصر فشرده‌سازی رمزگذاری‌شده همچنان قابلیت انتقال دارند؛ بنابراین، عنصر فشرده‌سازی را به مدل‌های gpt-4.1 و gpt-4o فرستادیم و از هرکدام خواستیم ورودی خود را دقیقاً همان‌طور که دریافت کرده بود، بازتولید کند. هر دو مدل این کار را انجام دادند. سپس JSON را رمزگشایی کردیم و تب‌ها را دوباره به فاصله تبدیل کردیم.»
در این گزارش توضیح داده شده است که این روش موفق شد، زیرا تدابیر امنیتی ماه اوت OpenAI فقط بازپخش استدلال در مدلی متفاوت را مسدود می‌کردند، درحالی‌که فراخوانی فشرده‌سازی روی همان مدلی اجرا می‌شد که استدلال را تولید کرده بود. پژوهشگران افزودند: «این حمله در تمام سطوح تلاش استدلالی که آزمایش کردیم، موفق بود.»
حل این مشکل دشوار است
تیم بکر، پژوهشگر ارشد زینت و نویسنده مطلب وبلاگی، در گفت‌وگویی گفت که بخشی از زمان‌بندی این آسیب‌پذیری هنوز مشخص نیست. برای مثال، مطلبی با عنوان «اسناد به‌سرقت‌رفته» در ۱۰ اوت منتشر شد، اما بکر فقط می‌داند که OpenAI پیش از آن تاریخ مشکل را برطرف کرده بود و از زمان دقیق این اقدام اطلاعی ندارد. او همچنین گفت OpenAI تاریخ اجرای اصلاحیه مربوط به نقص گزارش‌شده از سوی زینت را اعلام نکرده است. برخلاف وصله‌های امنیتی سنتی، شرکت‌های سازنده مدل‌های هوش مصنوعی می‌توانند تغییرات را بدون اطلاع‌رسانی عمومی اعمال کنند. بکر این وضعیت را نوعی «امنیت از طریق پنهان‌کاری» توصیف کرد؛ اصطلاحی که به رویکردی اشاره دارد که در آن، امنیت یک سامانه تا حدی به ناشناخته ماندن سازوکار آن وابسته است.
به گفته بکر، محافظت از چنین مدلی «از اساس مسئله‌ای بسیار دشوار برای حل کردن است». دلیل اصلی، حجم عظیم تغییراتی است که مدل‌های امروزی به‌طور مستمر تجربه می‌کنند.
او گفت: «این مدل‌ها هدفی دائماً در حال تغییرند و همین بخشی از مشکل است. هر اقدام کاهنده خطری، تا حدی شکننده خواهد بود.»
فرانک دیکسون، تحلیلگر ارشد شرکت دیکسون ریسرچ، نیز خاطرنشان کرد که مدل‌های هوش مصنوعی در فرایندهای عملیاتی به قابلیت‌های خود متکی‌اند و همین ویژگی توضیح می‌دهد که چرا روش زینت موفق شد.
او گفت: «فرایند فشرده‌سازی روی همان مدلی اجرا می‌شود که استدلال را تولید کرده است؛ بنابراین، به‌راحتی از تدابیر امنیتی ماه اوت عبور کرد، چون آن تدابیر فقط بازپخش استدلال در مدلی دیگر را مسدود می‌کردند. جایگزین کردن فاصله‌ها با تب برای عبور از سامانه‌های بررسی سیاست‌های استفاده کافی بود. خزانه قفل شده بود، اما متصدی‌ای که کلید را در اختیار داشت، اگر مؤدبانه از او می‌خواستید، همچنان نامه را با صدای بلند می‌خواند. OpenAI باگی را که به آن نشان داده شده بود، برطرف کرد؛ مشکل این بود که فقط یکی از درها را به آن نشان داده بودند.»
خطر برای شرکت‌ها
تحلیلگران و مشاوران می‌گویند این مسئله برای شرکت‌های بزرگ ارائه‌دهنده هوش مصنوعی مشکلی جدی و فوری است، اما خطر ثانویه مهمی نیز برای مدیران ارشد امنیت اطلاعات در سازمان‌ها به همراه دارد.
اریک آواکین، مشاور فنی شرکت اینفوتک، گفت تیم زینت «با استفاده از قابلیت‌های قانونی و از پیش تعبیه‌شده در پلتفرم، تدابیر حفاظتی را دور زد. برای بیشتر شرکت‌ها، ممکن است این کشف به‌تنهایی به سطح یک بحران فوری نرسد، اما اهمیت آن در این است که نشان می‌دهد چگونه می‌توان قابلیت‌های مجاز یک پلتفرم هوش مصنوعی را با یکدیگر ترکیب کرد و از سد تدابیر حفاظتی محدودی که برای مقابله با یک روش خاص طراحی شده‌اند، گذشت.»
او افزود: «این وضعیت می‌تواند سازمان‌ها را در معرض خطرهایی قرار دهد که یک وصله منفرد از سوی فروشنده لزوماً آن‌ها را برطرف نمی‌کند. این مسئله بار دیگر نشان می‌دهد که رفع کامل چنین آسیب‌پذیری‌هایی تا چه اندازه دشوار است؛ به‌ویژه زمانی که اجزای مختلف یک سامانه هوش مصنوعی با یکدیگر تعامل می‌کنند و خطرهای پیش‌بینی‌نشده‌ای به وجود می‌آورند.» آواکین گفت این اتفاق باید هشداری برای شرکت‌ها باشد.
او توضیح داد: «پیام اصلی برای مدیران ارشد امنیت اطلاعات این است که نباید صرفاً به این دلیل که فروشنده یک سوءاستفاده مشخص را برطرف کرده، نتیجه بگیرند که ضعف زیربنایی به‌طور کامل رفع شده است. این مدیران باید از ارائه‌دهندگان هوش مصنوعی بخواهند توضیح دهند نه‌تنها چگونه سوءاستفاده گزارش‌شده را اصلاح کرده‌اند، بلکه قابلیت‌ها و سرویس‌های مرتبط را نیز چگونه آزمایش کرده‌اند.»
برایان لوین، از شرکای شرکت مشاوره‌ای کنترل ریسک، نیز گفت مدیران امنیت اطلاعات باید به الگوی کلی این آسیب‌پذیری‌ها توجه کنند؛ نقص‌هایی که بارها نیازمند اصلاح می‌شوند.
او گفت: «فروشندگان مسیر حمله مشخصی را که گزارش شده است، اصلاح می‌کنند، نه دسته اصلی ضعف را؛ سپس پژوهشگران از درِ جانبی دیگری دوباره وارد می‌شوند. اعلام انتشار وصله اثبات نمی‌کند که خطر از بین رفته است. نباید عبارت «رفع شد» از سوی فروشنده هوش مصنوعی را پایان گفت‌وگو بدانید. بپرسید چه آزمایش‌هایی برای شناسایی گونه‌های دیگر آسیب‌پذیری انجام شده است و درج تعهد به اطلاع‌رسانی درباره آزمون‌های بازگشتی را در قراردادهایتان بگنجانید.»
جف والدز، مدیر شرکت مشاوره‌ای اکسلجنس، نیز نگرانی‌های مشابهی را مطرح کرد.
والدز گفت: «این اتفاق زمانی رخ می‌دهد که امنیت را به بازیِ ضربه زدن به نقاط مشکل‌دار یکی پس از دیگری تبدیل کنید، به‌جای آنکه زیرساخت اصلی را اصلاح کنید. رفع یک نشانه، درحالی‌که لوله‌های پشتیبان همچنان باز هستند، راهبردی برای برطرف کردن مشکل نیست؛ فقط آسیب‌پذیری را به نسخه بعدی موکول می‌کند. اگر مهاجم بتواند دفترچه یادداشت داخلی مدل را از مرزهای API عبور دهد و داده‌های آموزشی را سرقت کند، چه چیزی باعث می‌شود تصور کنیم دستورهای سازمانی و اطلاعات حساس میانی واقعاً از دسترس دیگران دور نگه داشته شده‌اند؟»
پیتر آرنتز، پژوهشگر اطلاعات بدافزار در شرکت مالوربایتس، نیز خاطرنشان کرد که اصلاحیه تابستانی OpenAI کافی نبوده است. او گفت: «اقدام کاهنده خطر قبلی کامل نبود؛ این توصیف منصفانه‌ای از شکاف باقی‌مانده است.»
آرنتز توصیه کرد: «پس از اصلاحات فروشنده، آزمایش را تکرار کنید. همان‌طور که نمونه AWS نشان می‌دهد، رفع نقص در یک بخش می‌تواند مسیرهای دیگر را باز بگذارد. به‌جای اعتماد به گفته فروشنده، با آزمایش‌های خودتان از رفع مشکل اطمینان حاصل کنید.»
آمان ماهاپاترا، مدیر ارشد راهبرد شرکت مشاوره فناوری تریبکا سافت‌تک مستقر در نیویورک، گفت تقریباً ناممکن است که بزرگ‌ترین شرکت‌های ارائه‌دهنده هوش مصنوعی گزارش‌های مهم آسیب‌پذیری را به شیوه‌ای غیرتدریجی و یکپارچه بررسی کنند.
او توضیح داد: «فروشندگان هوش مصنوعی در حال اصلاح سوءاستفاده‌ها در سطحی هستند که هر ماه چند قابلیت جدید به آن اضافه می‌شود. تا زمانی که آن‌ها ویژگی‌های بنیادی ضعف را اصلاح نکنند، نه صرفاً مسیرهای حمله را، مدیران امنیت اطلاعات باید فرض کنند هر اصلاح امنیتی هوش مصنوعی ناقص است، هر داده رمزگذاری‌شده‌ای ممکن است خوانده شود و هر سازوکار حفاظتی فروشنده ممکن است با یک ترفند در شیوه رمزگذاری بی‌اثر شود. این روند واقعی است و گفتن اینکه «اصلاحیه کار نکرد» ابعاد اتفاق را به‌درستی بیان نمی‌کند.»
ماهاپاترا اشاره کرد که در هر دو مورد OpenAI و AWS، فروشنده نمونه مشخص حمله را اصلاح کرده، اما ویژگی زیربنایی آسیب‌پذیر باقی مانده است. او گفت: «مسیر را وصله کنید، اما ویژگی را دست‌نخورده بگذارید. در پلتفرم‌هایی که از قابلیت‌های قابل‌ترکیب ساخته شده‌اند، هر قابلیت جدید مسیر تازه‌ای برای دسترسی به همان دارایی ایجاد می‌کند؛ در نتیجه، اصلاحات نقطه‌ای در سطحی با ترکیب‌های فراوان، بارها شکست خواهند خورد.»
مدیران امنیت اطلاعات هنوز به الگوی عامل‌محور عادت نکرده‌اند
ماهاپاترا گفت صنعت امنیت سایبری باید از تجربه تاریخی خود درس بگیرد.
او گفت: «رمزنگاران دو دهه پیش این درس را از حملات مبتنی بر اوراکلِ پدینگ آموختند: هر سامانه‌ای که از طرف کاربر رمزگشایی می‌کند و هر چیزی را که از متن آشکارشده به دست آمده بازمی‌گرداند، به یک اوراکل تبدیل می‌شود. پلتفرم‌های هوش مصنوعی دارند همین درس را با پیچیدگی تازه‌ای دوباره می‌آموزند. هر مرحله از اجرای یک مدل زبانی بزرگ که به اطلاعات محرمانه دسترسی دارد و هم‌زمان دستور می‌پذیرد، یک اوراکل است؛ و زبان طبیعی، انعطاف‌پذیرترین رابطی است که تاکنون برای چنین اوراکلی ساخته شده است.»
او خاطرنشان کرد که قابلیت فشرده‌سازی دقیقاً همان کاری را انجام داده که برای آن طراحی شده است. امکان انتقال این داده‌ها میان مدل‌ها نیز به این دلیل وجود دارد که ابزارهای عامل‌محور، مانند Codex، بتوانند به کاربران اجازه دهند در میانه یک نشست از مدلی به مدل دیگر تغییر مسیر دهند. او گفت: «قابلیت و آسیب‌پذیری در واقع یک توانمندی واحد هستند؛ به همین دلیل است که اصلاحیه‌ها همچنان محدود و موردی باقی می‌مانند.»
بااین‌حال، به گفته او، مشکل بزرگ‌تر این است که فرایندهای عملیاتی مدیران ارشد امنیت اطلاعات هنوز با شیوه کار سامانه‌های عامل‌محور سازگار نشده‌اند.
ماهاپاترا گفت: «نقص‌های پلتفرم‌های هوش مصنوعی بدون شناسه CVE، بدون اطلاعیه امنیتی و بدون یادداشت انتشار وصله ظاهر می‌شوند. مدیریت آسیب‌پذیری در سازمان‌ها که بر خوراک‌های اطلاعاتی CVE و اطلاعیه‌های فروشندگان تکیه دارد، در برابر مهم‌ترین تأمین‌کنندگان جدید خود نابیناست. مدیران امنیت اطلاعات باید تعهدات مربوط به اطلاع‌رسانی امنیتی را در قراردادهای ارائه‌دهندگان هوش مصنوعی بگنجانند، فردی را مسئول پیگیری افشاگری‌های پژوهشگران درباره پلتفرم‌های مورد استفاده خود کنند و پس از هر اصلاحیه از فروشنده یک سؤال بپرسند: آیا گزارش مشخص را اصلاح کردید یا کل دسته ضعف را؟ چه تحلیل و آزمایشی درباره گونه‌های دیگر آسیب‌پذیری از این پاسخ پشتیبانی می‌کند؟»
او همچنین درباره پایین بودن مبلغ پاداش پرداخت‌شده به زینت پرسش‌هایی مطرح کرد.
ماهاپاترا گفت: «پرداخت پاداش ۶ هزار دلاری برای باگی که امکان استخراج صنعتی و گسترده اطلاعات را فراهم می‌کند؛ همان خطری که آژانس امنیت ملی آمریکا (NSA)، آژانس امنیت سایبری و زیرساخت (CISA) و اداره تحقیقات فدرال (FBI) در هشدار مشترک ماه سپتامبر درباره آن هشدار داده بودند، پیامی درباره ارزش‌گذاری چنین کشفیاتی است؛ پیامی که پژوهشگران و خریداران دیگری که حاضر به پرداخت مبالغ بیشتر هستند، متوجه آن خواهند شد.»