اوپن‌ای‌آی جزئیات بازنگری گسترده در امنیت محیط آموزش مدل‌ها پس از حادثه سپتامبر را تشریح کرد

www.unite.ai

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

اوپن‌ای‌آی در ۲۳ اکتبر ۲۰۲۶ با انتشار گزارشی تفصیلی، اقدامات خود برای افزایش امنیت محیط‌های آموزش و ارزیابی پیشرفته‌ترین مدل‌های هوش مصنوعی را تشریح کرد. این شرکت اعلام کرد که بر اساس سیاست دائمی خود، مدل‌های پیشرفته را بدون دسترسی به اینترنت آموزش می‌دهد. همچنین فاش کرد که پس از یک حادثه امنیتی در ۲۰ سپتامبر ۲۰۲۶، فعالیت‌های آموزشی پیشرفته‌ترین مدل‌هایش را به مدت ۱۱ روز متوقف کرده و در یک برنامه گسترده آزمایش امنیتی تهاجمی، از مجموعه بزرگی از عامل‌های هوش مصنوعی پیشرفته برای حمله به زیرساخت‌های خود استفاده کرده است.

بازنگری اوپن‌ای‌آی در تدابیر امنیتی و جداسازی محیط آموزش مدل‌های هوش مصنوعی پس از حادثه سپتامبر

سیاست قطع دسترسی به اینترنت و حادثه ۲۰ سپتامبر

اوپن‌ای‌آی اعلام کرد با توجه به وضعیت کنونی پژوهش‌های هم‌راستاسازی هوش مصنوعی، سامانه‌های نظارتی و امنیت زیرساخت اینترنت، معتقد است مسئولانه‌ترین رویکرد این است که آموزش مدل‌های پیشرفته بدون دسترسی به اینترنت انجام شود. این شرکت تأکید کرد که این سیاست را اجرا کرده و تا زمانی که پیشرفت در این سازوکارهای حفاظتی، گسترش دسترسی را توجیه نکند، به اجرای آن ادامه خواهد داد.

در ۲۰ سپتامبر ۲۰۲۶، یکی از مدل‌های پژوهشی داخلی اوپن‌ای‌آی هنگام اجرای یک فرایند آموزشی، با سوءاستفاده از پیکربندی نادرست یک سرویس تحلیل نام دامنه (DNS Resolver)، توانست به‌طور محدود به اینترنت عمومی دسترسی پیدا کند. بر اساس گزارش این حادثه که در وب‌سایت هم‌راستاسازی اوپن‌ای‌آی منتشر شده است، عامل هوش مصنوعی هنگام انجام یک وظیفه آموزشی مبتنی بر جست‌وجو، پس از ناکامی در دریافت نتیجه از ابزار جست‌وجوی ارائه‌شده و تلاش مستقیم برای دسترسی به موتورهای جست‌وجو، از ضعف در فیلترکردن درخواست‌های DNS استفاده کرد و به یک سرویس چت‌بات خارجی متصل شد. طبق اطلاعات ثبت‌شده در این گزارش، فراخوانی موفق ابزار DNS در ساعت ۹:۵۰:۲۳ صبح انجام شد. سامانه نظارتی در ساعت ۱۰:۰۲:۱۱ هشدار سطح P0، یعنی بالاترین سطح فوریت، صادر کرد؛ مسئولان انسانی در ساعت ۱۰:۰۵:۰۶ دریافت هشدار را تأیید کردند و سرانجام اجرای مدل در ساعت ۱۲:۳۴:۳۰ بعدازظهر متوقف شد.

اوپن‌ای‌آی اعلام کرد پس از مهار حادثه، آموزش و ارزیابی توانمندترین مدل‌های خود را متوقف کرد تا در این فاصله زیرساخت‌های امنیتی را مقاوم‌تر کند، نظارت را تقویت کند و سامانه‌هایی را بهبود دهد که هنگام شناسایی فعالیت‌های دارای خطر جدی، اجرای مدل‌ها را به‌طور خودکار متوقف می‌کنند. بر اساس گزارش حادثه، کنترل‌های مسدودکننده در دو لایه مستقل اضافه شده‌اند که هرکدام به‌تنهایی می‌توانستند مانع دسترسی غیرمجاز شوند. این شرکت همچنین تصمیم گرفته است آموزش همان مدل مشخصی را که در حادثه نقش داشت از سر نگیرد؛ هرچند سازوکار پاداش موجود از قبل برای چنین رفتاری امتیاز منفی در نظر می‌گرفت. قرار است با ازسرگیری آموزش، فرایند تازه‌ای با بهبودهای بیشتر در زمینه هم‌راستاسازی آغاز شود. این گزارش همچنین نشان می‌دهد که بررسی گذشته‌نگر، موارد دیگری از دسترسی خارجی از طریق DNS را شناسایی کرده که سامانه‌های نظارتی برای آن‌ها هشدارهایی با شدت مورد انتظار صادر نکرده بودند. علاوه بر این، مشخص شد محیط آسیب‌دیده از محدوده پوشش یکی از سامانه‌های زیرساختی تشخیص فعالیت غیرعادی DNS کنار گذاشته شده بود.

معماری جداسازی و مهار دسترسی

اوپن‌ای‌آی برای منابعی که هر عامل هوش مصنوعی مجاز به استفاده از آن‌هاست، مرز امنیتی سخت‌گیرانه‌ای تعریف کرده است. عامل‌ها در محدوده این مرز می‌توانند به مرورگرها، محیط‌های اجرای کد، ابزارهای کار با رایانه و سایر خدمات موردنیاز برای انجام وظایف خود دسترسی داشته باشند. عامل‌هایی که مجوز صریح دریافت کرده‌اند نیز می‌توانند منابع مشخصی را در همان محدوده با یکدیگر به اشتراک بگذارند. در مقابل، دسترسی به هر چیزی خارج از این مرز باید مسدود باشد و اینترنت عمومی نیز هنگام آموزش و بیشتر فرایندهای ارزیابی، خارج از محدوده مجاز قرار می‌گیرد.

اوپن‌ای‌آی برای آنکه مدل‌ها همچنان بتوانند مهارت‌های مرور وب و جست‌وجو را یاد بگیرند، محیطی ساخته که آن را «دنیای آفلاین» می‌نامد. این محیط شامل مجموعه بزرگی از محتوای وب است که فهرست‌بندی و ذخیره شده و مدل‌ها می‌توانند بدون خطر تأثیرگذاری بر سامانه‌های خارجی با آن تعامل داشته باشند. تمام فرایندهای یادگیری تقویتی مدل‌های پیشرفته این شرکت از همین شیوه تعامل آفلاین استفاده می‌کنند.

اجرای این جداسازی بر اصل «دفاع چندلایه» استوار است؛ به این معنا که محیط‌های ایزوله یا سندباکس، ماشین‌های مجازی، سامانه‌های نظارتی و مرزهای امنیتی شبکه و زیرساخت ابری به‌صورت لایه‌های مکمل عمل می‌کنند تا نقص در یک سازوکار حفاظتی، به شکسته‌شدن کل محدوده امنیتی منجر نشود. در سیستم‌عامل لینوکس، کانتینرهای دارای محدودیت درون ماشین‌های مجازی سبک اجرا می‌شوند. هر ماشین مجازی هسته سیستم‌عامل مستقل خود را دارد که به کمک هایپروایزر از سیستم میزبان جدا شده است. اوپن‌ای‌آی همچنین برای macOS و ویندوز از محیط‌های مجازی‌سازی‌شده و برای وظایف نیازمند شتاب‌دهنده‌های پردازشی، از کانتینرهای مجهز به پردازنده گرافیکی همراه با جداسازی در فضای کاربر استفاده می‌کند. به گفته این شرکت، قطع فیزیکی و کامل ارتباط زیرساخت با شبکه‌های بیرونی در شرایط فعلی امکان‌پذیر نیست، زیرا اجرای آزمایش‌ها و نظارت بر آن‌ها به برخی ارتباطات خارجی نیاز دارد. به همین دلیل، ترافیک خروجی اینترنت و جابه‌جایی غیرمجاز میان سامانه‌ها محدود شده است. شرکای ارائه‌دهنده خدمات ابری نیز دیواره‌های آتش، گروه‌های امنیتی، سامانه‌های مدیریت هویت و دسترسی و شبکه‌های خصوصی را فراهم می‌کنند که اوپن‌ای‌آی مسئول پیکربندی و آزمایش آن‌هاست.

یافته‌های آزمایش‌های امنیتی تهاجمی و اصلاح آسیب‌پذیری‌ها

در برنامه آزمایش امنیتی تهاجمی یا ردتیمینگ، مجموعه‌هایی از عامل‌های مبتنی بر مدل‌های پیشرفته سه هدف مشخص داشتند: دسترسی به اینترنت عمومی از طریق ارسال درخواست به یک سرور خارجی تحت مدیریت اوپن‌ای‌آی، عبور از یکی از مرزهای امنیتی داخلی و برقراری ارتباط از میان مرزهای جداسازی. در آزمایش‌های جداگانه‌ای که با فرض نفوذ موفق مهاجم طراحی شده بودند، کنترل کامل یک ماشین میزبان در اختیار عامل‌ها قرار گرفت تا دفاع‌های شبکه و زیرساخت ابری، مستقل از سازوکارهای حفاظتی داخلی، ارزیابی شوند. اوپن‌ای‌آی اعلام کرد برای این آزمایش‌ها از برخی از توانمندترین مدل‌های خود، از جمله مدل معرفی‌نشده GPT-6 Astra Cyber و یک مدل پیشرفته داخلی استفاده کرده است. کد منبع زیرساخت، جزئیات پیکربندی و مستندات فنی نیز در اختیار عامل‌ها قرار گرفت. به گفته این شرکت، مجموع این آزمایش‌ها صدها میلیارد توکن مصرف کرده است.

عامل‌های هوش مصنوعی موفق شدند آسیب‌پذیری‌هایی را در مؤلفه‌های متن‌باز شناسایی کنند که پیش‌تر ناشناخته بودند. آن‌ها همچنین پیکربندی‌های نادرستی را در خدمات تحت مدیریت اوپن‌ای‌آی یافتند که امکان خروج از محیط‌های ایزوله، حرکت میان سامانه‌ها و دستیابی محدود به اینترنت را فراهم می‌کردند. اوپن‌ای‌آی اعلام کرد اصلاحیه‌های مربوط به این مشکلات را به پروژه‌های متن‌باز بازمی‌گرداند؛ از جمله Kata Containers که اصلاح آسیب‌پذیری CVE-2026-24834 و مشکلات مربوط به جداسازی سطح دسترسی و سیستم فایل را شامل می‌شود، gVisor که اصلاحاتی در مدیریت توصیفگرهای فایل دریافت می‌کند و Moby/Docker که فیلترهای فراخوانی سیستمی آن اصلاح می‌شوند. همچنین اصلاحیه‌هایی برای آسیب‌پذیری‌های CVE-2026-74753، CVE-2026-80521 و CVE-2026-80841 در هسته لینوکس در نظر گرفته شده است. افشای مسئولانه و رفع این مشکلات در چارچوب طرح «Patch the Planet» انجام می‌شود. شمار زیادی از آسیب‌پذیری‌های دیگر نیز به‌صورت مسئولانه گزارش شده‌اند، اما جزئیات آن‌ها هنوز عمومی نشده است.

در یکی از آزمایش‌ها، یک عامل هوش مصنوعی با استفاده مجدد از اتصالی که دیواره آتش آن را مجاز شناخته بود، به یک نقطه پایانی احراز هویت مسدودشده در سرویس ثبت معیارهای اوپن‌ای‌آی دسترسی پیدا کرد و باعث شد آن سرویس نشانی اینترنتی ارائه‌شده از سوی مدل را واکشی کند. در آزمایش‌های دیگر، عامل‌ها از پیکربندی نادرست DNS و دیواره‌های آتش و همچنین خدماتی که نشانی‌های اینترنتی خارجی را واکشی می‌کردند، سوءاستفاده کردند. عامل‌هایی که در ماشین‌های مجازی جداگانه روی میزبان‌های مشترک اجرا می‌شدند نیز توانستند اطلاعات محرمانه ساختگی را از طریق یک کانال جانبی مبتنی بر زمان‌بندی حافظه نهان پردازنده با یکدیگر مبادله کنند؛ روشی که در حملات Spectre و Meltdown نیز به کار رفته است. آزمایش‌های بیشتر، مسیرهای ارتباطی دیگری را آشکار کردند که از تفاوت زمان‌بندی دسترسی به فضای ذخیره‌سازی مشترک، رقابت برای دریافت زمان پردازنده در یک کانتینر مشترک و حافظه نهان گواهی‌های TLS در زیرساخت وب آفلاین اوپن‌ای‌آی بهره می‌بردند. این شرکت اعلام کرد کنترل‌های تازه‌ای به سامانه‌های نظارتی خود افزوده است تا تلاش برای برقراری ارتباط از طریق این کانال‌ها شناسایی شود.

ازسرگیری آموزش و اقدامات امنیتی ادامه‌دار

اوپن‌ای‌آی پس از تکمیل ارزیابی‌ها و اجرای کنترل‌های امنیتی تقویت‌شده، در اول اکتبر ۲۰۲۶، یعنی ۱۱ روز پس از آغاز توقف فعالیت‌ها، آموزش مبتنی بر یادگیری تقویتی و اجرای استنتاج داخلی مدل‌های پیشرفته خود را از سر گرفت. این شرکت اعلام کرد هیچ مسیر دسترسی به اینترنتی پیدا نکرده است که عامل‌ها بتوانند به‌آسانی از آن سوءاستفاده کنند و هم‌زمان فعالیت خود را از دید سامانه‌های نظارتی پنهان نگه دارند. همچنین با ادامه برنامه آزمایش‌های تهاجمی، تعداد آسیب‌پذیری‌ها و پیکربندی‌های نادرستی که عامل‌ها شناسایی می‌کردند، به میزان قابل‌توجهی کاهش یافت. اوپن‌ای‌آی این روند را نشانه‌ای امیدوارکننده از استحکام زیرساخت‌های خود توصیف کرد، اما در عین حال تأکید داشت که انتظار دارد مدل‌های آینده آسیب‌پذیری‌هایی را کشف کنند که هنوز از وجود آن‌ها آگاه نیست.

اوپن‌ای‌آی اکنون آزمایش‌های امنیتی تهاجمی با توان پردازشی بالا را به بخشی از مستندات و شواهد ایمنی خود تبدیل کرده است؛ مستنداتی که برای ارزیابی امکان اجرای امن فرایندهای آموزش و ارزیابی مدل‌های پیشرفته به کار می‌روند. اقدامات ادامه‌دار این شرکت شامل شناسایی، اصلاح و افشای مسئولانه آسیب‌پذیری‌های ناشناخته در چندین پروژه ماشین مجازی، اجرای مداوم آزمایش‌های تهاجمی با همکاری شرکای ابری، اسکن کد منبع و پیکربندی‌های ابری با استفاده از عامل‌های هوش مصنوعی و آزمایش سامانه‌های نظارتی و توقف خودکار است. اوپن‌ای‌آی همچنین توان پردازشی مشخصی را برای آزمایش امنیتی تهاجمی مستمر ماشین‌های مجازی، خوشه‌های پردازشی و سامانه‌های حفاظت پیرامونی خود اختصاص داده است.