ازسرگیری آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی OpenAI پس از تقویت امنیت؛ افشای آسیب‌پذیری در نرم‌افزاری پرکاربرد
شرکت OpenAI روز جمعه اعلام کرد که پس از تقویت تدابیر امنیتی و مسدود کردن دسترسی به اینترنت، آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را از سر گرفته است. این شرکت همچنین از کشف یک آسیب‌پذیری در نرم‌افزاری پرکاربرد خبر داد که هنگام آزمایش سامانه‌های دفاعی خود شناسایی کرده بود.
این افشاگری در شرایطی صورت می‌گیرد که نگرانی‌ها درباره توانایی عامل‌های هوش مصنوعیِ هرچه پیشرفته‌تر برای شناسایی و بهره‌برداری از آسیب‌پذیری‌های نرم‌افزاری افزایش یافته است؛ این نگرانی‌ها حتی سازوکارهای حفاظتی طراحی‌شده برای مهار همین عامل‌ها را نیز دربر می‌گیرد.
OpenAI پس از آن آموزش پیشرفته‌ترین مدل‌های خود را متوقف کرده بود که یکی از مدل‌های پژوهشی این شرکت در ماه سپتامبر، به‌دلیل خطا در پیکربندی، توانست به‌طور محدود به اینترنت دسترسی پیدا کند. این شرکت اعلام کرد که حادثه را مهار کرده و از دوره توقف آموزش برای تقویت سازوکارهای دفاعی خود بهره برده است.
OpenAI برای آزمایش این تدابیر امنیتی، گروه‌هایی از عامل‌های هوش مصنوعی را به کار گرفت تا تلاش کنند از محیط‌های محدودشده خود خارج شوند. به گفته این شرکت، عامل‌ها چند آسیب‌پذیری را شناسایی کردند که پیش‌تر ناشناخته بودند و OpenAI آن‌ها را برطرف کرد. آموزش مدل‌ها نیز در اول اکتبر از سر گرفته شد.
شرکت سازنده ChatGPT در جریان همین آزمایش‌ها، نقصی را در Brotli کشف کرد؛ ابزاری پرکاربرد برای فشرده‌سازی داده‌ها.
OpenAI اعلام کرد مهاجمان می‌توانند با ارسال داده‌های مخرب از این نقص سوءاستفاده کنند و کد دلخواه خود را روی سیستم‌های آسیب‌پذیر اجرا کنند. این خطر سیستم‌هایی را نیز شامل می‌شود که از نرم‌افزارهای وب پرکاربردی مانند Node.js، Bun و Envoy استفاده می‌کنند.
به گفته OpenAI، علت اصلی این آسیب‌پذیری در ماه فوریه در کد منبع Brotli اصلاح شده بود؛ اما در آن زمان هنوز مشخص نبود که این مشکل یک آسیب‌پذیری امنیتی ایجاد می‌کند و نسخه جدیدی از نرم‌افزار نیز منتشر نشد. Brotli از آن زمان نسخه‌های به‌روزشده‌ای عرضه کرده و پس از افشای موضوع از سوی OpenAI، گزارشی عمومی درباره این نقص منتشر کرده است.
در رویدادی جداگانه، ارزیابان ایمنی هوش مصنوعی در مؤسسه‌های METR و Redwood Research روز پنج‌شنبه اعلام کردند که در جریان یک بررسی آزمایشی در اوایل سال جاری، چند آسیب‌پذیری تازه در سامانه داخلی OpenAI یافته‌اند. یکی از این نقص‌ها می‌توانست به عامل‌های هوش مصنوعی امکان دهد صدها اقدام خود را از نظارت پنهان کنند.
OpenAI به این سازمان‌های فعال در حوزه ایمنی اعلام کرده است که از آن زمان تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی سامانه‌های عملیاتی خود را برطرف کرده است. بااین‌حال، METR و Redwood Research گفتند که اصلاحات انجام‌شده را مستقلاً تأیید نکرده‌اند.
OpenAI از زمان وقوع حادثه‌ای مرتبط با Hugging Face در ماه ژوئیه، بررسی گسترده‌ای را درباره فعالیت مدل‌های هوش مصنوعی خود انجام داده است. این شرکت همچنین بیش از ۱۰۰ سازمان را درباره حوادث مربوط به فعالیت‌های غیرمجاز مرتبط با عامل‌های هوش مصنوعی خود مطلع کرده است.