ازسرگیری آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی OpenAI پس از تقویت امنیت؛ افشای آسیب‌پذیری در نرم‌افزاری پرکاربرد
شرکت OpenAI روز جمعه اعلام کرد که پس از تقویت تدابیر امنیتی و مسدود کردن دسترسی به اینترنت، آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را از سر گرفته است. این شرکت همچنین از کشف یک آسیب‌پذیری در نرم‌افزاری پرکاربرد خبر داد که هنگام آزمایش سامانه‌های دفاعی خود شناسایی کرده بود.
این افشاگری در شرایطی صورت می‌گیرد که نگرانی‌ها درباره توانایی عامل‌های هوش مصنوعیِ روزبه‌روز پیشرفته‌تر برای شناسایی و بهره‌برداری از آسیب‌پذیری‌های نرم‌افزاری افزایش یافته است؛ از جمله ضعف‌هایی که ممکن است در سازوکارهای حفاظتی طراحی‌شده برای مهار همین عامل‌ها وجود داشته باشند.
OpenAI پس از آنکه یکی از مدل‌های پژوهشی این شرکت در ماه سپتامبر با استفاده از خطایی در تنظیمات، به دسترسی محدودی به اینترنت دست یافت، آموزش پیشرفته‌ترین مدل‌های خود را موقتاً متوقف کرده بود. شرکت اعلام کرد که این رخداد را مهار کرده و از دوره توقف آموزش برای تقویت سازوکارهای دفاعی خود بهره برده است.
OpenAI برای آزمایش این تدابیر امنیتی، گروه‌هایی از عامل‌های هوش مصنوعی را به کار گرفت تا تلاش کنند از محیط‌های محدودشده خود خارج شوند. به گفته شرکت، این عامل‌ها چند آسیب‌پذیری را شناسایی کردند که پیش‌تر ناشناخته بودند و OpenAI آن‌ها را برطرف کرد. آموزش مدل‌ها نیز از اول اکتبر از سر گرفته شد.
شرکت سازنده ChatGPT در جریان همین آزمایش، یک آسیب‌پذیری در Brotli کشف کرد؛ ابزاری پرکاربرد برای فشرده‌سازی داده‌ها.
به گفته OpenAI، مهاجمان می‌توانستند با ارسال داده‌های مخرب از این ضعف سوءاستفاده کنند و کد دلخواه خود را روی سیستم‌های آسیب‌پذیر اجرا کنند. این خطر، از جمله، سیستم‌هایی را در بر می‌گرفت که از نرم‌افزارهای پرکاربرد وب مانند Node.js، Bun و Envoy استفاده می‌کنند.
OpenAI اعلام کرد که علت اصلی این آسیب‌پذیری در ماه فوریه در کد منبع Brotli برطرف شده بود، اما در آن زمان هنوز مشخص نبود که این مشکل یک آسیب‌پذیری امنیتی ایجاد می‌کند؛ به همین دلیل، نسخه جدیدی از نرم‌افزار منتشر نشد. پس از آن، نسخه‌های به‌روزشده Brotli عرضه شد و در پی افشاگری OpenAI، گزارشی عمومی درباره این آسیب‌پذیری نیز منتشر شد.
در رویدادی جداگانه، دو نهاد ارزیابی ایمنی هوش مصنوعی، METR و Redwood Research، روز پنجشنبه اعلام کردند که در جریان یک بررسی آزمایشی در اوایل سال جاری، چند آسیب‌پذیری جدید در سامانه داخلی OpenAI یافته‌اند. از جمله این موارد، نقصی بود که عامل‌های هوش مصنوعی می‌توانستند از آن برای جلوگیری از ثبت و نظارت بر صدها اقدام خود استفاده کنند.
OpenAI به این دو نهاد ایمنی اعلام کرد که از آن زمان، تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی فعال در محیط عملیاتی خود را برطرف کرده است. با این حال، METR و Redwood گفتند که اصلاحات انجام‌شده را مستقلاً راستی‌آزمایی نکرده‌اند.
OpenAI از زمان رخداد مرتبط با پلتفرم Hugging Face در ماه ژوئیه، بررسی گسترده‌ای درباره فعالیت مدل‌های هوش مصنوعی خود انجام داده است. این شرکت همچنین بیش از ۱۰۰ سازمان را درباره رخدادهای فعالیت غیرمجاز مرتبط با عامل‌های هوش مصنوعی خود مطلع کرده است.