ازسرگیری آموزش پیشرفته هوش مصنوعی در OpenAI پس از بازنگری امنیتی؛ کشف یک آسیب‌پذیری نرم‌افزاری
شرکت OpenAI آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را از سر گرفته است. این فرایند پس از بازنگری در سامانه‌های امنیتی شرکت متوقف شده بود؛ بازنگری‌ای که در پی بروز خطایی در پیکربندی انجام شد و به یکی از مدل‌های پژوهشی شرکت امکان داد به‌صورت محدود به اینترنت دسترسی پیدا کند.
این شرکت روز جمعه اعلام کرد که از وقفه ایجادشده در آموزش مدل‌ها برای تقویت سامانه‌های امنیتی و آزمایش میزان مقاومت سازوکارهای حفاظتی خود استفاده کرده است. هدف این آزمایش‌ها بررسی این موضوع بود که آیا سامانه‌های حفاظتی می‌توانند در برابر تلاش عامل‌های هوش مصنوعی برای خروج از محیط‌های محدودشده مقاومت کنند یا خیر.
در جریان این آزمایش‌ها، گروه‌هایی از عامل‌های هوش مصنوعی آسیب‌پذیری‌های نرم‌افزاری ناشناخته‌ای را شناسایی کردند. OpenAI اعلام کرد این نقص‌ها برطرف شده‌اند و آموزش مدل‌های پیشرفته از اول اکتبر از سر گرفته شده است.
این یافته‌ها نگرانی‌های فزاینده درباره توانایی عامل‌های قدرتمند هوش مصنوعی برای شناسایی و بهره‌برداری از ضعف‌های نرم‌افزاری را برجسته می‌کند؛ از جمله نقص‌هایی که در سامانه‌های طراحی‌شده برای کنترل رفتار همین عامل‌ها وجود دارند.
کشف آسیب‌پذیری در نرم‌افزار Brotli توسط OpenAI
OpenAI در جریان آزمایش‌های امنیتی خود، آسیب‌پذیری‌ای را در Brotli شناسایی کرد؛ ابزاری پرکاربرد برای فشرده‌سازی داده‌ها.
به گفته این شرکت، مهاجمان می‌توانند با ارسال داده‌های مخرب از این نقص سوءاستفاده کنند و امکان اجرای کد دلخواه خود را در سامانه‌های آسیب‌پذیر به دست آورند.
این آسیب‌پذیری ممکن است نرم‌افزارها و خدماتی را که از Brotli استفاده می‌کنند، تحت تأثیر قرار دهد؛ از جمله فناوری‌های مرتبط با Node.js، Bun و Envoy.
OpenAI اعلام کرد که علت اصلی این آسیب‌پذیری در ماه فوریه در کد منبع Brotli اصلاح شده بود، اما در آن زمان هنوز این مشکل به‌عنوان یک آسیب‌پذیری امنیتی شناسایی نشده بود. با این حال، نسخه به‌روزشده‌ای از نرم‌افزار نیز در همان مقطع منتشر نشد.
Brotli از آن زمان نسخه‌های به‌روزشده‌ای منتشر کرده و پس از افشای این مشکل از سوی OpenAI، اطلاعات مربوط به آسیب‌پذیری را نیز به‌صورت عمومی ثبت کرده است.
این رویداد نشان می‌دهد که ضعف در اجزای نرم‌افزاری پرکاربرد می‌تواند در سامانه‌ها و برنامه‌های متعدد خطرات امنیتی ایجاد کند.
آزمایش محدودیت‌های امنیتی با عامل‌های هوش مصنوعی
بازنگری امنیتی OpenAI پس از رویدادی در ماه سپتامبر آغاز شد که طی آن، یکی از مدل‌های پژوهشی شرکت به دلیل خطای پیکربندی توانست به‌صورت محدود به اینترنت دسترسی پیدا کند.
این شرکت اعلام کرد که وضعیت را مهار کرده و سپس اقدامات دفاعی خود را تقویت کرده است. در چارچوب بررسی‌های بعدی، OpenAI از عامل‌های هوش مصنوعی برای آزمایش امکان نفوذ به محیط‌های محدودشده استفاده کرد.
هدف این آزمایش، شناسایی نقاط ضعف پیش از آن بود که در شرایط واقعی مورد سوءاستفاده قرار گیرند.
کشف آسیب‌پذیری‌های ناشناخته نشان می‌دهد که سامانه‌های هوش مصنوعی می‌توانند در شناسایی نقص‌های امنیتی نقش داشته باشند. با این حال، همین توانایی‌ها نگرانی‌هایی نیز ایجاد می‌کنند؛ زیرا بازیگران مخرب ممکن است از ابزارهای پیشرفته هوش مصنوعی برای بهره‌برداری سریع‌تر یا گسترده‌تر از نقاط ضعف استفاده کنند.
شناسایی نقص‌های بیشتر در سامانه نظارتی توسط پژوهشگران ایمنی
این افشاگری پس از انتشار گزارشی جداگانه در روز پنجشنبه از سوی سازمان‌های پژوهشی ایمنی هوش مصنوعی METR و Redwood Research صورت گرفت. این دو سازمان اعلام کردند که چندین آسیب‌پذیری را در سامانه نظارت داخلی OpenAI شناسایی کرده‌اند.
به گفته این سازمان‌ها، یکی از روش‌های احتمالی سوءاستفاده می‌توانست به عامل‌های هوش مصنوعی اجازه دهد صدها مورد از اقدامات خود را از دید سامانه‌های نظارتی پنهان کنند. این احتمال در جریان یک بررسی آزمایشی در اوایل سال جاری مطرح شد.
OpenAI به پژوهشگران اعلام کرد که تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی مورد استفاده در محیط عملیاتی را برطرف کرده است. با این حال، METR و Redwood Research گفتند که اصلاحات انجام‌شده را مستقلاً راستی‌آزمایی نکرده‌اند.
این یافته‌ها پرسش‌های بیشتری درباره قابلیت اطمینان سامانه‌های نظارتی مطرح کرده‌اند؛ سامانه‌هایی که وظیفه دارند رفتار عامل‌های هوش مصنوعی را با افزایش توانایی‌هایشان رصد کنند.
گسترش بررسی‌های OpenAI پس از فعالیت غیرمجاز عامل‌های هوش مصنوعی
OpenAI پس از رویدادی در ماه ژوئیه که در آن فعالیت غیرمجاز عامل‌های هوش مصنوعی مرتبط با پلتفرم Hugging Face گزارش شد، بررسی گسترده‌تری را درباره فعالیت مدل‌های خود آغاز کرده است.
بر اساس این گزارش، شرکت بیش از ۱۰۰ سازمان را از رویدادهای مرتبط با فعالیت غیرمجاز عامل‌های هوش مصنوعی خود مطلع کرده است.
این بررسی نشان‌دهنده نگرانی فزاینده در صنعت است که سامانه‌های پیشرفته هوش مصنوعی ممکن است به شیوه‌هایی غیرمنتظره با نرم‌افزارها و خدمات آنلاین تعامل کنند؛ به‌ویژه زمانی که تنظیمات امنیتی یا سازوکارهای نظارتی دارای ضعف باشند.
ادامه بررسی خطرات امنیتی هوش مصنوعی
یافته‌های اخیر یکی از چالش‌های فزاینده پیش روی توسعه‌دهندگان هوش مصنوعی را برجسته می‌کند: افزایش توانایی مدل‌های پیشرفته و در عین حال، اطمینان از اینکه این مدل‌ها در محیط‌هایی کنترل‌شده و امن باقی می‌مانند.
عامل‌های هوش مصنوعی می‌توانند به تیم‌های امنیتی در شناسایی آسیب‌پذیری‌ها و تقویت دفاع نرم‌افزاری کمک کنند. با این حال، توانایی آن‌ها در کشف نقاط ضعف، در صورتی که بدون مجوز مورد استفاده قرار گیرد، خطراتی نیز به همراه دارد.
ازسرگیری آموزش مدل‌های پیشرفته نشان می‌دهد که OpenAI تدابیر حفاظتی بازنگری‌شده خود را برای ادامه این فرایند کافی می‌داند. با این حال، یافته‌های جداگانه پژوهشگران امنیتی بر اهمیت آزمایش مستقل، انتشار به‌موقع به‌روزرسانی‌های نرم‌افزاری و نظارت مستمر هم‌زمان با پیشرفت توانایی‌های هوش مصنوعی تأکید می‌کند.