ازسرگیری آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی OpenAI پس از تقویت امنیت؛ شناسایی آسیب‌پذیری در نرم‌افزاری پرکاربرد

www.straitstimes.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

OpenAI اعلام کرده است که تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی عملیاتی خود را برطرف کرده است، اما ارزیابان ایمنی هنوز این اصلاحات را تأیید نکرده‌اند.
شرکت OpenAI اعلام کرده است که تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی عملیاتی خود را برطرف کرده، اما ارزیابان ایمنی می‌گویند این اصلاحات را مستقلاً تأیید نکرده‌اند. عکس: رویترز

شرکت OpenAI در ۲۳ اکتبر اعلام کرد که پس از تقویت تدابیر امنیتی و قطع دسترسی به اینترنت، آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را از سر گرفته است. این شرکت همچنین از شناسایی یک آسیب‌پذیری در نرم‌افزاری پرکاربرد خبر داد که هنگام آزمایش سازوکارهای دفاعی خود کشف کرده بود.

این افشاگری در شرایطی صورت می‌گیرد که نگرانی‌ها درباره توانایی عامل‌های هوش مصنوعیِ هرچه پیشرفته‌تر برای شناسایی و بهره‌برداری از ضعف‌های نرم‌افزاری افزایش یافته است؛ نگرانی‌هایی که حتی سازوکارهای حفاظتی طراحی‌شده برای مهار این عامل‌ها را نیز در بر می‌گیرد.

OpenAI پس از آنکه یکی از مدل‌های پژوهشی‌اش در ماه سپتامبر با استفاده از یک خطای پیکربندی توانست به‌طور محدود به اینترنت دسترسی پیدا کند، آموزش توانمندترین مدل‌های خود را متوقف کرده بود. این شرکت اعلام کرد که این رخداد را مهار کرده و از دوره توقف آموزش برای تقویت تدابیر دفاعی خود بهره برده است.

OpenAI برای آزمایش این تدابیر، گروه‌هایی از عامل‌های هوش مصنوعی را مأمور کرد تا راهی برای خروج از محیط‌های محدودشده خود پیدا کنند. به گفته این شرکت، عامل‌ها چند آسیب‌پذیری ناشناخته را کشف کردند که OpenAI آن‌ها را برطرف کرد. آموزش مدل‌ها نیز در اول اکتبر از سر گرفته شد.

شرکت سازنده ChatGPT در جریان این آزمایش، ضعفی را در Brotli، ابزاری پرکاربرد برای فشرده‌سازی داده‌ها، شناسایی کرد.

به گفته OpenAI، مهاجمان می‌توانستند با ارسال داده‌های مخرب از این آسیب‌پذیری سوءاستفاده کنند و کد دلخواه خود را روی سامانه‌های آسیب‌پذیر اجرا کنند. این خطر سامانه‌هایی را نیز شامل می‌شد که از نرم‌افزارهای پرکاربرد وب مانند Node.js، Bun و Envoy استفاده می‌کنند.

OpenAI اعلام کرد که علت اصلی این مشکل در ماه فوریه در کد منبع Brotli برطرف شده بود؛ با این حال، در آن زمان هنوز مشخص نبود که این مشکل یک آسیب‌پذیری امنیتی ایجاد می‌کند و نسخه جدیدی از نرم‌افزار نیز منتشر نشد. پس از آن، نسخه‌های به‌روزشده Brotli منتشر شد و در پی افشاگری OpenAI، گزارشی عمومی درباره این آسیب‌پذیری نیز در دسترس قرار گرفت.

در رویدادی جداگانه، دو نهاد ارزیابی ایمنی هوش مصنوعی، METR و Redwood Research، در ۲۲ اکتبر اعلام کردند که در جریان یک بررسی آزمایشی در اوایل سال ۲۰۲۶، چند آسیب‌پذیری جدید در سامانه داخلی OpenAI یافته‌اند. از جمله این ضعف‌ها، روشی برای سوءاستفاده وجود داشت که عامل‌های هوش مصنوعی می‌توانستند با استفاده از آن، صدها اقدام خود را از نظارت سامانه پنهان نگه دارند.

OpenAI به این دو نهاد اعلام کرده است که از آن زمان تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی عملیاتی خود را برطرف کرده است. با این حال، METR و Redwood Research گفته‌اند که اصلاحات اعلام‌شده را تأیید نکرده‌اند.

OpenAI از زمان رخداد مربوط به Hugging Face در ماه ژوئیه، بررسی گسترده‌ای درباره فعالیت مدل‌های هوش مصنوعی خود انجام داده است. این شرکت همچنین بیش از ۱۰۰ سازمان را درباره رخدادهای مرتبط با فعالیت‌های غیرمجاز عامل‌های هوش مصنوعی خود مطلع کرده است.