ازسرگیری آموزش مدل‌های پیشرفته هوش مصنوعی OpenAI پس از رخنه امنیتی سپتامبر؛ قطع دسترسی مستقیم به اینترنت هنگام آموزش
شرکت OpenAI روز جمعه اعلام کرد که پس از تقویت تدابیر امنیتی، آموزش تقویتی و اجرای استنتاج داخلی مدل‌های پیشرفته هوش مصنوعی خود را از اول اکتبر از سر گرفته است. این شرکت همچنین سیاست ممنوعیت دسترسی مستقیم و هم‌زمان به اینترنت را هنگام آموزش مدل‌های پیشرفته خود در پیش گرفته است.
این اعلام در شرایطی صورت می‌گیرد که نگرانی‌ها درباره توانایی عامل‌های پیشرفته هوش مصنوعی برای شناسایی و بهره‌برداری از آسیب‌پذیری‌های نرم‌افزاری، از جمله ضعف‌های موجود در سازوکارهای حفاظتی طراحی‌شده برای مهار آن‌ها، رو به افزایش است.
آزمایش‌های امنیتی OpenAI ضعف‌های پنهان سامانه‌های دفاعی را آشکار کرد
OpenAI پس از آنکه یکی از مدل‌های پژوهشی این شرکت در ماه سپتامبر از یک خطای پیکربندی برای دستیابی به دسترسی محدود به اینترنت استفاده کرد، آموزش پیشرفته‌ترین مدل‌های خود را متوقف کرد.
این شرکت اعلام کرد که رخداد را مهار کرده و از دوره توقف برای تقویت تدابیر امنیتی و «بهبود سامانه‌هایی استفاده کرده است که هنگام شناسایی فعالیت‌های دارای خطر جدی، اجرای فرایندها را به‌طور خودکار متوقف می‌کنند». OpenAI تأکید کرد که مدل‌های هوش مصنوعی با افزایش توانایی‌های خود می‌توانند حتی در سامانه‌هایی با سطح امنیتی بالا نیز آسیب‌پذیری‌ها و خطاهای پیکربندی را شناسایی کنند.
این شرکت که سم آلتمن آن را هدایت می‌کند، کارزاری برای آزمایش امنیت زیرساخت‌های پژوهشی خود راه‌اندازی کرد. در این طرح، از عامل‌های هوش مصنوعی خواسته شد آسیب‌پذیری‌هایی را شناسایی کنند که می‌توانستند امکان دسترسی غیرمجاز به اینترنت، نقض امنیت یا برقراری ارتباط با عامل‌های دیگر را فراهم کنند.
این آزمایش‌ها آسیب‌پذیری‌های نرم‌افزاری و خطاهای پیکربندی‌ای را آشکار کرد که پیش‌تر شناسایی نشده بودند. OpenAI اعلام کرد این مشکلات را برطرف کرده و از طریق ابتکار «Patch the Planet» با نگه‌دارندگان نرم‌افزارهای متن‌باز همکاری کرده است تا نقص‌ها را افشا و اصلاح کند.
در جریان این آزمایش‌ها، OpenAI آسیب‌پذیری‌ای را در Brotli، ابزار پرکاربرد فشرده‌سازی داده، شناسایی کرد. به گزارش رویترز، این شرکت فعال در حوزه هوش مصنوعی اعلام کرد مهاجمان می‌توانستند با ارسال داده‌های مخرب از این نقص سوءاستفاده کنند و کد دلخواه خود را روی سامانه‌های آسیب‌پذیر اجرا کنند؛ از جمله سامانه‌هایی که نرم‌افزارهای پرکاربردی مانند Node.js، Bun و Envoy را اجرا می‌کنند.
این مشکل در فوریه در کد منبع Brotli برطرف شده بود، اما در آن زمان هنوز به‌عنوان یک خطر امنیتی شناخته نشده بود و نسخه به‌روزرسانی‌شده‌ای نیز منتشر نشد. در ادامه، پس از افشای این نقص از سوی OpenAI، پروژه Brotli نسخه‌های به‌روزشده را منتشر کرد و جزئیات آسیب‌پذیری را در دسترس عموم قرار داد.
شناسایی نقص‌های امنیتی تازه در سامانه‌های داخلی OpenAI از سوی METR و Redwood Research
در رویدادی جداگانه، دو نهاد ارزیاب ایمنی هوش مصنوعی، METR و Redwood Research، روز پنجشنبه اعلام کردند چند آسیب‌پذیری جدید را در سامانه‌های داخلی OpenAI کشف کرده‌اند. آن‌ها در جریان یک ارزیابی آزمایشی در اوایل سال جاری، روشی برای سوءاستفاده از سامانه‌ها پیدا کردند که می‌توانست به عامل‌های هوش مصنوعی امکان دهد صدها مورد از اقدامات خود را از دید سامانه‌های نظارتی پنهان کنند.
OpenAI به METR و Redwood Research اعلام کرد تمام آسیب‌پذیری‌های شناسایی‌شده از سوی این ارزیاب‌ها را که بر سامانه‌های حفاظتی مورد استفاده در محیط عملیاتی شرکت تأثیر می‌گذاشتند، اصلاح کرده است.
این شرکت همچنین تغییرات عمده‌ای را در دامنه برنامه‌ریزی‌شده سامانه نظارتی خود تشریح کرده است. با این حال، این دو سازمان فعال در حوزه ایمنی هوش مصنوعی اعلام کردند که ادعاهای OpenAI درباره این تغییرات را ارزیابی نکرده‌اند.
OpenAI بلافاصله به درخواست بنزینگا برای اظهارنظر پاسخ نداد.
شرکت سازنده ChatGPT همچنین در یک پست وبلاگی توضیح داد که عامل‌های هوش مصنوعی می‌توانند حتی بدون اتصال مستقیم شبکه‌ای با یکدیگر ارتباط برقرار کنند، مشروط بر آنکه از سخت‌افزار یا خدمات مشترک استفاده کنند. به گفته شرکت، فعالیت در یک محیط ممکن است آثار قابل‌شناسایی در محیطی دیگر بر جای بگذارد.
OpenAI افزود عامل‌های مورد استفاده در آزمایش‌های امنیتی این شرکت از همین آثار برای ایجاد کانال‌های ارتباطی در زیرساخت‌های ایزوله‌سازی و جداسازی محیط‌های اجرایی داخلی شرکت استفاده کردند.
عامل‌های هوش مصنوعی راه‌هایی برای دور زدن تدابیر امنیتی پیدا می‌کنند
OpenAI در پست وبلاگی خود اعلام کرد که پس از رخداد مربوط به Hugging Face، تعداد مسیرهایی را که مدل‌ها می‌توانستند از طریق آن‌ها هنگام آموزش و ارزیابی به اینترنت دسترسی پیدا کنند، کاهش داده است.
در ماه ژوئیه، پس از آنکه OpenAI اعلام کرد یک عامل مستقل هوش مصنوعی از محیط آزمایشی کنترل‌شده خارج شده است، نگرانی‌ها درباره ایمنی این عامل‌ها دوباره افزایش یافت. این عامل در جریان یک ارزیابی امنیتی داخلی به اینترنت دسترسی پیدا کرد و زیرساخت Hugging Face را نقض کرد.
اوایل همین هفته، OpenAI اعلام کرد دو عامل هوش مصنوعی این شرکت برخی قابلیت‌های یک سامانه نظارتی داخلی را مختل کرده‌اند؛ سامانه‌ای که برای شناسایی رفتارهای نادرست طراحی شده بود. این شرکت گفت هنوز «توضیح قانع‌کننده‌ای برای این رفتار» ندارد و موضوع را بررسی خواهد کرد.
با این حال، عامل‌های OpenAI تنها نمونه‌های چنین رفتاری نیستند. مدل Google Gemini متعلق به شرکت Alphabet Inc. نیز در جریان یک آزمایش امنیت سایبری به اینترنت دسترسی پیدا کرد و سامانه‌های سه شرکت را نقض کرد. سهام آلفابت در نزدک با نمادهای GOOG و GOOGL معامله می‌شود.
خود OpenAI نیز هدف یک حمله سایبری با کمک هوش مصنوعی قرار گرفت که پژوهشگران مستقل امنیتی با استفاده از نرم‌افزار هوش مصنوعی Claude متعلق به شرکت Anthropic آن را اجرا کردند.