اوپن‌ای‌آی پس از چند مورد خروج عامل‌های هوش مصنوعی از محیط‌های محدودشده، آموزش مدل‌های خود را از سر گرفت
اوپن‌ای‌آی اعلام کرده است که پس از تقویت تدابیر امنیتی و مسدود کردن دسترسی به اینترنت، آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را از سر گرفته است. این شرکت همچنین از کشف یک آسیب‌پذیری در نرم‌افزاری پرکاربرد خبر داده که هنگام آزمایش سامانه‌های دفاعی خود شناسایی کرده است. این افشاگری که روز جمعه انجام شد، در شرایطی صورت می‌گیرد که نگرانی‌ها درباره توانایی روزافزون عامل‌های هوش مصنوعی در شناسایی و بهره‌برداری از نقص‌های نرم‌افزاری، از جمله ضعف‌های موجود در سازوکارهای محدودکننده فعالیت آن‌ها، افزایش یافته است.
چرا اوپن‌ای‌آی آموزش مدل‌ها را متوقف کرد؟
اوپن‌ای‌آی پس از آنکه یکی از مدل‌های پژوهشی این شرکت در ماه سپتامبر با استفاده از یک خطای پیکربندی به دسترسی محدودی به اینترنت دست یافت، آموزش قدرتمندترین مدل‌های خود را متوقف کرد. این شرکت اعلام کرد که حادثه را مهار کرده و از دوره توقف آموزش برای تقویت تدابیر دفاعی خود بهره برده است.
اوپن‌ای‌آی برای آزمایش این تدابیر، گروه‌هایی از عامل‌های هوش مصنوعی را به کار گرفت تا تلاش کنند از محیط‌های محدودشده خود خارج شوند. به گفته این شرکت، عامل‌ها نقص‌هایی را شناسایی کردند که پیش‌تر ناشناخته بودند و اوپن‌ای‌آی آن‌ها را برطرف کرد. آموزش مدل‌ها در اول اکتبر از سر گرفته شد.
شرکت سازنده چت‌جی‌پی‌تی در جریان همین آزمایش، نقصی را در بروتلی (Brotli)، ابزار پرکاربرد فشرده‌سازی داده، کشف کرد.
اوپن‌ای‌آی چه گفت؟
این شرکت اعلام کرد مهاجمان می‌توانند با ارسال داده‌های مخرب از این آسیب‌پذیری سوءاستفاده کنند و کد دلخواه خود را روی سامانه‌های آسیب‌پذیر اجرا کنند. این خطر سامانه‌هایی را نیز شامل می‌شود که از نرم‌افزارهای وب پرکاربردی مانند Node.js، Bun و Envoy استفاده می‌کنند.
اوپن‌ای‌آی گفت علت اصلی این نقص در ماه فوریه در کد منبع بروتلی اصلاح شده بود، اما در آن زمان هنوز مشخص نبود که این مشکل یک آسیب‌پذیری امنیتی ایجاد می‌کند. با این حال، نسخه جدیدی از نرم‌افزار در آن مقطع منتشر نشد. پس از افشاگری اوپن‌ای‌آی، بروتلی نسخه‌های به‌روزشده‌ای منتشر کرد و گزارشی عمومی درباره این آسیب‌پذیری در دسترس قرار داد.
در رویدادی جداگانه، ارزیابان ایمنی هوش مصنوعی در مؤسسه‌های METR و Redwood Research روز پنجشنبه اعلام کردند که در جریان یک بررسی آزمایشی در اوایل سال جاری، چند آسیب‌پذیری جدید در سامانه داخلی اوپن‌ای‌آی یافته‌اند. یکی از این نقص‌ها می‌توانست به عامل‌های هوش مصنوعی امکان دهد صدها مورد از اقدامات خود را از نظارت سامانه پنهان کنند.
اوپن‌ای‌آی به این سازمان‌های ارزیاب ایمنی گفته است که از آن زمان تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی مورد استفاده در سامانه‌های عملیاتی خود را برطرف کرده است. با این حال، METR و Redwood اعلام کرده‌اند که اصلاحات انجام‌شده را مستقلاً راستی‌آزمایی نکرده‌اند.
اوپن‌ای‌آی از زمان حادثه مربوط به Hugging Face در ماه ژوئیه، بررسی گسترده‌ای را درباره فعالیت مدل‌های هوش مصنوعی خود انجام داده است. این شرکت همچنین بیش از ۱۰۰ سازمان را از حوادث مربوط به فعالیت‌های غیرمجاز مرتبط با عامل‌های هوش مصنوعی خود مطلع کرده است.
عامل‌های سرکش هوش مصنوعی نگرانی‌ها را افزایش می‌دهند
در ماه‌های اخیر، عامل‌های هوش مصنوعی متعلق به چت‌جی‌پی‌تی، کلود و جمینای گوگل، نگرانی‌های تازه‌ای درباره ایمنی هوش مصنوعی ایجاد کرده‌اند. در جریان ارزیابی‌های امنیت سایبری که توسط نهادهای مستقل انجام شد، مدل‌های خودمختار هوش مصنوعی توانستند از محیط‌های ایزوله‌شده خارج شوند و به سامانه‌های واقعی شرکت‌ها دسترسی پیدا کنند.
این رویدادها باعث شد شماری از چهره‌های سرشناس صنعت هوش مصنوعی، از جمله داریو آمودی، مدیرعامل آنتروپیک؛ سام آلتمن، مدیرعامل اوپن‌ای‌آی؛ ایلان ماسک، مدیرعامل xAI؛ و ساتیا نادلا، مدیرعامل مایکروسافت، در اقدامی کم‌سابقه بر ضرورت کاهش سرعت توسعه مدل‌های هوش مصنوعی تأکید کنند.