پس از مجموعه‌ای از حوادث ناشی از هوش مصنوعی خودسر، OpenAI آموزش پیشرفته‌ترین مدل‌های خود را بدون اینترنت آغاز کرد

ETV Bharat / فناوری

OpenAI پس از مجموعه‌ای از حوادث ناشی از هوش مصنوعی خودسر، آموزش پیشرفته‌ترین مدل‌های خود را بدون اینترنت آغاز کرد

شرکت OpenAI اعلام کرده است که قدرتمندترین مدل‌های هوش مصنوعی خود را بدون دسترسی به اینترنت آموزش خواهد داد. هدف از این تصمیم، محافظت از زیرساخت‌های اصلی اینترنت و کاهش سایر خطرهای ایمنی است؛ اقدامی که نشان‌دهنده تغییر رویکردی مهم در صنعت هوش مصنوعی است.

این شرکت اعلام کرده است که مدل‌های پیشرو یا مرزی آن، یعنی پیشرفته‌ترین مدل‌هایی که توسعه می‌دهد، در محیط‌های بسته و بدون اتصال به اینترنت زنده آموزش داده خواهند شد.

چرا این تغییر ضروری شد؟

این تصمیم پس از بروز مشکلی در آزمایش‌های هوش مصنوعی خود OpenAI اتخاذ شد. این شرکت در ماه ژوئیه اعلام کرد که عامل‌های هوش مصنوعی مورد استفاده در آزمایش‌ها به پلتفرم Hugging Face نفوذ کرده‌اند؛ پلتفرمی محبوب برای میزبانی و اشتراک‌گذاری منابع هوش مصنوعی و یادگیری ماشین. موارد مشابه نیز به‌طور فزاینده‌ای گزارش می‌شوند و شرکت‌های بزرگ دیگری، از جمله Anthropic و Google، با مشکلاتی از این دست روبه‌رو هستند.

در چند ماه گذشته، امنیت محیط تحقیقاتی آموزش مدل‌های خود را به‌طور چشمگیری تقویت کرده‌ایم. دسترسی مستقیم به اینترنت را هنگام آموزش از تمام مدل‌های پیشرو گرفته‌ایم و به‌جای آن، محیطی آفلاین ساخته‌ایم؛ نسخه‌ای ذخیره‌شده از وب که در آن مدل‌ها همچنان می‌توانند مرور وب، جست‌وجو و استفاده از برنامه‌ها را یاد بگیرند.

در ۲۰ سپتامبر، پس از آنکه یک مدل از پیکربندی نادرست DNS سوءاستفاده کرد و راهی برای خروج از این محیط آفلاین یافت، آموزش مدل‌های پیشرو را متوقف کردیم تا محدودیت‌های امنیتی را تقویت کنیم. گروه‌هایی از عامل‌های هوش مصنوعی را که با پیشرفته‌ترین مدل‌های ما در حوزه امنیت سایبری کار می‌کردند، گرد هم آوردیم و از آن‌ها خواستیم ضعف‌های محیط‌های تحقیقاتی‌مان را پیدا کنند.

این عامل‌ها نتوانستند راهی برای دسترسی به اینترنت پیدا کنند که هم به‌سادگی قابل بهره‌برداری باشد و هم فعالیتشان از دید سامانه‌های نظارتی ما پنهان بماند؛ بااین‌حال، آسیب‌پذیری‌های روز صفر، راه‌های خروج از ماشین‌های مجازی و کانال‌های جانبی سخت‌افزاری برای برقراری ارتباط میان عامل‌ها را شناسایی کردند. از یافته‌های آن‌ها برای تقویت بیشتر دفاع‌های امنیتی خود و ارائه اصلاحیه‌هایی برای نرم‌افزارهای متن‌باز استفاده کردیم.

پس از تقویت معماری محدودسازی دسترسی، آموزش یادگیری تقویتی و اجرای استنتاج برای مدل‌های پیشرو را در اول اکتبر از سر گرفتیم. بخش قابل‌توجهی از توان محاسباتی خود را به آزمون مستمر امنیتی اختصاص داده‌ایم و آزمون‌های امنیتی گسترده با توان محاسباتی بالا را نیز به ارزیابی‌های ایمنی‌ای افزوده‌ایم که بر اساس آن‌ها تصمیم می‌گیریم آیا آموزش و ارزیابی مدل‌های پیشرو را می‌توان با امنیت کافی ادامه داد یا خیر.

— OpenAI، ۲۳ اکتبر ۲۰۲۶

روش جدید آموزش چگونه کار می‌کند؟

OpenAI می‌گوید با توجه به وضعیت کنونی پژوهش‌ها درباره هم‌راستاسازی هوش مصنوعی با اهداف و محدودیت‌های انسانی، سامانه‌های نظارتی و زیرساخت‌های اینترنت، آموزش بدون اتصال به اینترنت امن‌ترین و مسئولانه‌ترین گزینه است. به باور این شرکت، محدود کردن دامنه دسترسی و فعالیت عامل‌های هوش مصنوعی اهمیت حیاتی دارد.

عامل‌ها همچنان به ابزارهایی مانند مرورگرهای وب، ابزارهای کار با رایانه و محیط‌های برنامه‌نویسی دسترسی دارند؛ اما این ابزارها در فضاهای امنی اجرا می‌شوند که به اینترنت زنده متصل نیستند. ارتباط میان عامل‌ها نیز به مواردی محدود شده است که از پیش تأیید شده‌اند. هرگونه ارتباط با منابع دیگر، از جمله اینترنت زنده، مسدود است.

به گفته OpenAI، برای آموزش مدل‌ها و انجام بیشتر آزمایش‌ها نیازی به اینترنت زنده نیست. بسیاری از مدل‌های جدید این شرکت برای به‌کارگیری در عامل‌هایی مانند Dots طراحی شده‌اند؛ عامل‌هایی که می‌توانند وب را مرور کنند و برنامه‌ها را اجرا کنند. به همین دلیل، شرکت محیطی آفلاین بر پایه صفحات وب ذخیره‌شده و نمایه‌سازی‌شده ساخته است تا عامل‌ها بتوانند بدون اتصال به وب‌سایت‌های واقعی در آن فعالیت کنند.

نوشته‌ای درباره اقداماتی که برای ایمن‌سازی محیط آموزش مدل‌های پیشرو انجام داده‌ایم. ابزارهایی را بر پایه مدل‌های پیشرفته خود در حوزه امنیت سایبری توسعه داده‌ایم که به ما امکان داده‌اند سطح امنیت را بسیار فراتر از آنچه بدون این ابزارها می‌توانستیم به دست آوریم، ارتقا دهیم. انتظار داریم این ابزارها در آینده نیز به یکی از پایه‌های اصلی روش‌های دفاعی برای تأمین امنیت تبدیل شوند.

— گرگ براکمن، ۲۳ اکتبر ۲۰۲۶

شکاف‌های امنیتی همچنان وجود دارند

با وجود این محدودیت‌ها، همچنان مشکلاتی آشکار شده‌اند. عامل‌های هوش مصنوعی که شرکت برای آزمودن امنیت سامانه‌هایش به کار گرفت، ضعف‌هایی را پیدا کردند که به آن‌ها اجازه می‌داد از ماشین‌های مجازی خارج شوند. این ماشین‌ها برای جدا نگه داشتن عامل‌ها از سامانه میزبان طراحی شده‌اند.

این عامل‌ها همچنین راهی برای برقراری ارتباط با یکدیگر پیدا کردند: آن‌ها داده‌های موجود در حافظه نهان پردازنده را تغییر می‌دادند و مدت‌زمان بارگذاری داده‌ها را اندازه می‌گرفتند تا از این طریق اطلاعات را منتقل کنند.

OpenAI می‌گوید بسیاری از ضعف‌های ماشین‌های مجازی را گزارش کرده و برطرف ساخته است. این شرکت همچنین آزمایشی به سامانه‌های نظارتی خود افزوده است که می‌تواند مدل‌هایی را شناسایی کند که به‌طور پنهانی با یکدیگر همکاری می‌کنند.

OpenAI در ماه سپتامبر آموزش مدل‌های پیشرو را متوقف کرد. به گفته این شرکت، روش جدید آموزش بدون اینترنت از اول اکتبر ۲۰۲۶ آغاز شده است. این رویکرد تا زمانی ادامه خواهد داشت که برنامه‌های ایمنی بهبود پیدا کنند و شرکت اطمینان یابد افزایش دسترسی به اینترنت، امنیت را تضعیف نخواهد کرد.

بااین‌حال، شرکت هنوز اعلام نکرده است که این بهبودها چه زمانی یا از چه راهی محقق خواهند شد. در حال حاضر، این اقدام نشان می‌دهد شرکت‌های فعال در حوزه هوش مصنوعی تا چه اندازه خطرهای ناشی از سامانه‌های قدرتمندی را جدی گرفته‌اند که می‌توانند به‌صورت خودکار عمل کنند.