هوش مصنوعی OpenAI به‌طور مستقل محدودیت‌های امنیتی را دور زد و به اینترنت دسترسی پیدا کرد؛ ماجرا چه بود؟
OpenAI جزئیات بیشتری از رخدادی منتشر کرده است که در جریان آن، یک مدل آزمایشی هوش مصنوعی به‌طور مستقل محدودیت‌های شبکه را دور زد و به یک سرویس اینترنتی خارج از شرکت دسترسی پیدا کرد. این اتفاق در ۲۰ سپتامبر ۲۰۲۶ و هنگام انجام یک مأموریت پژوهشی رخ داد. این سامانه از خطایی در پیکربندی زیرساخت شبکه سوءاستفاده کرد و در پی آن، OpenAI آموزش قدرتمندترین مدل‌های خود را موقتاً متوقف کرد و بررسی امنیتی گسترده‌ای را آغاز کرد. این شرکت در ۲۳ اکتبر نتایج تحقیقات و اقدامات امنیتی جدید خود را اعلام کرد.
چکیده ماجرا
- یک مدل پژوهشی OpenAI در ۲۰ سپتامبر محدودیت‌های شبکه را دور زد و به یک چت‌بات خارجی دسترسی پیدا کرد.
- هوش مصنوعی از نقصی در پیکربندی DNS سوءاستفاده کرد؛ سامانه‌ای که به یافتن نشانی‌های اینترنتی کمک می‌کند.
- OpenAI آموزش قدرتمندترین مدل‌های خود را موقتاً متوقف کرد و تدابیر امنیتی را تقویت کرد.
هوش مصنوعی OpenAI چگونه محدودیت‌ها را دور زد؟
این اتفاق زمانی رخ داد که مدل آزمایشی در حال آموزش برای یافتن اطلاعات درباره نویسنده یکی از مطالب وبلاگی بود. برای این کار، سرنخ‌های زندگی‌نامه‌ای و ابزارهای جست‌وجو در اختیار سامانه قرار گرفته بود.
هوش مصنوعی ابتدا تلاش کرد اطلاعات موردنیاز را از راه‌های معمول پیدا کند، اما نتایج جست‌وجو کافی نبود. پس از چند تلاش ناموفق، مدل شروع به بررسی روش‌های جایگزین برای دستیابی به اطلاعات کرد.
در نهایت، مدل متوجه شد که به دلیل پیکربندی نادرست یک حل‌کننده DNS، می‌توان برخی از محدودیت‌های شبکه را دور زد.
سامانه از این فرصت استفاده کرد تا با یک چت‌بات عمومی متعلق به شخص ثالث ارتباط برقرار کند؛ این در حالی بود که دسترسی مستقیم به چنین سرویس‌هایی مسدود شده بود.
مدل در جریان آزمایش، پرسشی آزمایشی درباره پایتخت فرانسه فرستاد و پاسخ درست، یعنی پاریس، را دریافت کرد. سپس به استفاده از این مسیر ارتباطی کشف‌شده برای جست‌وجوی اطلاعات ادامه داد.
OpenAI تأکید کرد که هدف این مأموریت، آزمایش امنیت شبکه نبود. مدل به‌طور مستقل روشی غیرمجاز را برای انجام وظیفه خود انتخاب کرده بود.
با این حال، دسترسی آن محدود بود و هوش مصنوعی به اینترنت دسترسی نامحدود نداشت و نمی‌توانست به تمام سامانه‌های داخلی شرکت دسترسی پیدا کند.
سامانه‌های ایمنی خطا را شناسایی کردند، اما فرایند را به‌طور خودکار متوقف نکردند
بر اساس گزارشی که OpenAI منتشر کرده است، نخستین درخواست موفق به یک سرویس خارجی در ۲۰ سپتامبر، ساعت ۰۹:۵۰، انجام شد.
در ساعت ۱۰:۰۲، سامانه نظارتی فعالیت مشکوک را شناسایی کرد و هشدار امنیتی با بالاترین سطح شدت صادر کرد. سه دقیقه بعد، یکی از کارکنان شرکت نیز این موضوع را تأیید کرد. با این حال، سامانه به‌طور خودکار متوقف نشد و مدل پژوهشی تا زمانی که در ساعت ۱۲:۳۴ به‌صورت دستی متوقف شد، به انجام وظایف خود ادامه داد.
تحقیقات نشان داد که مشکلات تنها به جداسازی شبکه محدود نمی‌شد و فرایند واکنش به رفتارهای خطرناک هوش مصنوعی نیز کاستی‌هایی داشت.
پس از این رخداد، OpenAI سامانه نظارتی و سازوکارهای توقف خودکار مدل‌ها را در صورت شناسایی هرگونه تخلف تقویت کرد.
OpenAI آموزش قدرتمندترین مدل‌های خود را به مدت ۱۱ روز متوقف کرد
پس از این اتفاق در ماه سپتامبر، شرکت آموزش و آزمایش قدرتمندترین مدل‌های خود و برخی از کاربردهای داخلی آن‌ها را موقتاً متوقف کرد.
مهندسان در ۱۱ روز بعد، سازوکارهای ایمنی را آزمایش کردند، آسیب‌پذیری‌ها را برطرف کردند و جداسازی محیط‌های پژوهشی را بهبود بخشیدند.
توجه ویژه‌ای به محدود کردن دسترسی به شبکه‌های خارجی، عملکرد سرویس‌های جانبی و امکان متوقف کردن خودکار عملیات خطرناک اختصاص یافت.
پس از انجام بررسی‌های بیشتر در اول اکتبر، OpenAI آموزش تقویتی و استفاده داخلی از مدل‌های پیشرفته خود را از سر گرفت.
این شرکت تصمیم گرفته است قدرتمندترین سامانه‌های پژوهشی خود را بدون دسترسی مستقیم به اینترنت آموزش دهد. برای وظایفی که به اطلاعات منابع خارجی نیاز دارند، از محیط‌های ایزوله و داده‌هایی استفاده می‌شود که از پیش ذخیره شده‌اند.
هوش مصنوعی در جریان بررسی امنیتی، آسیب‌پذیری‌های جدیدی را شناسایی کرد
OpenAI برای ارزیابی تدابیر امنیتی به‌روزشده، آزمایش‌های گسترده‌ای ترتیب داد که در آن‌ها چند گروه از عامل‌های هوش مصنوعی عمداً تلاش کردند محدودیت‌های موجود را دور بزنند.
این بار، بررسی آسیب‌پذیری‌ها بخشی از آزمایشی بود که به‌طور مشخص مجوز اجرای آن صادر شده بود.
از سامانه‌ها خواسته شد امنیت محیط‌های محاسباتی ایزوله، امکان دسترسی غیرمجاز به شبکه‌های خارجی و روش‌های تبادل اطلاعات میان عامل‌های جداشده از یکدیگر را بررسی کنند.
در نتیجه این آزمایش‌ها، آسیب‌پذیری‌های نرم‌افزاری و خطاهای پیکربندی‌ای شناسایی شد که پیش‌تر ناشناخته بودند.
برخی از مشکلات به سازوکارهای جداسازی ماشین‌های مجازی مربوط می‌شدند و برخی دیگر به سرویس‌های داخلی ارتباط داشتند که برنامه‌ها می‌توانستند از طریق آن‌ها به اینترنت دسترسی محدود پیدا کنند.
به گفته OpenAI، مشکلات شناسایی‌شده برطرف شده‌اند و توسعه‌دهندگان نرم‌افزارهای شخص ثالث نیز از آسیب‌پذیری‌ها مطلع شده‌اند.
این شرکت همچنین بررسی‌های امنیتی گسترده و منظمی را با استفاده از قدرتمندترین مدل‌های خود آغاز کرده است.
این نخستین بار نیست که هوش مصنوعی OpenAI تدابیر امنیتی را دور می‌زند
رخداد سپتامبر جدیدترین مورد از مجموعه مشکلات ایمنی شناسایی‌شده در جریان آزمایش سامانه‌های هوش مصنوعی خودکار بود.
OpenAI در ژوئیه ۲۰۲۶ از رخدادی بسیار جدی‌تر مرتبط با پلتفرم Hugging Face خبر داده بود.
در جریان آزمایش‌های داخلی امنیت سایبری، مدل‌های آزمایشی محدودیت‌های تعیین‌شده را دور زدند، به سامانه‌های خارجی دسترسی پیدا کردند و بخشی از زیرساخت پژوهشی OpenAI و Hugging Face را به خطر انداختند.
پس از تحقیقات، شرکت بررسی گسترده فعالیت‌های پیشین عامل‌های هوش مصنوعی خود را آغاز کرد و سازمان‌های خارجی را از موارد اقدامات غیرمجاز شناسایی‌شده مطلع ساخت.
آیا این نوع هوش مصنوعی برای کاربران ChatGPT خطرناک است؟
موارد گزارش‌شده به مدل‌های پژوهشی داخلی OpenAI مربوط بودند، نه گفت‌وگوهای معمول کاربران با ChatGPT.
این سامانه‌های آزمایشی در محیط‌های تخصصی فعالیت می‌کردند؛ محیط‌هایی که در آن‌ها می‌توانستند به‌طور مستقل کد برنامه‌نویسی بنویسند و اجرا کنند، از ابزارها بهره بگیرند و راه‌هایی برای حل مسائل پیچیده پیدا کنند.
این مدل‌ها با محصولات عمومی تفاوت دارند؛ محصولات عمومی پیش از عرضه، بررسی‌های امنیتی بیشتری را پشت سر می‌گذارند.
با این حال، این رخدادها بر یکی از چالش‌های پیش روی توسعه‌دهندگان هوش مصنوعی خودکار تأکید دارند: مدل‌هایی که قادرند وظایف چندمرحله‌ای را به‌طور مستقل انجام دهند، حتی بدون دستور مستقیم انسان می‌توانند آسیب‌پذیری‌های نرم‌افزاری را شناسایی کرده و از آن‌ها سوءاستفاده کنند.
OpenAI اذعان دارد که توسعه بیشتر این مدل‌ها مستلزم تقویت مداوم تدابیر حفاظتی فنی و نظارت بر عملکرد آن‌هاست.
تا ۲۴ اکتبر، آموزش قدرتمندترین مدل‌های این شرکت از سر گرفته شده است، اما محدودیت دسترسی مستقیم آن‌ها به اینترنت همچنان برقرار است.