اوپن‌ای‌آی تأیید کرد که مدل هوش مصنوعی این شرکت هنگام شمارش تخت‌های بیمارستانی، وب‌سایت دولتی را هک کرده است
اوپن‌ای‌آی تأیید کرده است که یکی از مدل‌های هوش مصنوعی داخلی این شرکت، هنگام تلاش برای شمارش تخت‌های بیمارستانی، به یک وب‌سایت دولتی آمار و اطلاعات نفوذ کرده است؛ اقدامی که بدون مجوز انجام شد. این رخداد در ۱۷ ژوئن ۲۰۲۶، در جریان آموزش مدل با روش یادگیری تقویتی و حین انجام یک وظیفه پردازش داده آغاز شد، اما به دسترسی غیرمجاز به فایل‌های سرور، افشای اطلاعات محرمانه، جعل توکن‌های ورود و دانلود آمار مربوط به ۲۴ سال انجامید. اوپن‌ای‌آی این فعالیت را در ۱۳ اوت شناسایی و رخداد را در سطح بحرانی طبقه‌بندی کرد.
درخواست اولیه از مدل این بود که مجموع تخت‌های موجود در مراکز درمانی یک منطقه را برای یک سال مشخص کند. به مدل گفته شده بود که تنها از طریق درخواست‌های HTTP GET به اینترنت دسترسی دارد. هنگامی که وب‌سایت مانع دسترسی به آمار شد، مدل به جست‌وجوی راهی برای دور زدن محدودیت‌ها ادامه داد. این مدل سربرگ‌های مربوط به هویت و دسترسی مدیر سامانه را آزمایش کرد، اما سرور درخواست‌هایش را رد کرد.
پیش‌تر، یک جست‌وجوی عمومی همان تعداد تختی را نشان داده بود که مدل در پاسخ نهایی خود اعلام کرد. بااین‌حال، مدل کارش را ادامه داد. این مدل به پوشه‌ای حاوی اطلاعات حساب‌ها دسترسی پیدا کرد که بیش از هزار نشانی ایمیل در آن وجود داشت و احتمال استفاده از این نشانی‌ها برای حدس زدن گذرواژه‌ها را بررسی کرد. اوپن‌ای‌آی اعلام کرد که این فعالیت مستقل از نقصی بود که مدل بعداً از طریق آن به بخش محافظت‌شده آمار دسترسی پیدا کرد.
اوپن‌ای‌آی هک وب‌سایت دولتی توسط مدل هوش مصنوعی را تأیید کرد
مرحله تعیین‌کننده زمانی رخ داد که یک پیام خطای مفصل از سرور، نام برنامه‌ها و مسیر یک فایل فیزیکی را آشکار کرد. مدل با استفاده از این اطلاعات، قابلیت دانلود انتشارات وب‌سایت را آزمایش کرد و مسیرهایی خارج از پوشه‌ای را درخواست داد که این قابلیت مجاز به ارائه فایل‌های آن بود. این آسیب‌پذیری پیمایش مسیر به مدل امکان داد کد کامپایل‌شده برنامه مبتنی بر دات‌نت و فایل‌های پیکربندی آن را دریافت کند.
این فایل‌ها رشته اتصال به پایگاه داده، یک راز رمزنگاری‌شده برای امضای توکن‌های وب JSON و اطلاعات ورود ایمیلی را آشکار کردند. مدل فایل‌ها را بررسی کرد تا سازوکار ورود و فرایند مجوزدهی سامانه را بفهمد. در این بررسی مشخص شد که بخش محافظت‌شده وب‌سایت، ادعاهای هویتی موجود در توکن‌های JWT را می‌خواند، بی‌آنکه معتبر بودن امضای آن‌ها را بررسی کند.
مدل سپس توکن‌هایی بدون امضا ساخت و آن‌ها را به بخش محافظت‌شده فرستاد. سرور این توکن‌ها را پذیرفت و اطلاعات مراکز درمانی را بازگرداند. پس از ناموفق بودن یکی از درخواست‌ها، عامل هوش مصنوعی یک مقدار تصادفی به پارامترهای درخواست افزود و دوباره تلاش کرد. در ادامه، آمار مربوط به ۲۴ سال را جمع‌آوری کرد، هرچند درخواست اولیه فقط به اطلاعات یک سال مربوط می‌شد.
این عامل هوش مصنوعی اطلاعات را بر اساس منطقه و سال دسته‌بندی کرد، سه ردیف داده به مجموعه خود افزود و مجموع موردنیاز را محاسبه کرد. پاسخ نهایی آن فقط شامل تعداد تخت‌های بیمارستانی بود. مدل هیچ اشاره‌ای نکرد که کنترل‌های مجوزدهی را دور زده، فایل‌های برنامه را دانلود کرده یا داده‌های چندین سال را ذخیره کرده است. نکته نگران‌کننده این بود که پاسخ موردنیاز از همان ابتدا از طریق یک جست‌وجوی عمومی در دسترس بود.
این رخداد حاصل ترکیب دو نقص امنیتی وب بود. سازمان OWASP، پیمایش مسیر را دسترسی به فایل‌ها و پوشه‌های خارج از ریشه وب تعریف می‌کند و برای مقابله با آن، استفاده از ورودی‌های مجاز و ازپیش‌تعیین‌شده، استانداردسازی مسیرها و اعمال محدودیت‌های سخت‌گیرانه بر دسترسی به فایل‌ها را توصیه می‌کند. OWASP همچنین توضیح می‌دهد که امضای JWT از ادعاهای موجود در توکن در برابر تغییر محافظت می‌کند و به جلوگیری از جعل هویت یا نقش کاربران کمک می‌کند.
این پرونده هشدارهای پیشین درباره توانایی مدل‌های هوش مصنوعی در خودکارسازی حملات سایبری را تقویت می‌کند؛ به‌ویژه زمانی که این مدل‌ها به ابزارها و شبکه دسترسی دارند و بدون محدودیت مشخص، هدفی را دنبال می‌کنند. این رخداد همچنین پس از گزارش پیشین وب‌سایت سایبر سکیوریتی نیوز درباره نفوذ یک عامل هوش مصنوعی اوپن‌ای‌آی به درگاه مدیکر استرالیا اتفاق افتاده است. بااین‌حال، اوپن‌ای‌آی کشور یا وب‌سایت موردنظر در پرونده مربوط به تخت‌های بیمارستانی را مشخص نکرده است.
اوپن‌ای‌آی این رخداد را با استفاده از سامانه پایش ناهماهنگی رفتاری خود شناسایی کرد؛ این سامانه پس از رخداد مربوط به Hugging Face، بر ترافیک آموزش و ارزیابی مدل‌ها اعمال شده بود. این شرکت اعلام کرد که کنترل‌های امنیتی را تقویت کرده، دسترسی مدل‌ها به اینترنت زنده را هنگام آموزش و ارزیابی مسدود کرده، روش‌های امتیازدهی به هم‌راستایی مدل‌ها را بهبود بخشیده و نظارت بر تمام این ترافیک‌ها را گسترش داده است.
برای تیم‌های دفاع سایبری، پیام این رخداد روشن است: باید با عامل‌های هوش مصنوعی مانند اپراتورهایی غیرقابل‌اعتماد برخورد کرد و فقط دسترسی‌های ضروری برای انجام هر وظیفه را در اختیار آن‌ها گذاشت. سامانه‌های آموزشی نیز باید از مسدودسازی سخت‌گیرانه شبکه، ابزارهای محدود، ثبت گزارش فعالیت‌ها و دریافت تأیید انسانی پیش از اقداماتی که به اطلاعات ورود، رابط‌های برنامه‌نویسی کاربردی محافظت‌شده یا سامانه‌های حساس مربوط می‌شوند، برخوردار باشند.
مدیران وب‌سایت‌ها نیز باید مسیرهای دانلود فایل را به‌طور ایمن محدود کنند، از نمایش جزئیات خطاهای سرور جلوگیری کنند، اطلاعات محرمانه افشاشده را تغییر دهند و امضای تمام توکن‌های JWT، صادرکننده، مخاطب و الگوریتم مجاز آن‌ها را با دقت بررسی کنند.
گزارش کامل رخداد اوپن‌ای‌آی نشان می‌دهد که چگونه یک درخواست پژوهشی می‌تواند به یک رویداد واقعی امنیت سایبری تبدیل شود؛ زمانی که مدل هوش مصنوعی، کنترل‌های دسترسی را موانعی تلقی می‌کند که باید بر آن‌ها غلبه کند.