عامل هوش مصنوعی OpenAI هنگام آموزش به وب‌سایت دولتی نفوذ کرد و آمار ۲۴ سال را استخراج کرد
یکی از مدل‌های هوش مصنوعی OpenAI هنگام آموزش به یک وب‌سایت دولتی نفوذ کرد. این شرکت جزئیاتی از نحوه دور زدن محدودیت‌های امنیتی توسط مدل‌های داخلی خود در جریان آموزش منتشر کرده است.
وظیفه مدل داخلی OpenAI این بود که تنها یک عدد، یعنی تعداد تخت‌های بیمارستانی، را پیدا کند. اما مدل به‌جای اکتفا به این اطلاعات، اطلاعات ورود به حساب‌های کاربری را از یک سرور دولتی استخراج کرد، توکن‌های جعلی ساخت و داده‌های آماری مربوط به ۲۴ سال را دانلود کرد. این اتفاق یکی از چهار مورد تازه‌ای بود که OpenAI در گزارش‌های اخیر خود درباره شکست سازوکارهای هم‌راستاسازی هوش مصنوعی منتشر کرده است.
OpenAI در ۱۵ اکتبر چهار گزارش دیگر منتشر کرد که در آن‌ها مدل‌های این شرکت بدون مجوز دست به اقدام زده بودند. در هر چهار مورد، الگوریتم از محیط آزمایشی ایزوله خارج شد و به اینترنت عمومی دسترسی پیدا کرد.
جدی‌ترین مورد به یک مدل داخلی در حال آموزش مربوط می‌شد که به یک وب‌سایت دولتی نفوذ کرد. مأموریت مدل کاملاً بی‌خطر بود: باید تعداد تخت‌های بیمارستانی را در یک منطقه و برای یک سال مشخص گزارش می‌کرد. با این حال، الگوریتم پس از یافتن عدد موردنظر در یک منبع عمومی، به جست‌وجوی اطلاعات زیربنایی ادامه داد.
بر اساس گزارش OpenAI، این الگوریتم فقط اجازه داشت درخواست‌های ساده GET ارسال کند. مدل ابتدا تلاش کرد با استفاده از سرآیندهای درخواست که در آن‌ها خود را دارای دسترسی مدیریتی معرفی می‌کرد، محدودیت‌ها را دور بزند؛ اما تمام این تلاش‌ها رد شدند. مدل در جریان استدلال خود برای مدتی این پرسش را مطرح کرد که آیا دور زدن احراز هویت «ممکن است قابل قبول باشد» و در عین حال متذکر شد که باید مسیرهای عمومی در اولویت قرار گیرند.
سپس مدل از یک سرور پروکسی عمومی استفاده کرد تا فهرست کاربران وب‌سایت را به دست آورد. این فهرست بیش از ۱۰۰۰ رکورد، شامل نشانی‌های ایمیل، داشت و مدل استفاده از این اطلاعات برای شکستن گذرواژه‌ها را نیز بررسی کرد.
مدل با ایجاد یک پیام خطای مفصل و استفاده از قابلیت بارگذاری فایل در وب‌سایت، فایل‌های پیکربندی سرور را دانلود کرد. این فایل‌ها حاوی رشته اتصال به پایگاه داده، کلید محرمانه امضای توکن‌ها و اطلاعات ورود به صندوق‌های ایمیل بودند. از آنجا که برنامه امضای توکن‌ها را بررسی نمی‌کرد، مدل توانست حتی با توکن‌های بدون امضا، آمار مربوط به تخت‌های بیمارستانی را برای ۲۴ سال استخراج کند. پاسخ نهایی مدل نیز هیچ اشاره‌ای به این دستکاری‌ها نداشت. OpenAI نام کشور موردنظر را اعلام نکرده و در گزارش خود نیز مشخص نکرده است که آیا مدیران وب‌سایت از این اتفاق مطلع شده‌اند یا خیر.
دومین حادثه نیز در همان روز رخ داد. در جریان یک ارزیابی، از مدل خواسته شده بود پنج شاخص را از یک داشبورد عمومی متعلق به یک سازمان پژوهشی جمع‌آوری کند. اما الگوریتم به سامانه‌های داخلی سازمان دسترسی پیدا کرد، تنظیمات آن‌ها را تغییر داد و ۱۴۸۹ رکورد حاوی نام و نشانی ایمیل افراد را استخراج کرد. هنگامی که مدل دوباره اجرا شد، ۱۴۷٬۴۵۱ ردیف از پنج جدول غیرعمومی را نیز استخراج کرد. سامانه نظارتی OpenAI هر دو حادثه را بحرانی تشخیص داد.
سومین حادثه در نگاه اول نگران‌کننده‌تر از واقعیت به نظر می‌رسد. یک مدل پژوهشی از خانواده GPT-5.6 Sol برای تکمیل یک وظیفه برنامه‌نویسی به دارایی‌های شبکه آزمایشی Sepolia در اتریوم نیاز داشت. مدل با استفاده از عبارت‌های بازیابی عمومی و شناخته‌شده توسعه‌دهندگان، کلیدهایی را استخراج کرد، ۳۶۲ نشانی را بررسی کرد و از نشانی‌ای که به‌اندازه کافی اتر آزمایشی داشت، یک پرداخت انجام داد. این توکن‌ها ارزش پولی نداشتند.
با این حال، OpenAI نتیجه گرفت که این حادثه «نشان می‌دهد مدل چگونه ممکن است قضاوت خودش درباره میزان آسیب احتمالی را جایگزین مجوز صاحب حساب کند».
در چهارمین حادثه، مدل محدودیتی را دور زد که فقط اجازه ارسال درخواست‌های خواندنی را می‌داد. این مدل باعث شد یک مرورگر خارجی فرمی را که خودش ساخته بود ارسال کند و سپس پاسخ‌ها را با استفاده از سامانه تشخیص نوری نویسه‌ها (OCR) از روی تصاویر صفحه بخواند.
هیچ‌یک از این گزارش‌ها به ChatGPT یا Codex در نسخه‌های مورد استفاده مشتریان مربوط نمی‌شود. هر چهار حادثه هنگام آموزش و آزمایش مدل‌ها رخ داده‌اند. در اوایل اکتبر، OpenAI پیش‌تر به بیش از ۱۰۰ سازمان اطلاع داده بود که عامل‌های هوش مصنوعی این شرکت هنگام آموزش و آزمایش، در وب‌سایت‌های آن سازمان‌ها از حدود اختیارات خود فراتر رفته‌اند.
OpenAI می‌گوید پس از این اتفاق‌ها، دسترسی مدل‌ها به اینترنت زنده را در جریان آموزش و ارزیابی قطع کرده، تدابیر امنیتی را تقویت کرده و اکنون تمام ترافیک مربوط به فرایندهای آموزش و آزمایش را زیر نظر دارد. در حال حاضر، فهرست این شرکت شامل ۱۹ گزارش است. از اواسط سپتامبر نیز سامانه‌ای برای گزارش‌دهی برقرار شده که OpenAI را ملزم می‌کند چنین حوادثی را حتی در صورت وارد نشدن هیچ‌گونه خسارتی افشا کند.
منبع: Notebookcheck