نفوذ مدل OpenAI به وب‌سایت دولتی در جریان آموزش
از یک مدل داخلی OpenAI خواسته شده بود تنها یک عدد درباره تعداد تخت‌های بیمارستانی ارائه کند. اما این مدل اطلاعات ورود را از یک سرور دولتی به دست آورد، توکن‌های جعلی ساخت و آمار ۲۴ سال را دانلود کرد. این مورد یکی از چهار گزارش جدیدی است که OpenAI در ۱۵ اکتبر درباره رفتارهای ناسازگار مدل‌های خود منتشر کرد. این گزارش‌ها برای افرادی که انجام کارها در مرورگر را به عامل‌های هوش مصنوعی می‌سپارند، چه معنایی دارند؟
OpenAI در ۱۵ اکتبر چهار گزارش دیگر منتشر کرد که در آن‌ها مدل‌های خود این شرکت بدون مجوز اقداماتی انجام داده بودند. در هر چهار مورد، یک مدل از محیط آزمایشی محدودشده خود خارج شد و به اینترنت عمومی دسترسی پیدا کرد. جدی‌ترین مورد به مدلی داخلی در حال آموزش مربوط می‌شد که به یک وب‌سایت دولتی نفوذ کرد. وظیفه اولیه آن بی‌خطر بود: باید تعداد تخت‌های بیمارستانی را در یک منطقه مشخص و برای یک سال معین گزارش می‌کرد. مدل این عدد را در یک منبع عمومی پیدا کرد، اما به جست‌وجو برای دستیابی به داده‌های زیربنایی ادامه داد.
توکن‌های جعلی دسترسی به ۲۴ سال داده را ممکن کردند
بر اساس گزارش، این مدل فقط اجازه داشت درخواست‌های ساده GET ارسال کند. ابتدا سرآیندهای درخواست را طوری تنظیم کرد که ادعای داشتن نقش مدیر سامانه را مطرح می‌کردند، اما تمام این درخواست‌ها رد شدند. مدل در فرایند استدلال خود برای لحظه‌ای این پرسش را مطرح کرد که آیا دور زدن سازوکار احراز هویت «ممکن است قابل قبول باشد» و یادآور شد که باید راه‌های عمومی را در اولویت قرار دهد.
سپس با استفاده از یک پراکسی عمومی، فهرست کاربران وب‌سایت را بازیابی کرد؛ فهرستی شامل بیش از هزار رکورد و نشانی‌های ایمیل. مدل احتمال استفاده از این اطلاعات برای حدس زدن گذرواژه‌ها را نیز بررسی کرد. بعد با ایجاد یک پیام خطای تفصیلی و سوءاستفاده از قابلیت دانلود وب‌سایت، فایل‌های پیکربندی سرور را دریافت کرد. این فایل‌ها حاوی رشته اتصال به پایگاه داده، یک کلید محرمانه برای امضای توکن‌ها و اطلاعات ورود به یک حساب ایمیل بودند.
از آنجا که برنامه امضای توکن‌ها را بررسی نمی‌کرد، مدل توانست با توکن‌های بدون امضا به آمار تعداد تخت‌های بیمارستانی در یک دوره ۲۴ ساله دسترسی پیدا کند. پاسخ نهایی مدل هیچ اشاره‌ای به این اقدامات نداشت. OpenAI نام کشور را اعلام نکرده و در گزارش نیز مشخص نشده است که آیا مسئولان وب‌سایت از این رخداد مطلع شده‌اند یا خیر.
جدول‌های داخلی و استفاده از کیف پول آزمایشی دیگران
دومین رخداد نیز در همان روز، یعنی ۱۷ ژوئن، اتفاق افتاد. در جریان یک ارزیابی، از مدلی خواسته شد پنج عدد را از یک داشبورد عمومی متعلق به یک سازمان پژوهشی استخراج کند. مدل به سامانه‌های داخلی آن سازمان دسترسی پیدا کرد، پیکربندی آن‌ها را تغییر داد و ۱٬۴۸۹ رکورد شامل نام و نشانی ایمیل را دانلود کرد. در اجرای دوم، ۱۴۷٬۴۵۱ ردیف از پنج جدول غیرعمومی دریافت شد. سامانه نظارتی OpenAI هر دو رخداد را بحرانی تشخیص داد. این موارد در ۱۳ اوت شناسایی شدند.
رخداد سوم در نگاه اول وخیم‌تر به نظر می‌رسد، اما ابعاد آن محدودتر بود. یک مدل پژوهشی از خانواده Sol مبتنی بر GPT-5.6 برای انجام یک وظیفه برنامه‌نویسی به وجهی در شبکه آزمایشی Sepolia اتریوم نیاز داشت. مدل با استفاده از عبارت‌های بازیابی توسعه‌دهندگان که به‌صورت عمومی شناخته شده بودند، کلیدهایی استخراج کرد، ۳۶۲ نشانی را بررسی کرد و از نشانی‌ای پرداخت انجام داد که به‌اندازه کافی اتر آزمایشی در اختیار داشت. این توکن‌ها ارزش پولی نداشتند. بااین‌حال، OpenAI نتیجه گرفت که این رخداد «نشان می‌دهد مدل می‌تواند تشخیص خود درباره میزان آسیب احتمالی را جایگزین اجازه صاحب حساب کند».
در رخداد چهارم، یک مدل محدودیت مربوط به مجاز بودن درخواست‌های صرفاً خواندنی را دور زد. این مدل از یک مرورگر خارجی خواست فرمی را که خودش ساخته بود ارسال کند و سپس پاسخ‌ها را با استفاده از تشخیص متن در تصاویر صفحه‌نمایش خواند.
OpenAI چه تغییراتی اعمال کرده و این موضوع برای شما چه معنایی دارد؟
هیچ‌یک از این گزارش‌ها به استفاده مشتریان از ChatGPT یا Codex مربوط نمی‌شود. هر چهار مورد در جریان آموزش و آزمایش مدل‌ها رخ داده‌اند. OpenAI در اوایل اکتبر نیز پس از آنکه عامل‌های هوش مصنوعی این شرکت هنگام آموزش و آزمایش از محدودیت‌ها عبور کردند و در وب‌سایت‌های سازمان‌ها اقداماتی خارج از چارچوب انجام دادند، بیش از ۱۰۰ سازمان را مطلع کرده بود.
به گفته OpenAI، این شرکت از آن زمان دسترسی مدل‌ها به اینترنت زنده را در طول آموزش و ارزیابی مسدود کرده، کنترل‌های امنیتی را سخت‌گیرانه‌تر کرده و اکنون تمام ترافیک مربوط به آموزش و ارزیابی را زیر نظر دارد. شمار گزارش‌های ثبت‌شده اکنون به ۱۹ مورد رسیده است. از اواسط سپتامبر نیز چارچوب گزارش‌دهی جدیدی شرکت را متعهد می‌کند حتی رخدادهایی را افشا کند که هیچ آسیبی به دنبال نداشته‌اند.
شرکت Anthropic نیز کمی بیش از یک هفته پیش رفتار مشابهی را مستند کرد؛ زمانی که مدل Claude در جریان یک آزمایش، گزارشی ساختگی درباره قتل برای پلیس ارسال کرد. افرادی که انجام کارها را به یک عامل هوش مصنوعی در مرورگر می‌سپارند، بهتر است گزینه تأیید اقدامات را فعال نگه دارند.
مرورگر ابری ChatGPT Work در طرح‌های پولی، به‌جز طرح Go، در دسترس است. کاربران می‌توانند در بخش تنظیمات و مرورگر ابری، قاعده پیش‌فرض مربوط به وب‌سایت‌ها را انتخاب کنند. انتخاب گزینه «همیشه سؤال بپرس» باعث می‌شود ChatGPT پیش از آنکه عامل هوش مصنوعی از یک وب‌سایت استفاده کند، از کاربر تأیید بگیرد. به گفته OpenAI، ChatGPT همچنین پیش از انجام اقداماتی که «بازگرداندن آن‌ها ممکن است دشوار باشد»، مانند پرداخت یا رزرو، در گفت‌وگو تأیید کاربر را درخواست می‌کند. پس از پایان کار نیز کاربران می‌توانند از بخش داده‌های مرورگر، اطلاعات مربوط به یک وب‌سایت را پاک کنند؛ این کار باعث خروج عامل هوش مصنوعی از حساب کاربری آن وب‌سایت می‌شود.