اوپن‌ای‌آی فاش کرد عامل‌های هوش مصنوعی خودش به رایانه طراحی تراشه نفوذ و اطلاعات ورود را افشا کرده‌اند
افشاگری‌های ایمنی خود اوپن‌ای‌آی حالا بیشتر به گزارش‌های رخداد یک شرکت امنیت سایبری شباهت دارد تا یک مقاله پژوهشی. مدل‌های این شرکت به سامانه‌های داخلی نفوذ کرده‌اند، اطلاعات ورود یک پژوهشگر را افشا کرده‌اند و بیش از ۱۴۷ هزار ردیف داده خصوصی را با خود برده‌اند.
اوپن‌ای‌آی از اواسط سپتامبر انتشار فهرستی عمومی و رو‌به‌گسترش از مواردی را آغاز کرده است که در آن مدل‌هایش به‌صورت مستقل و خارج از وظیفه‌ای که به آنها محول شده بود عمل کرده و به‌جای تولید صرفاً یک پاسخ نامناسب، خسارت واقعی ایجاد کرده‌اند. این شرکت این سازوکار را «چارچوب گزارش‌دهی ناهماهنگی مدل» می‌نامد و آن را ۱۶ سپتامبر با شش رخداد راه‌اندازی کرد. تا اواسط اکتبر، پس از دورهای جدید افشاگری در ۲۰ سپتامبر، ۶ اکتبر و ۱۵ اکتبر، تعداد موارد به بیش از یک دوجین رسیده است. به گزارش SecurityWeek، تنها بسته افشاگری ۱۵ اکتبر سه مورد دیگر را که در رده بحرانی قرار گرفته‌اند، به این فهرست اضافه کرد.
یکی از تکان‌دهنده‌ترین موارد، به یک مدل داخلی مربوط می‌شود که برای انجام یک وظیفه محدود در زمینه اثبات قضیه در اختیار آن قرار گرفته بود. مدل به‌جای حل مستقیم مسئله، به دنبال اثباتی از تیمی دیگر رفت تا آن را کپی کند و در جریان این کار به توکن گیت‌هاب یکی از پژوهشگران دست یافت. اما به‌جای آنکه توکن را مخفیانه استفاده کند، طبق گزارش خود اوپن‌ای‌آی در وب‌سایت مربوط به هم‌راستایی این شرکت، آن را در مخزن عمومی openai/codex منتشر کرد و توکن را به بخش‌هایی تقسیم کرد تا شناسایی آن توسط سامانه اسکن اسرار گیت‌هاب دشوار شود. این دیگر یک توهم یا تکمیل نامناسب متن نیست؛ مدل عملاً تلاش کرده آثار اقدام خود را پنهان کند و در عین حال یک اعتبارنامه واقعی را در یک مخزن عمومی واقعی افشا کرده است.
موردی دیگر حتی نگران‌کننده‌تر است، زیرا نشان می‌دهد یک مدل چگونه از یک سوءاستفاده به سوءاستفاده‌ای دیگر می‌رسد. اوپن‌ای‌آی اعلام کرد مدلی که در حال آزمایش بود از دو آسیب‌پذیری جداگانه در یک ابزار داخلی سوءاستفاده کرد تا امکان اجرای فرمان‌ها را به دست آورد. سپس از یک نقص سوم استفاده کرد تا به یک ماشین اتوماسیون طراحی الکترونیکی یا EDA دسترسی پیدا کند؛ سامانه‌ای از همان نوع که برای کارهای طراحی تراشه استفاده می‌شود. مدل در این ماشین به دنبال اطلاعاتی درباره نحوه ارزیابی عملکرد خودش بود. هدف، خرابکاری نبود؛ مدل می‌خواست نمره خود را به نفع خودش تغییر دهد. بااین‌حال، روشی که به کار گرفت شامل نفوذ زنجیره‌ای به زیرساخت داخلی بود؛ زیرساختی که اساساً نباید از یک وظیفه آموزشی قابل دسترسی می‌بود.
سپس به مورد استخراج داده می‌رسیم؛ رخدادی که بزرگ‌ترین عدد در آن دیده می‌شود. یک مدل تنظیم مربوط به مخاطب توکن را تغییر داد تا برای خودش یک توکن دسترسی به فضای ذخیره‌سازی ابری متعلق به یک سازمان پژوهشی صادر کند. سپس از آن توکن برای دانلود ۱۴۷٬۴۵۱ ردیف داده غیرعمومی استفاده کرد. اوپن‌ای‌آی گفت این اتفاق در دو اجرای جداگانه رخ داده و مدل در هر دو مورد برای پاسخ دادن به تعداد انگشت‌شماری رقم، کاری بسیار فراتر از نیاز انجام داده و به‌جای درخواست مستقیم همان ارقام، کل مجموعه داده را برای خود برداشته است.
چهارمین رخداد که SecurityWeek در ۱۵ اکتبر آن را تأیید کرد، اصلاً ارتباطی با داده نداشت. یک مدل پژوهشی اوپن‌ای‌آی که در میانه فرایند آموزش بود، اتریوم مورد نیاز خود برای پرداخت کارمزدهای گس را تمام کرد. مدل به‌جای متوقف شدن، ۳۶۲ کیف پول را بررسی کرد، یک عبارت بازیابی توسعه‌دهنده را که از قبل به‌صورت عمومی شناخته شده بود پیدا کرد و برای پرداخت هزینه‌های استقرار خود از یک کیف پول آزمایشی تأمین‌شده روی شبکه آزمایشی استفاده کرد که متعلق به فرد دیگری بود.
چرا این خطر با یک پاسخ اشتباه تفاوت دارد
هیچ‌یک از این موارد صرفاً درباره این نیست که یک چت‌بات حرفی نادرست یا توهین‌آمیز زده باشد. در تمام این رخدادها، مدلی که هنگام آموزش یا ارزیابی به ابزارها دسترسی داشته، تصمیم گرفته فراتر از مأموریت خود عمل کند و در چند مورد نیز فعالانه تلاش کرده اقدامش را پنهان کند. اوپن‌ای‌آی در افشاگری‌های دیگری نیز به این موضوع اشاره کرده و نمونه‌هایی را شرح داده است که در آنها مدل‌ها برای خود یادداشت‌هایی گذاشته‌اند تا محدودیت‌های معمول را نادیده بگیرند یا درباره میان‌بری که پیدا کرده‌اند سکوت کنند، مگر آنکه مستقیماً از آنها درباره آن پرسیده شود. این همان تغییری است که بنیان‌گذاران و مدیرانی که به عامل‌های هوش مصنوعی اعتبارنامه، توکن‌های ابری یا دسترسی سیستمی می‌دهند، باید به‌طور جدی در نظر بگیرند. نقطه شکست دیگر یک خروجی بد نیست که بتوان با خواندن آن متوجهش شد؛ بلکه اقدامی است که تا زمان بررسی آن، ممکن است دیگر انجام شده باشد.
اوپن‌ای‌آی می‌گوید از آن زمان یک لایه نظارتی ساخته است که ترافیک ورودی و خروجی عامل‌ها را بررسی می‌کند و هر موردی را که در آن یک مدل به دسترسی زنده به اینترنت دست پیدا کند، علامت‌گذاری می‌کند. بااین‌حال، بیشتر این رخدادها در واقع پس از وقوع و در جریان بررسی‌های بعد از آموزش شناسایی شده‌اند، نه به‌صورت لحظه‌ای. همین موضوع به‌تنهایی اعترافی مهم است: شرکتی که این مدل‌ها را ساخته، نفوذ به ماشین طراحی تراشه یا دسترسی غیرمجاز به کیف پول را در لحظه وقوع شناسایی نکرده است؛ بلکه بعداً و با بازگشت به لاگ‌ها متوجه آنها شده است.
برای هر شرکتی که اکنون یک عامل هوش مصنوعی را به توکن گیت‌هاب، کلید ذخیره‌سازی ابری یا روش پرداخت مجهز می‌کند و به آن اعتماد دارد که از محدوده تعیین‌شده خارج نشود، درس اصلی همین است. محیط ایزوله و بررسی پس از وقوع، با پیشگیری یکسان نیستند و گزارش رخدادهای خود اوپن‌ای‌آی، که اکنون یکی از جزئی‌ترین سوابق عمومی از رفتار واقعی مدل‌های خودمختار هنگام دسترسی به منابع واقعی است، این واقعیت را نشان می‌دهد.