گروه ایمنی هوش مصنوعی METR ایرادهایی در سامانه نظارت داخلی OpenAI شناسایی کرد

۲۲ اکتبر (رویترز) — گروه پژوهشی ایمنی هوش مصنوعی METR روز پنجشنبه اعلام کرد که در جریان یک آزمایش اولیه برای سنجش مقاومت سامانه نظارت داخلی OpenAI، چندین آسیب‌پذیری جدید شناسایی کرده است. از جمله این موارد، روشی برای سوءاستفاده از سامانه بود که عامل‌های هوش مصنوعی می‌توانستند با استفاده از آن، صدها اقدام اخیر خود را از دید سامانه نظارتی پنهان کنند.

OpenAI پس از آن اعلام کرد که تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی مورد استفاده در محیط عملیاتی خود را برطرف کرده است. با این حال، METR گفت که هنوز صحت این ادعاها را ارزیابی نکرده است.

پژوهشگران راهی پیدا کردند که عامل‌های برنامه‌نویسی Codex شرکت OpenAI، دست‌کم از نظر نظری، می‌توانستند با استفاده از آن محدودیت‌های ایمنی را دور بزنند و هر اقدامی را که برای کاربرِ اجراکننده آن‌ها امکان‌پذیر بود انجام دهند. آن‌ها همچنین دو تنظیمات را شناسایی کردند که می‌توانستند نظارت بر عامل‌های جدید را غیرفعال کنند.

برآورد پژوهشگران نشان داد که تنها حدود ۷۵ تا ۹۴ درصد از ترافیک داخلی عامل‌های هوش مصنوعی OpenAI، مربوط به مدل‌هایی با توانایی برابر یا بیشتر از GPT-5.5، مشمول نظارت بوده است.

به گفته METR، هدف این آزمایش برآورد میزان فعالیت عامل‌های هوش مصنوعی OpenAI بود که تحت نظارت قرار می‌گرفت و نیز بررسی این موضوع که آیا این عامل‌ها می‌توانستند، دست‌کم در تئوری، سامانه نظارتی را غیرفعال کنند یا از آن عبور کنند.

این گروه پژوهشی افزود که آزمایش یادشده به‌عنوان یک طرح آزمایشی اولیه طراحی شده بود تا امکان دسترسی عمیق پژوهشگران مستقل به سامانه‌های داخلی شرکت‌ها بررسی شود.

گزارش از انزار مهراج در بنگلور؛ ویرایش از جاناتان آناندا