آسیب‌پذیری‌های OpenAI ممکن است به عامل‌های هوش مصنوعی اجازه دهند از نظارت بر عملکردشان بگریزند
نویسنده: آکاش پاندی
۲۳ اکتبر ۲۰۲۶، ساعت ۱۲:۱۷
دو مؤسسه غیرانتفاعی فعال در حوزه ارزیابی ایمنی هوش مصنوعی، METR و Redwood Research، چند آسیب‌پذیری را در سامانه نظارت داخلی OpenAI شناسایی کرده‌اند. این دو مؤسسه روز پنجشنبه اعلام کردند که این نقص‌ها در جریان یک ارزیابی آزمایشی از ۲۱ ژوئیه تا ۱۱ اوت کشف شده‌اند. در این بررسی، ارزیابان با همکاری مستمر OpenAI و سازمان‌های مستقل ایمنی، به سطح دسترسی گسترده‌ای به زیرساخت‌های این شرکت دست یافتند.
دسترسی به سامانه‌های داخلی
ارزیابان به سامانه‌های داخلی OpenAI دسترسی داشتند
در جریان این ارزیابی آزمایشی، پژوهشگران خارج از شرکت اجازه یافتند به سامانه‌های داخلی OpenAI دسترسی پیدا کنند.
هر یک از دو مؤسسه یک پژوهشگر را به این بررسی اعزام کرد. این پژوهشگران به مخزن کد داخلی شرکت، مستندات و شماری از کارکنان فنی دسترسی داشتند.
بر اساس اطلاعیه METR و Redwood Research، پژوهشگران در تمام مدت حضورشان در محل با همراهی کارکنان شرکت فعالیت کردند و از دستگاه‌هایی استفاده کردند که OpenAI در اختیارشان گذاشته بود و هرگز از محوطه شرکت خارج نشدند.
اصلاح آسیب‌پذیری‌ها
ارزیابان چند آسیب‌پذیری جدید کشف کردند
ارزیابان چند آسیب‌پذیری جدید شناسایی کردند که یکی از آن‌ها می‌توانست به عامل‌های هوش مصنوعی امکان دهد صدها اقدام خود را از نظارت پنهان کنند.
با این حال، OpenAI اعلام کرده است که تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی مورد استفاده در محیط عملیاتی را برطرف کرده است.
ارزیابان گزارشی داخلی در ۶۱ صفحه در اختیار OpenAI قرار داده‌اند، اما هنوز اصلاحات اعلام‌شده را به‌طور مستقل بررسی و تأیید نکرده‌اند.
ارزیابی سامانه
بررسی آزمایشی بر سامانه نظارت بر رفتارهای ناهمسو متمرکز بود
ارزیابان در طول این بررسی آزمایشی سه‌هفته‌ای، سامانه داخلی OpenAI را که برای نظارت بر رفتارهای ناهمسو طراحی شده است، تحت آزمون‌های سخت‌گیرانه قرار دادند.
آن‌ها سامانه را بر اساس وضعیت موجود در ۲۱ ژوئیه و پیش از آن ارزیابی کردند و خاطرنشان کردند که OpenAI در طول اجرای این بررسی همچنان در حال گسترش سامانه بود.
این اقدام بخشی از تلاش گسترده‌تر آزمایشگاه‌های هوش مصنوعی، متخصصان و حتی دولت ترامپ برای ترویج ارزیابی مستقل به دست کارشناسان بیرونی است؛ رویکردی که هدف آن پیشبرد ایمن فناوری، بدون کند کردن روند توسعه آن، عنوان شده است.
امنیت اطلاعات
شرکت‌های هوش مصنوعی نگران افشای اطلاعات به رقبا هستند
با وجود مزایای ارزیابی مستقل، شرکت‌های هوش مصنوعی درباره حضور کارکنان مؤسسات ارزیاب در داخل مجموعه‌های خود نگرانی‌هایی دارند.
یکی از نگرانی‌ها این است که اطلاعات اختصاصی شرکت‌ها در اختیار رقبایشان قرار گیرد.
خبرگزاری رویترز نیز اوایل همین ماه به این نگرانی اشاره کرده بود؛ موضوعی که بر دشواری ایجاد توازن میان شفافیت و حفاظت از اطلاعات در صنعت هوش مصنوعی تأکید دارد.