ارزیابان مستقل در بررسی آزمایشی، نقص‌هایی در سامانه نظارت هوش مصنوعی OpenAI یافتند

www.straitstimes.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

در تمرینی که از ۲۱ ژوئیه تا ۱۱ اوت برگزار شد، پژوهشگران مستقل به سطح بالایی از دسترسی به زیرساخت داخلی OpenAI دست یافتند.
تمرینی که از ۲۱ ژوئیه تا ۱۱ اوت برگزار شد، دسترسی گسترده‌ای به زیرساخت داخلی OpenAI در اختیار پژوهشگران مستقل قرار داد. عکس: رویترز

نیویورک ــ دو نهاد ارزیابی ایمنی هوش مصنوعی، METR و Redwood Research، در جریان یک بررسی آزمایشی در اوایل سال جاری چند آسیب‌پذیری جدید در سامانه داخلی OpenAI شناسایی کردند. از جمله این آسیب‌پذیری‌ها، روشی بود که عامل‌های هوش مصنوعی می‌توانستند با استفاده از آن صدها اقدام خود را از دید سامانه نظارتی پنهان کنند.

این دو سازمان غیرانتفاعی فعال در حوزه ایمنی هوش مصنوعی روز ۲۲ اکتبر اعلام کردند که این آزمایش از ۲۱ ژوئیه تا ۱۱ اوت انجام شد و در قالب ارزیابی‌های موسوم به «ارزیابی تعبیه‌شده»، سطح بالایی از دسترسی به زیرساخت داخلی OpenAI را در اختیار پژوهشگران بیرونی قرار داد.

METR و Redwood هر کدام یک پژوهشگر را برای این بررسی اعزام کردند. در چارچوب توافقی که برای این کار در نظر گرفته شده بود، پژوهشگران به کدهای داخلی، مستندات و شماری از کارکنان فنی OpenAI دسترسی داشتند. هر دو پژوهشگر در محل با همراهی افراد مسئول فعالیت کردند و از دستگاه‌هایی استفاده کردند که OpenAI در اختیارشان گذاشته بود و به گفته این دو سازمان، «هرگز از محوطه خارج نشدند».

OpenAI به این دو نهاد ایمنی اعلام کرده است که از آن زمان، تمام آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی مورد استفاده در محیط عملیاتی را برطرف کرده است؛ با این حال، METR و Redwood گفتند که این اصلاحات را مستقلاً راستی‌آزمایی نکرده‌اند.

آزمایشگاه‌های هوش مصنوعی، کارشناسان و دولت دونالد ترامپ، ارزیابی مستقل به‌دست بررسی‌کنندگان بیرونی را راهی برای پیشبرد ایمن این فناوری، بدون کند کردن روند توسعه آن، معرفی کرده‌اند.

با این حال، شرکت‌های هوش مصنوعی نگران‌اند کارکنان نهادهای ارزیاب که در داخل شرکت‌ها فعالیت می‌کنند، اطلاعات اختصاصی را در اختیار رقبای تجاری قرار دهند؛ رویترز اوایل همین ماه این نگرانی را گزارش کرده بود.

OpenAI گزارش داخلی کاملی در ۶۱ صفحه دریافت کرد، اما METR و Redwood گفتند توافق کرده‌اند فقط خلاصه‌ای کلی از یافته‌ها را به‌صورت عمومی منتشر کنند و حق حذف اطلاعات حساس را نیز به OpenAI داده‌اند.

این دو نهاد برخلاف برخی ارزیابی‌های پیشین، اجازه نداشتند موارد حذف‌شده از گزارش را مستقلاً افشا کنند. با این حال، اعلام کردند انتظار دارند ارزیابی‌های آینده با شفافیت بیشتری همراه باشد.

پژوهشگران همچنین راهکاری بالقوه شناسایی کردند که می‌توانست به عامل‌های Codex متعلق به OpenAI امکان دهد محدودیت‌های امنیتی را دور بزنند و با تمام سطح دسترسی کاربران خود اقدام کنند.

ارزیابان سامانه نظارتی را بر اساس وضعیت آن در ۲۱ ژوئیه و پیش از آن بررسی کردند و خاطرنشان کردند که OpenAI در طول اجرای آزمایش، در حال گسترش این سامانه بود.

OpenAI اعلام کرد: «یافته‌ها به تقویت سازوکارهای حفاظتی هم‌زمان با گسترش سامانه کمک کردند و در شکل‌گیری پژوهش‌های مشترک آینده با METR و دیگر ارزیابان مستقل نیز مؤثر خواهند بود.»

رویترز

منابع دیگر این خبر