دامنه ساختگی در یکی از مهارت‌های رسمی OpenAI، خطرات زنجیره تأمین هوش مصنوعی را آشکار کرد

www.csoonline.com

انتشار در منبع: انتشار در سایت ما:

مقاله اصلی · English

خطوط سیاه‌وسفید شعاعی با یک بیضی سفید در مرکز
اعتبار تصویر: لوگان وُس / Unsplash

پژوهشگران یک آسیب‌پذیری کم‌سابقه در زنجیره تأمین را در مخزن رسمی مهارت‌های OpenAI کشف کرده‌اند؛ مخزنی که برای آموزش نحوه کار عوامل هوش مصنوعی با پلتفرم‌ها و سرویس‌های مختلف استفاده می‌شود.

OpenAI یک مخزن رسمی در گیت‌هاب برای این مهارت‌ها نگهداری می‌کند. از آنجا که این مؤلفه‌ها به‌عنوان مهارت‌های رسمی معرفی می‌شوند و معمولاً از سوی ارائه‌دهندگان تأییدشده عرضه یا بررسی شده‌اند، کاربران ممکن است به‌طور پیش‌فرض به آن‌ها اعتماد کنند.

مشکل از یکی از مهارت‌های OpenAI ناشی می‌شد که برای آموزش روش بهینه استقرار برنامه‌ها روی پلتفرم Render طراحی شده بود. این مهارت به برنامه‌های عملیاتی دستور می‌داد توکن‌های خود را به دامنه‌ای ثبت‌نشده با نام render-internal.com ارسال کنند.

پس از کشف این نقص، پژوهشگران آزمایشگاه تحقیقاتی شرکت AIR Security دامنه مذکور را ثبت کردند و آن را به یک چاله سیاه شبکه‌ای غیرفعال و صرفاً شنودگر هدایت کردند؛ نقطه‌ای که برای دریافت و ثبت ارتباطات ورودی استفاده می‌شود، بدون آنکه خود به فعالیت مخرب دست بزند. این نقطه شروع به دریافت توکن‌ها و درخواست‌های API از برنامه‌های واقعی در محیط عملیاتی کرد.

آزمایش این مهارت با Codex نیز تأیید کرد که دامنه مذکور به کد واقعی برنامه‌ها راه پیدا می‌کند و به‌عنوان گزینه پیش‌فرض در آن‌ها قرار می‌گیرد.

AIR Security موضوع را به OpenAI و Render اطلاع داد. این مشکل در اواسط اوت برطرف شد و پس از آن، پژوهشگران توانستند گزارش فنی این آسیب‌پذیری را منتشر کنند. این نقص در پی یک تغییر کد در ماه ژانویه وارد پروژه شده بود.

Render تمام ارجاع‌ها به render-internal.com را از این مهارت حذف کرد و OpenAI نیز افزونه مربوط به Render را از مخزن openai/plugins کنار گذاشت. همچنین دامنه به مالکیت امن Render منتقل شد.

در این مورد، یک دامنه ساختگی در مهارتی گزینش‌شده و رسمی گنجانده شده بود و برنامه‌های مستقرشده آن را مانند یک سرویس داخلی مورد اعتماد تلقی می‌کردند. در نتیجه، اسرار و اطلاعات محرمانه این برنامه‌ها می‌توانست در دسترس هر کسی قرار بگیرد که آن دامنه را ثبت می‌کرد.

خطرات زنجیره تأمین

اگر پژوهشگران زودتر از مهاجمان این نقص در مهارت Render را کشف نکرده بودند، مهاجمان می‌توانستند از دامنه‌ای که کسی برای ثبت آن اقدام نکرده بود سوءاستفاده کنند و حمله‌ای علیه زنجیره تأمین به راه بیندازند.

نیف هافمن، هم‌بنیان‌گذار و مدیر ارشد فناوری AIR Security، گفت این رخداد نشان می‌دهد حتی مهارت‌های رسمی هوش مصنوعی که فروشندگان منتشر می‌کنند نیز ممکن است حاوی خطا، فرض‌های ناایمن، وابستگی‌های مسئله‌ساز یا آسیب‌پذیری‌هایی باشند که به خارج‌شدن توکن‌های محرمانه منجر شوند.

هافمن گفت: «مهارت‌ها باید مانند هر بخش دیگری از زنجیره تأمین نرم‌افزار بررسی و پایش شوند تا اگر در یکی از آن‌ها آسیب‌پذیری پیدا شد، بتوان آن را وصله کرد یا از دسترس خارج ساخت.»

مهاجمان بیش از پیش به دنبال راه‌های تازه‌ای برای دست‌کاری فایل‌های دستورالعمل هوش مصنوعی، از جمله مهارت‌ها، با اهداف مخرب هستند. آن‌ها همچنین در پی سرقت یا سوءاستفاده از اعتبارنامه‌های هوش مصنوعی‌اند تا بتوانند از هوش مصنوعی برای پیشبرد فعالیت‌های خود استفاده کنند.

در نمونه‌ای دیگر که اخیراً رخ داد، یک مهارت آلوده هوش مصنوعی در اکوسیستم آزاد مهارت‌های عامل‌های هوش مصنوعی، یعنی skills.sh، با جعل املایی نام سرویس‌های پرطرفدار مرتبط با هوش مصنوعی Paperclip و Browser Use، توانست ۱٫۷ میلیون بار نصب شود. هدف این مهارت آن بود که به‌جای انجام وظیفه مورد انتظار، عامل‌های هوش مصنوعی را به نصب یک بدافزار سرقت اعتبارنامه از گیت‌هاب هدایت کند.