ابزارهای تولید تصویر هوش مصنوعی OpenAI و گوگل در آزمون‌های ایمنی برهنگی ناکام ماندند
یادداشت | نی می‌گی • ۱۶ اکتبر ۲۰۲۶
OpenAI و گوگل با پرسش‌های تازه‌ای درباره ابزارهای تولید تصویر هوش مصنوعی خود روبه‌رو شده‌اند؛ پس از آنکه پژوهشگران توانستند چند مدل را فریب دهند تا تصاویری برهنه تولید کنند؛ تصاویری که سامانه‌های ایمنی آنها باید مانع تولیدشان می‌شدند.
این یافته‌ها خطر احتمالی سوءاستفاده از عکس افراد برای ساخت دیپ‌فیک‌های جنسی بدون رضایت آنها را برجسته می‌کند. با این حال، این مطالعه هیچ قربانی واقعی را مستند نکرده است.
به گزارش Startup Fortune، پژوهشگران امنیت سایبری در شرکت White Circle بررسی کردند که آیا ابزارهای تولید تصویر این دو شرکت می‌توانند در برابر تلاش‌های هدفمند برای بی‌اثر کردن محدودیت‌هایشان مقاومت کنند یا نه. نتایج، مشکلی غیرمنتظره را نشان داد: برخی از مدل‌هایی که اخیراً عرضه شده‌اند، عملکرد ضعیف‌تری نسبت به نسل‌های قبلی خود داشتند.
مدل Nano Banana 2.1 گوگل در ۲۰.۷ درصد از تلاش‌های حمله پژوهشگران ناکام ماند، در حالی که این رقم برای Nano Banana 2 برابر با ۹.۵ درصد بود.
مدل GPT-Image-2.5-Flare از OpenAI نیز در ۷.۸ درصد موارد موفق به تولید محتوای ممنوع شد؛ رقمی که برای GPT-Image-2 برابر با ۳.۳ درصد بود. مدل قدیمی‌تر DALL·E 3 شرکت OpenAI نیز نرخ ۱۳.۳ درصدی را ثبت کرد.
این درصدها حاصل آزمون تخصصی پژوهشگران هستند و نشان‌دهنده احتمال مواجهه کاربران عادی با تصاویر صریح و جنسی نیستند.
این تیم یک روش خودکار به نام RISE توسعه داد که راه‌های مختلف دور زدن محدودیت‌های تولید تصویر را بررسی می‌کند. برخلاف روش‌هایی که با تغییر مکرر تک‌تک درخواست‌ها تلاش می‌کنند به نتیجه برسند، RISE به دنبال راهبردهای گسترده‌تری است که بتوانند چندین تلاش مختلف را امکان‌پذیر کنند.
پژوهشگران سپس تصاویر تولیدشده را با استفاده از معیارهایی ارزیابی کردند که بر اساس ارزیابی داوران انسانی تنظیم شده بود. زمانی یک حمله موفق محسوب می‌شد که دست‌کم یکی از سه تصویر تولیدشده قوانین مربوط به برهنگی را نقض می‌کرد. این یافته‌ها در شرایطی منتشر شده‌اند که محتوای جنسی تولیدشده با هوش مصنوعی و احتمال سوءاستفاده از آن بیش از پیش زیر ذره‌بین قرار گرفته است.
مطالعه منتشرشده White Circle مشخص نمی‌کند چرا مدل‌های جدیدتر آسیب‌پذیری بیشتری داشته‌اند. تغییرات در فناوری تولید تصویر یا سازوکارهای تعدیل و نظارت بر محتوا می‌تواند بخشی از این تفاوت را توضیح دهد.
این پژوهش همچنین پرسشی را برای شرکت‌هایی که چنین سامانه‌هایی را توسعه می‌دهند مطرح می‌کند: چگونه می‌توانند آسیب‌پذیری‌ها را پیش از آنکه افراد از آنها سوءاستفاده کنند، شناسایی کنند؟
در حال حاضر، نتایج نشان می‌دهد حتی ابزارهای پرکاربرد تولید تصویر با هوش مصنوعی نیز ممکن است در صورت مواجهه با حملات هدفمند، محتوای ممنوع تولید کنند.