پژوهش جدید: ابزارهای تولید تصویر OpenAI و گوگل همچنان با دور زدن محدودیت‌های ایمنی، تصاویر برهنه تولید می‌کنند
شرکت وایت سرکل (White Circle) با استفاده از روشی برای دور زدن محدودیت‌های ایمنی هوش مصنوعی به نام RISE، سه مدل تولید تصویر DALL-E 3، GPT-Image-2 و Nano Banana 2 را آزمایش کرد. این روش توانست در حدود ۱۳ درصد تلاش‌ها از فیلترهای جلوگیری از تولید محتوای جنسی صریح عبور کند. نتایج همچنین نشان داد مدل‌های جدیدتر در برابر این حملات آسیب‌پذیرتر از نسخه‌های قدیمی هستند.
عدد ۱۳ درصد مهم‌ترین یافته‌ای است که وایت سرکل بر آن تأکید دارد. این شرکت با استفاده از روش RISE، مخفف «آزمون امنیتی تهاجمی از طریق تکامل تکرارشونده راهبردها»، توانست مدل‌های DALL-E 3 و GPT-Image-2 متعلق به OpenAI و مدل Nano Banana 2 گوگل را وادار کند با وجود فیلترهایی که مشخصاً برای جلوگیری از چنین خروجی‌هایی طراحی شده‌اند، محتوای جنسی صریح و ممنوع تولید کنند. وب‌سایت آرس تکنیکا (Ars Technica) روز ۱۴ اکتبر نتایج این پژوهش را گزارش کرد. به گفته وایت سرکل، اجرای این روش نه به یک مدل پیشرفته اختصاصی نیاز داشت و نه به تخصص عمیق در هوش مصنوعی؛ بلکه بر راهبردهایی برای طراحی دستورهای متنی متکی بود که برخلاف ترفندهای موردی، قابلیت استفاده در مدل‌های مختلف را دارند.
اما یافته‌ای که باید بیش از نرخ موفقیت ۱۳ درصدی، OpenAI و گوگل را نگران کند، عملکرد نسخه‌های جدیدتر این ابزارهاست. هنگامی که وایت سرکل همین روش را روی ChatGPT Images 2.5 و Nano Banana 2.1 آزمایش کرد، مشخص شد هر دو مدل به‌مراتب آسیب‌پذیرتر از نسخه‌هایی هستند که جایگزینشان شده‌اند. به بیان دیگر، فیلترهای ایمنی در نسل جدید این ابزارها نه‌تنها بهبود نیافته‌اند، بلکه عملکرد ضعیف‌تری پیدا کرده‌اند.
اهمیت این الگو در آن است که با اطمینان‌بخشی چندساله هر دو شرکت در تضاد قرار می‌گیرد. OpenAI و گوگل بارها بر این موضوع تأکید کرده‌اند که با افزایش توانایی مدل‌ها در هر نسخه جدید، سازوکارهای ایمنی نیز تقویت می‌شوند. بااین‌حال، نتایج وایت سرکل خلاف این ادعا را نشان می‌دهد. هرچه مدل‌های تولید تصویر در پیروی از دستورهای پیچیده و بازآفرینی جزئیات واقع‌گرایانه توانمندتر می‌شوند، توانایی بیشتری نیز برای اجرای دستورهای چندلایه و غیرمستقیمی پیدا می‌کنند که با هدف دور زدن فیلترهای محتوا طراحی شده‌اند. افزایش توانایی یک مدل لزوماً به معنای کنترل‌پذیری بیشتر آن نیست و این پژوهش نمونه روشنی از شکاف میان این دو ویژگی است.
وایت سرکل قصد دارد مجموعه ابزارهای آزمایش RISE را به‌صورت متن‌باز منتشر کند و نتایج پژوهش خود را در کنفرانس NeurIPS 2026، بزرگ‌ترین کنفرانس پژوهشی حوزه هوش مصنوعی، ارائه دهد. اهمیت این تصمیم روشن است: هنگامی که یک روش آزمون امنیتی تهاجمی مانند RISE در دسترس عموم قرار بگیرد، هم شرکت‌هایی که می‌خواهند آسیب‌پذیری‌های شناسایی‌شده را برطرف کنند و هم افرادی که قصد سوءاستفاده از آن‌ها را دارند، هم‌زمان به دستورالعمل یکسانی دسترسی پیدا می‌کنند.
این ضعف‌های امنیتی را نمی‌توان جدا از پیامدهای واقعی آن‌ها بررسی کرد. بنیاد نظارت بر اینترنت (Internet Watch Foundation) تنها در نیمه نخست سال ۲۰۲۶، تعداد ۶٬۳۱۰ تصویر تولیدشده با هوش مصنوعی را شناسایی کرد که از نظر قانونی در دسته محتوای سوءاستفاده جنسی از کودکان قرار می‌گرفتند. این رقم حدود ۴۰ درصد بیشتر از مجموع موارد شناسایی‌شده در سراسر سال ۲۰۲۵ بود. چنین آماری صرفاً یک داده جانبی نیست، بلکه هزینه واقعی همان نوع ناکارآمدی فیلترهای ایمنی را نشان می‌دهد که وایت سرکل اکنون در محصولات دو شرکت از برجسته‌ترین آزمایشگاه‌های هوش مصنوعی جهان به نمایش گذاشته است.
این اتفاق یک مورد استثنایی نیست
OpenAI و گوگل تنها شرکت‌های بزرگ هوش مصنوعی نیستند که با چنین مشکلاتی روبه‌رو شده‌اند و بررسی نمونه‌های دیگر نیز الگوی قابل‌توجهی را آشکار می‌کند. شرکت xAI متعلق به ایلان ماسک بخش زیادی از ماه‌های ابتدایی سال ۲۰۲۶ را زیر فشار انتقادها گذراند؛ پس از آنکه مشخص شد ابزار Grok Imagine این شرکت، که با یک حالت ازپیش‌تنظیم‌شده به نام «Spicy» عرضه شده بود، برای ساخت دیپ‌فیک‌های جنسی از افراد واقعی، از جمله تیلور سوئیفت، مورد استفاده قرار گرفته است. رسانه‌های متعددی سازوکارهای حفاظتی این ابزار را بسیار محدود توصیف کردند. دادستان‌های کل ایالت‌های پنسیلوانیا، نیوجرسی و کالیفرنیا تحقیقاتی را آغاز کردند و کمیسیون اروپا نیز مستقیماً شرکت X را به دلیل ارائه این قابلیت محکوم کرد. گزارش‌های آن زمان حاکی از آن بود که ماسک پیش از عرضه محصول، تیم‌های توسعه را برای کاهش محدودیت‌های ایمنی تحت فشار قرار داده بود؛ تصمیمی که پس از آن شماری از کارکنان ارشد بخش ایمنی استعفا کردند.
اما تفاوت یافته‌های وایت سرکل با ماجرای xAI این است که OpenAI و گوگل عامدانه محدودیت‌های ایمنی خود را کاهش نداده بودند. فیلترهای این دو شرکت دقیقاً برای جلوگیری از تولید چنین محتوایی طراحی شده بودند، اما یک پژوهشگر به‌تنهایی توانست در حدود یک مورد از هر هشت تلاش، آن‌ها را دور بزند. توضیح دادن یا کم‌اهمیت جلوه دادن چنین مشکلی برای صنعت هوش مصنوعی دشوارتر است. این بار مسئله شرکتی نیست که آگاهانه تصمیم گرفته برای کاهش هزینه یا سرعت بخشیدن به عرضه محصول، از استانداردهای ایمنی چشم‌پوشی کند؛ مسئله این است که دو تیم از برخوردارترین گروه‌های ایمنی هوش مصنوعی از نظر منابع مالی، سازوکارهای حفاظتی‌ای را در محصولات خود عرضه کرده‌اند که در عمل مقاومت کافی ندارند.
برای بنیان‌گذارانی که محصولات خود را بر پایه رابط‌های برنامه‌نویسی تولید تصویر OpenAI یا گوگل توسعه می‌دهند، این موضوع صرفاً نکته‌ای فرعی در بحث رعایت مقررات نیست. تولید تصاویر خصوصی و جنسی افراد بدون رضایت آن‌ها به یکی از محورهای اصلی مناقشات حقوقی پرشتاب تبدیل شده است. طی دو سال گذشته، چندین ایالت آمریکا قوانین مدنی و کیفری ویژه‌ای برای مقابله با دیپ‌فیک تصویب کرده‌اند. هر پلتفرمی که بر پایه یک API آسیب‌پذیر در برابر تولید چنین محتوایی ساخته شده باشد، خود نیز با خطرات حقوقی واقعی روبه‌رو می‌شود؛ فارغ از اینکه تصویر را مدل کدام شرکت تولید کرده است. سرمایه‌گذارانی که شرکت‌های هوش مصنوعی وابسته به این APIها را ارزیابی می‌کنند، اکنون یک داده مشخص برای سنجش ریسک در اختیار دارند: نرخ موفقیت ۱۳ درصدی در دور زدن فیلتر محتوای جنسی صریح، خطایی ناچیز و قابل چشم‌پوشی نیست، بلکه یک مسئولیت بالقوه حقوقی و مالی است که باید در محاسبات لحاظ شود.
یک پژوهشگر، بدون دسترسی ویژه یا برخورداری از توان پردازشی پیشرفته، توانست سازوکارهای ایمنی سه مدل تولید تصویر فعال و در دسترس کاربران را تقریباً در یکی از هر هشت تلاش دور بزند.