پژوهشگران می‌گویند مدل‌های جدید هوش مصنوعی OpenAI و گوگل به‌راحتی برای ساخت تصاویر برهنه فریب می‌خورند
پژوهشگران حوزه ایمنی هشدار می‌دهند حجم زیادی از محتوای صریح تولیدشده با هوش مصنوعی بدون کنترل کافی در حال انتشار است، در حالی که قانون‌گذاران هنوز اقدام مؤثری برای متوقف کردن آن انجام نداده‌اند.
مطالعه‌ای که با مشارکت پژوهشگران گوگل و با بررسی کاربران اینترنت در آمریکا، استرالیا و بریتانیا انجام شد، نشان داد این محتوای غیررضایتی معمولاً از طریق پیام‌های متنی و مستقیم یا در فضای ذخیره‌سازی ابری خصوصی منتشر می‌شود؛ مکان‌هایی که احتمال شناسایی یا گزارش شدن آن‌ها کمتر است. پژوهشگران گوگل نتیجه گرفتند که به همین دلیل، «مهم‌ترین نقطه مداخله» همچنان منبع تولید این محتواست؛ یعنی ابزارهای هوش مصنوعی آسیب‌زایی که برای ساخت تصاویر جنسی جعلی استفاده می‌شوند.
با این حال، آزمایش‌های تیم‌های موسوم به «رد تیم» در ماه‌های اخیر نشان می‌دهد هم‌زمان با افزایش توانایی برخی از مهم‌ترین مولدهای تصویر هوش مصنوعی گوگل و OpenAI، توانایی آن‌ها در جلوگیری از تولید خروجی‌های صریح ممکن است کاهش یافته باشد.
هشدار اصلی از سوی پژوهشگران White Circle مطرح شده است؛ یک شرکت عام‌المنفعه که توسط مدیران و پژوهشگران ارشد از Anthropic، DeepMind، Hugging Face و OpenAI حمایت می‌شود. این شرکت پس از آن شکل گرفت که مدیرعامل آن، دنیس شیلوف، در اکتبر ۲۰۲۴ یکی از شناخته‌شده‌ترین روش‌های عمومی دور زدن محدودیت‌های مدل‌های هوش مصنوعی را منتشر کرد. White Circle با هدف شکستن مدل‌ها برای انجام آزمایش‌های جامع ایمنی فعالیت می‌کند و به شرکت‌ها کمک می‌کند تهدیدهای سیستم‌های پیشرفته هوش مصنوعی را که همیشه مطابق انتظار رفتار نمی‌کنند، شناسایی و کاهش دهند.
آزمایش میزان توانایی مدل‌های تبدیل متن به تصویر در مسدود کردن دسته‌های ممنوعه محتوا، یکی از محورهای اصلی تحقیقات White Circle است و شیلوف معتقد است یافته‌های اخیر این گروه آن‌قدر «هولناک» است که باید با عموم در میان گذاشته شود.
دور زدن محدودیت‌ها به‌سادگی امکان‌پذیر است
در یک پیش‌چاپ پژوهشی که ماه گذشته و کمتر مورد توجه قرار گرفت، پژوهشگران White Circle ضعف‌های سازوکارهای حفاظتی DALL·E 3، Nano Banana 2 گوگل و GPT-Image-2 را بررسی کردند. آن‌ها در اطلاعیه‌ای توضیح دادند که «با استفاده از ابزارهای آماده موجود در اینترنت که هر کسی می‌تواند آن‌ها را دانلود کند و با ارسال درخواست‌های API، White Circle توانست با روش حمله جدید فیلترهای ایمنی را دور بزند» و در حدود ۱۳ درصد موارد محتوای صریح تولید کند.
White Circle هشدار داد: «نکته مهم این است که هیچ‌یک از این درخواست‌ها به مدل‌های اختصاصی یا مدل‌های پیشرفته هوش مصنوعی نیاز نداشتند»، بنابراین برای اجرای این حملات به تخصص هوش مصنوعی نیاز نیست.
پژوهشگران خروجی‌ها را بررسی کردند تا نرخ موفقیت دور زدن محدودیت‌ها را تأیید کنند؛ نرخی که White Circle آن را «بالاترین میزان در میان هر روشی که با همین استاندارد آزمایش شده است» توصیف کرد. آن‌ها نتیجه گرفتند که در زمانی که ایمنی هوش مصنوعی بیش از هر زمان دیگری زیر ذره‌بین قرار دارد، دفاع‌هایی که آزمایشگاه‌های بزرگ ساخته‌اند بسیار ضعیف‌تر از چیزی است که خود آن‌ها اعلام می‌کنند.
White Circle با انتشار چنین پژوهش‌هایی تلاش می‌کند به‌عنوان ارزیاب خارجی آزمایشگاه‌های پیشرو هوش مصنوعی عمل کند. این شرکت قصد دارد کل زنجیره حمله را متن‌باز کند تا سازندگان مدل‌ها بتوانند میزان واقعی آسیب‌پذیری را درک کرده و حفاظت‌های قوی‌تری ایجاد کنند. این پژوهش در ماه نوامبر در کنفرانس NeurIPS 2026 ارائه خواهد شد؛ اقدامی که می‌تواند فشار بیشتری بر گوگل و OpenAI وارد کند.
شیلوف به Ars گفت White Circle یافته‌های خود را از طریق «ارتباطات متقابل» با برخی آزمایشگاه‌های پیشرو هوش مصنوعی در میان گذاشته است، اما گوگل و OpenAI به درخواست Ars برای اظهار نظر درباره آسیب‌پذیری‌های مدل‌هایشان پاسخ ندادند.
در همین حال، OpenAI و گوگل مدل‌های جدیدی با نام‌های ChatGPT Images 2.5 و Nano Banana 2.1 عرضه کرده‌اند و White Circle به Ars گفت آزمایش ایمنی درخواست‌ها با همان روش نشان داده است که «هر دو مدل در مقایسه با نسخه‌های قبلی به‌طور قابل‌توجهی راحت‌تر قابل شکستن هستند».
هیچ‌یک از دو شرکت پس از دریافت این یافته‌های جدید از سوی Ars پاسخی ارائه نکردند.
شیلوف به Ars گفت اینکه روش حمله White Circle می‌تواند سازوکارهای دفاعی مدل‌های پیشرفته را در حوزه‌هایی مانند محتوای صریح که شناسایی آن‌ها ظاهراً آسان است، شکست دهد، برای سیستم‌های دفاعی پیچیده‌تر که برای جلوگیری از رفتارهای ناخواسته دیگر مانند هک کردن در حال توسعه هستند، نشانه خوبی نیست.
White Circle در توضیح این موضوع گفت: «فرضیه کاری ما این است که یا مدل‌های جدیدتر پیچیده‌تر شده‌اند و توانایی تولید دامنه گسترده‌تری از محتوا را دارند، یا اینکه ایمنی در اولویت پایین‌تری نسبت به توانایی مدل‌ها قرار گرفته است.»
شیلوف گفت White Circle همچنین در مراحل اولیه گفت‌وگو با مقام‌های دولتی درباره آزمایش‌های ایمنی شخص ثالث قرار دارد؛ آزمایش‌هایی که به باور او باید اجباری شوند. حسابرسی‌های مستقل اجباری می‌توانند شرکت‌ها را وادار کنند اهمیت بیشتری به آزمایش ایمنی بدهند؛ حوزه‌ای که به گفته برخی تحلیلگران، زمانی که شرکت‌های هوش مصنوعی منابع خود را بیشتر صرف توان پردازشی و زیرساخت می‌کنند، معمولاً در اولویت پایین‌تری قرار می‌گیرد.
شیلوف به Ars گفت: «آن‌ها باید سرمایه‌گذاری بسیار بیشتری روی اقدامات ایمنی و امنیتی پیرامون مدل‌هایشان انجام دهند. اما از نظر ما، به نظر می‌رسد واقعاً چنین کاری انجام نمی‌دهند.»
روش حمله «RISE» محدودیت‌های مدل‌ها را به‌صورت تکراری دور می‌زند
برای شناسایی روش‌های دور زدن محدودیت که «قابل استفاده مجدد و قابل انتقال» میان مدل‌های مختلف هستند، White Circle فقط یک درخواست را در هر بار آزمایش نکرد. پژوهشگران به دنبال «الگوهایی بودند که در چندین درخواست و سناریو کار می‌کنند» تا راهبردهای حمله‌ای قابل تکرار را در مدل‌های پیشرو پیدا کنند. آن‌ها اشاره کردند که Midjourney آزمایش نشد، زیرا «API عمومی مناسبی برای ارزیابی کنترل‌شده ندارد».
این تیم روش جدید حمله خود را «Red-teaming via Iterative Strategy Evolution» یا RISE نام‌گذاری کرده است. این روش بر دو بخش متکی است: یک مدل مهاجم که روش‌های دور زدن محدودیت را تولید می‌کند و یک مدل داور که بررسی می‌کند آیا خروجی شامل محتوای ممنوعه است یا نه.
شیلوف به Ars گفت: «کل این زنجیره روی مدل‌های در دسترس عمومی ساخته شده است.» مدل مهاجم یک مدل Qwen دانلودشده از Hugging Face است و مدل داور Gemini 3.8 Flash است.
او افزود: «برای شکستن دفاع‌های یک مدل پیشرفته، لازم نیست خودتان مدل پیشرفته داشته باشید؛ این موضوع بسیار جالب است.»
شیلوف گفت زمان زیادی صرف شده تا اطمینان حاصل شود مدل داور می‌تواند محتوای صریح را به‌درستی شناسایی کند. دیمیتری خارلاپنکو، مهندس پژوهش White Circle، نیز به Ars گفت حوزه رد تیمینگ برای آزمایش مولدهای تصویر «بسیار ضعیف استانداردسازی شده» است و «واقعاً هیچ مقاله‌ای» معیارهای مشخصی برای آن تعیین نکرده است. به گفته او، این حوزه همچنان با «مشکلات جدی در گزارش‌دهی» روبه‌رو است؛ مسئله‌ای که برای White Circle نگران‌کننده است، زیرا شرکت‌های هوش مصنوعی برای تصاحب بازار، مدل‌های جدید و جذاب‌تر عرضه می‌کنند.
شیلوف توضیح داد هدف این پژوهش برای White Circle ساخت مدل‌های پیچیده‌تر برای شبیه‌سازی حملات علیه مدل‌های دیگر بوده است. پیش‌چاپ پژوهش می‌گوید چنین رویکردی می‌تواند «به مدافعان کمک کند آسیب‌پذیری‌ها را پیش از سوءاستفاده مخرب شناسایی و برطرف کنند».
در شرایط ایده‌آل، شیلوف معتقد است شرکت‌های هوش مصنوعی نباید فقط با آزمایش ایمنی خارجی اجباری روبه‌رو شوند، بلکه باید نظارت شخص ثالث نیز داشته باشند؛ مشابه سازوکاری که برای جلوگیری از تهدیدهای هسته‌ای استفاده می‌شود.
به گفته او، در این صورت نهادهایی مانند White Circle شاید بتوانند ائتلافی تشکیل دهند که تهدیدهای هوش مصنوعی را در زمان واقعی و بدون سوگیری شناسایی کند. شیلوف اشاره کرد یکی از مشکلات نوظهور اکوسیستم هوش مصنوعی این است که تقریباً هر فردی که کار مهمی در حوزه ایمنی انجام می‌دهد، احتمالاً با آزمایشگاه‌های بزرگ قرارداد می‌بندد و این موضوع ممکن است استقلال کار او را کاهش دهد.
White Circle پیش‌تر با آزمایشگاه‌های پیشرو همکاری داشته است. این شرکت در برنامه جایزه کشف آسیب‌پذیری Anthropic شرکت کرده بود، اما در نهایت آن برنامه را «بسیار محدود در هدف» توصیف کرد.
White Circle به Ars گفت: «این برنامه بر دور زدن‌های عمومی محدودیت‌ها در حوزه‌هایی تمرکز دارد که خودشان اهمیت بیشتری برای آن قائل هستند و با تعریف‌های خاص خودشان مشخص شده‌اند.»
این شرکت افزود پژوهشی مانند مقاله اخیر RISE «قطعاً» در چارچوب آن برنامه قرار نمی‌گرفت و انجام چنین کاری در داخل Anthropic ممکن بود توانایی White Circle برای انتشار عمومی نتایج را محدود کند.
Anthropic پیشنهاد کرده است که ارزیاب‌های ایمنی هوش مصنوعی شخص ثالث را در آزمایشگاه‌های خود مستقر کند؛ اقدامی که White Circle می‌گوید می‌تواند امکان فعالیت در سطحی بسیار بالاتر از برنامه جایزه آسیب‌پذیری را فراهم کند. با این حال، مردم ممکن است همیشه نتوانند به‌طور دقیق این فعالیت‌ها را دنبال کنند. طبق گزارش رویترز، OpenAI و Anthropic خواستار استفاده از توافق‌نامه‌های محرمانگی محدودکننده برای ارزیابان خارجی شده‌اند تا از افشای اسرار تجاری جلوگیری شود.
White Circle به Ars گفت حاضر نیست توافق‌نامه‌های محرمانگی محدودکننده‌ای را امضا کند که مانع انتشار عمومی یافته‌های مهم شود؛ بنابراین اگر Anthropic چنین شرطی بگذارد، این همکاری احتمالاً شکل نخواهد گرفت.
افزایش تصاویر برهنه تولیدشده با هوش مصنوعی و محتوای سوءاستفاده جنسی از کودکان
افرادی که قصد تولید تصاویر خصوصی جنسی بدون رضایت (NCII) و محتوای سوءاستفاده جنسی از کودکان (CSAM) با هوش مصنوعی را دارند، به مدل‌های پیشرفته نیاز ندارند و اغلب از برنامه‌هایی استفاده می‌کنند که برای «برهنه‌سازی» تصاویر طراحی شده‌اند. اما پژوهش گوگل نشان داد ۲۰ درصد از کاربران اینترنت که اعتراف کرده‌اند تصاویر برهنه با هوش مصنوعی ساخته‌اند، این کار را «برای سرگرمی» یا «به شوخی» انجام داده‌اند و نزدیک به یک‌سوم فقط «در حال آزمایش فناوری» بوده‌اند. به همین دلیل، آسان بودن شکستن دفاع‌های مدل‌های در دسترس اهمیت دارد. پژوهش گوگل تأکید کرد حفاظت‌ها باید اجباری باشند تا «مسیر ورود به سوءاستفاده» برای افرادی که ممکن است با موانع فنی از این کار منصرف شوند، بسته شود.
پژوهش گوگل افزود: «مسئولیت مهمی نیز بر دوش توسعه‌دهندگان است تا سازوکارهای حفاظتی قوی در سطح مدل و نشانگرهای منشأ محتوا را اجرا کنند تا از تولید اولیه و انتشار بعدی تصاویر جنسی مصنوعی جلوگیری شود.»
هفته گذشته، بنیاد Internet Watch Foundation (IWF) هشدار داد پس از آنکه تحلیلگران متخصص «تصاویر واقع‌گرایانه‌تر تولیدشده با هوش مصنوعی از سوءاستفاده جنسی کودکان را در نیمه نخست امسال بیشتر از کل سال ۲۰۲۵» پیدا کردند، اقدام فوری لازم است. در مجموع، در شش ماه نخست سال ۲۰۲۶ تعداد ۶۳۱۰ تصویر هوش مصنوعی که با تعریف قانونی CSAM مطابقت داشتند شناسایی شد؛ رقمی که حدود ۴۰ درصد بیشتر از کل یافته‌های سال گذشته است.
این سازمان خیریه مستقر در بریتانیا محتوای سوءاستفاده جنسی از کودکان را در سراسر جهان پایش می‌کند و خط تلفنی حمایتی برای قربانیان دارد. سخنگوی IWF به Ars گفت در بریتانیا این سازمان خواستار چارچوب ایمنی از سوی قانون‌گذاران است تا شرکت‌های هوش مصنوعی موظف شوند از استفاده فناوری خود برای تولید CSAM جلوگیری کنند.
IWF معتقد است تا آن زمان، نقش نهادهای شخص ثالث مانند White Circle برای «نشان دادن نقاط شکست سازوکارهای حفاظتی شرکت‌ها» اهمیت دارد.
سخنگوی IWF گفت: «تحلیلگران ما دیده‌اند که پیشرفت‌های هوش مصنوعی چگونه تولید تصاویر سوءاستفاده جنسی از کودکان را با کمترین تلاش ممکن می‌کند، نیاز به تخصص فنی را از بین می‌برد و موانع ورود را به شکل چشمگیری کاهش می‌دهد. ابزارهای هوش مصنوعی می‌توانند محتوای مجرمانه را بازتولید و تقویت کنند و ساخت و انتشار گسترده محتوای آسیب‌زا را سرعت ببخشند. هر مانع یا مرحله‌ای که بتوان برای سخت‌تر کردن سوءاستفاده از این ابزارها ایجاد کرد، گامی مثبت است.»
IWF معتقد است همان‌طور که ورودی خارجی می‌تواند به بهبود فیلترها کمک کند، شرکت‌های فناوری نیز باید همکاری نزدیک‌تری با کارشناسان و مدافعان حقوق قربانیان داشته باشند تا مدل‌ها را برای مقابله بهتر با CSAM تولیدشده توسط هوش مصنوعی بررسی کنند.
سخنگوی IWF گفت: «ارزیابی CSAM کاری بسیار تخصصی است که به آموزش کارشناسی و حمایت از رفاه نیاز دارد و چیزی نیست که شرکت‌های فناوری یا دانشمندان یادگیری ماشین بتوانند ساده با آن برخورد کنند. اما ایمنی باید از ابتدا در فناوری‌های جدید تعبیه شود؛ این شامل آزمایش مدل‌ها پیش از عرضه به بازار است تا مطمئن شویم نمی‌توان از آن‌ها برای ساخت تصاویر برهنه یا جنسی از کودکان استفاده کرد.»
راهکارهای احتمالی کاهش خطر
White Circle معتقد است استفاده از روشی مانند RISE می‌تواند به آزمایشگاه‌های پیشرو کمک کند دور زدن‌های بیشتری را سریع‌تر شناسایی کرده و دفاع‌های خود را برای جلوگیری از خروجی‌های آسیب‌زا تقویت کنند. شرکت‌ها علاوه بر آزمایش محدودیت‌های مربوط به تصاویر صریح، می‌توانند از این روش برای جلوگیری از خروجی‌های ممنوع دیگر مانند تصاویر خشونت‌آمیز یا خودآسیب‌رسان نیز استفاده کنند.
با این حال، آزمایشگاه‌ها هنوز برای بازتولید این زنجیره حمله که قرار است در GitHub White Circle منتشر شود، اقدامی نکرده‌اند. این انتشار به سیاست‌گذاران کمک خواهد کرد بررسی کنند آیا قوانین ایمنی هوش مصنوعی برای کنترل آزمایشگاه‌های پیشرو لازم است یا نه.
شیلوف به Ars گفت تا زمانی که آزمایش ایمنی اجباری نشود، آزمایشگاه‌های بزرگ روی آن سرمایه‌گذاری کافی نخواهند کرد. به گفته او، مردم ممکن است همچنان با مدل‌هایی روبه‌رو باشند که فقط درخواست‌های مخرب را بازنویسی می‌کنند تا خروجی محدود تولید نشود، نه مدل‌هایی که طبق توضیح پیش‌چاپ، «راهبردهای حمله زبانی طبیعی را تکامل می‌دهند تا توانایی‌های اکتشافی خود مدل زبانی را برای شناسایی مشکل به کار گیرند».
شیلوف گفت: «برای شکستن این سیستم‌ها به مدل‌های پیشرفته یا فناوری اختصاصی نیاز ندارید؛ فقط یک دانلود رایگان و توانایی ارسال درخواست‌های API کافی است. با این حال، آزمایشگاه‌هایی که این سیستم‌ها را می‌سازند، خودشان ایمنی آن‌ها را ارزیابی می‌کنند، نتایج خودشان را منتشر می‌کنند و استانداردهای خودشان را تعیین می‌کنند. اگر به مدرک بیشتری نیاز بود، این موضوع نشان می‌دهد دولت‌ها باید ارزیابی مستقل توسط طرف‌های ثالث را پیش ببرند.»