محققان می گویند OpenAI، گوگل مدل های جدید هوش مصنوعی را به راحتی فریب داد تا برهنه شوند

روش حمله، نقص‌های OpenAI را آشکار می‌کند، Google از برهنه‌های هوش مصنوعی محافظت می‌کند.

محققان ایمنی همچنان هشدار می‌دهند که حجم زیادی از محتوای صریح تولید شده توسط هوش مصنوعی بدون کنترل منتشر می‌شود، در حالی که تنظیم‌کننده‌ها کاری برای متوقف کردن معنی‌دار آن انجام نمی‌دهند.

این محتوای غیر توافقی معمولاً در پیام‌های متنی و مستقیم به اشتراک گذاشته می‌شود یا در ابرهای خصوصی ذخیره می‌شود، جایی که احتمال شناسایی یا گزارش آن کمتر است، مطالعه‌ای که توسط Google در ژوئیه امسال روی کاربران اینترنت در سراسر ایالات متحده، استرالیا و بریتانیا انجام شد نشان داد. به همین دلیل است که "بحرانی ترین نقطه مداخله" در منبع باقی می ماند: ابزارهای مضر هوش مصنوعی که برای ساختن تصاویر جنسی جعلی استفاده می شود، محققان گوگل نتیجه گرفتند.

با این حال، تیم قرمز در ماه‌های اخیر نشان می‌دهد که وقتی برخی از تولیدکننده‌های تصویر هوش مصنوعی گوگل و OpenAI توانمندتر می‌شوند، ممکن است در مسدود کردن خروجی‌های صریح بدتر شوند.

محققان در White Circle، یک شرکت عام المنفعه با حمایت رهبران و محققان ارشد Anthropic، DeepMind، Hugging Face و OpenAI پرچم قرمز را برافراشتند. این شرکت پس از آن تأسیس شد که دنیس شیلوف، یکی از معروف‌ترین جیلبریک‌های جهانی مدل‌های پیشرو را در اکتبر 2024 منتشر کرد. White Circle به دنبال شکستن مدل‌ها برای انجام آزمایش‌های ایمنی کامل، به شرکت‌ها کمک می‌کند تا هنگام پیاده‌سازی سیستم‌های هوش مصنوعی پیشرفته که ممکن است همیشه آن‌طور که انتظار می‌رود رفتار نکنند، تهدیدات را شناسایی کرده و از آن جلوگیری کنند.

آزمایش مدل های تبدیل متن به تصویر چقدر خوب استمسدود کردن دسته‌های محتوای ممنوعه یک مسیر تحقیقاتی کلیدی برای White Circle است و شیلوف فکر می‌کند که آخرین یافته‌های آن‌ها به اندازه‌ای "وحشتناک" است که با عموم به اشتراک بگذارد.

در یک پیش‌چاپ که در ماه گذشته منتشر شد، محققان White Circle نقص‌هایی را در نرده‌های محافظ DALL·E 3، Nano Banana 2 Google و GPT-Image-2 آشکار کردند. در یک بیانیه مطبوعاتی، آنها توضیح دادند که "با استفاده از ابزارهای آماده، که به صورت آنلاین برای دانلود برای همه در دسترس است، و با ارسال تماس های API، White Circle توانست از روش حمله جدید برای دور زدن فیلترهای ایمنی استفاده کند" و در حدود 13 درصد مواقع محتوای صریح تولید کند.

White Circle هشدار داد: «به طور اساسی، هیچ یک از این درخواست‌ها به مدل‌های هوش مصنوعی سفارشی یا مرزی نیاز ندارند، بنابراین برای اجرای حملات به تخصص هوش مصنوعی نیاز نیست.

محققان خروجی ها را برای تأیید نرخ بای پس بررسی کردند، که White Circle اشاره کرد که "بالاترین روشی است که تحت همان استاندارد آزمایش شده است." آنها پیشنهاد کردند نکته کلیدی این است که "در زمانی که ایمنی هوش مصنوعی هرگز تحت نظارت بیشتر قرار نگرفته است، دفاعی که آزمایشگاه های پیشرو ساخته اند بسیار ضعیف تر از آن چیزی است که آنها تصدیق می کنند."

White Circle با انتشار تحقیقاتی مانند این، خود را به عنوان یک ارزیاب خارجی آزمایشگاه‌های مرزی معرفی می‌کند و قصد دارد کل خط لوله حمله را منبع باز کند تا سازندگان مدل بتوانند مقیاس واقعی آسیب‌پذیری را درک کنند و حفاظت‌های قوی‌تری ایجاد کنند. اگرچه این شرکت هنوز این تحقیقات را به طور گسترده تبلیغ نکرده است، اما آن را در یک کنفرانس برجسته هوش مصنوعی در نوامبر امسال به اشتراک خواهد گذاشت.NeurIPS 2026، که ممکن است در اواخر پاییز امسال نظارت بر گوگل و OpenAI را افزایش دهد.

شیلوف به Ars گفت، White Circle یافته‌های خود را از طریق «تماس‌های متقابل» با برخی از آزمایشگاه‌های هوش مصنوعی به اشتراک گذاشته است، اما نه گوگل و نه OpenAI به درخواست Ars برای اظهارنظر مستقیم در مورد آسیب‌پذیری‌های موجود در مدل‌هایشان پاسخ ندادند.

در همین حال، OpenAI و Google مدل‌های جدیدی را منتشر کرده‌اند - ChatGPT Images 2.5 و Nano Banana 2.1 - و White Circle به Ars گفت که آزمایش‌های ایمنی سریع با استفاده از همان روش نشان داد «هر دو به طور قابل‌توجهی شکست‌پذیرتر از نسخه‌های قبلی خود هستند».

پس از اینکه Ars این یافته های جدید را به اشتراک گذاشت، هیچ یک از شرکت ها پاسخی ندادند.

شیلوف به Ars گفت که روش حمله White Circle می‌تواند دفاع مرزی را در دسته‌هایی مانند محتوای صریح، که به نظر آسان می‌رسد، تجزیه کند، که برای سیستم‌های دفاعی جدی‌تر که در حال حاضر به‌روزرسانی می‌شوند، برای جلوگیری از سایر رفتارهای هوش مصنوعی مانند هک، خبر خوبی نیست.

White Circle به Ars گفت: «فرضیه کاری White Circle برای این موضوع این است که یا مدل‌های جدیدتر پیچیده‌تر هستند و می‌توانند طیف وسیع‌تری از محتوا تولید کنند، یا اینکه ایمنی به نفع قابلیت اولویت‌بندی شده است.

شیلوف گفت که دایره سفید همچنین در حال گفتگوهای اولیه با مقامات دولتی در مورد آزمایش ایمنی شخص ثالث است که به نظر او باید مورد نیاز باشد. ممیزی‌های مستقل اجباری می‌تواند شرکت‌ها را وادار کند که تست ایمنی را در اولویت قرار دهند، که تحلیلگران پیشنهاد کرده‌اند که تا حد زیادی در پشت سر قرار می‌گیرد زیرا شرکت‌های هوش مصنوعی بیشتر منابع خود را به زیرساخت‌های محاسباتی و هوش مصنوعی می‌ریزند.

آنهاشیلوف به Ars گفت: "و برای ما، به نظر می رسد که آنها در واقع این کار را انجام نمی دهند."

White Circle برای افشای جیلبریک‌هایی که «قابل استفاده مجدد و قابل انتقال» هستند – که در مدل‌های مختلف پیشرو کار می‌کنند – خود را محدود به آزمایش یک فرمان در یک زمان نکرد. درعوض، محققان به دنبال «الگوهایی بودند که در چندین درخواست و سناریو کار می‌کنند» تا استراتژی‌های حمله قابل استفاده مجدد را شناسایی کنند که می‌توانند در مدل‌های پیشرو کار کنند. (محققان خاطرنشان کردند که Midjourney مورد آزمایش قرار نگرفت زیرا "یک API عمومی مناسب برای معیارهای کنترل شده g ارائه نمی دهد.")

تیم این روش حمله جدید را "تیم قرمز از طریق تکامل استراتژی تکراری" (RISE) نامگذاری کرده است. این بر دو مؤلفه متکی است: یک مدل هجومی که جیلبریک ایجاد می‌کند و یک مدل داور که تأیید می‌کند آیا محتوای خروجی ممنوع است یا خیر.

شیلوف به Ars گفت: "کل خط لوله بر روی مدل های به طور گسترده در دسترس ساخته شده است." مدل هجومی یک مدل Qwen است که از Hugging Face دانلود شده است و مدل قاضی Gemini 3.8 Flash است.

شیلوف گفت: «برای شکستن دفاع از مدل مرزی نیازی به داشتن مدل های مرزی ندارید، که بسیار جالب است.

شیلوف گفت که زمان زیادی برای اطمینان از اینکه مدل داور به طور دقیق محتوای صریح را علامت گذاری می کند، صرف شد. مهندس پژوهش دایره سفید، دیمیتری خارلاپنکو، به Ars گفت که وقتی نوبت به آزمایش ژنراتورهای تصویر می رسد، کل حوزه Red-teaming "بسیار ضعیف کالیبره شده است" و "به معنای واقعی کلمه صفر است."به همین دلیل، این منطقه‌ای است که «کاملاً با مشکلات گزارش‌گیری مواجه است» که مربوط به White Circle است، زیرا شرکت‌های هوش مصنوعی تلاش می‌کنند تا با عرضه مدل‌های جدید چشم‌گیرتر بازارها را به تصرف خود درآورند.

شیلوف توضیح داد که برای White Circle، هدف این تحقیق ساخت مدل‌های پیچیده‌تر است که می‌تواند حملات به مدل‌های دیگر را شبیه‌سازی کند. به این ترتیب، آن‌ها می‌توانند به مدافعان کمک کنند تا آسیب‌پذیری‌ها را قبل از سوءاستفاده‌های مخرب شناسایی و برطرف کنند.

در دنیای ایده‌آل خود، شیلوف فکر می‌کند که شرکت‌های هوش مصنوعی نباید فقط با آزمایش‌های ایمنی خارجی اجباری روبرو شوند، بلکه باید با نظارت شخص ثالث نیز روبرو شوند، دقیقاً مانند سیستمی که برای جلوگیری از تهدیدات هسته‌ای استفاده می‌شود.

سپس، نهادهایی مانند White Circle احتمالاً می‌توانند ائتلافی را برای کمک به شناسایی تهدیدات هوش مصنوعی در زمان واقعی، بدون اینکه از تعصبات رنج ببرند، تشکیل دهند. شیلوف خاطرنشان کرد که یک مشکل در حال ظهور در اکوسیستم هوش مصنوعی این است که اساساً هر کسی که کار ایمنی جالبی انجام می دهد احتمالاً توسط آزمایشگاه های مرزی تحت قرارداد قرار می گیرد و به طور بالقوه کار آنها را به خطر می اندازد.

White Circle با آزمایشگاه های مرزی همکاری کرده است. قبلاً در برنامه پاداش باگ Anthropic شرکت کرده بود، اما در نهایت متوجه شد که این برنامه "در هدف خود بسیار محدود است".

White Circle به Ars گفت: "این برنامه بر روی جیلبریک های جهانی در دامنه هایی که آنها بیشتر به آنها اهمیت می دهند متمرکز است، که با شرایط خاص خود تعریف می شوند."

White Circle گفت: تحقیقاتی مانند آخرین مقاله RISE آنها "مطمئنا" توسط آن برنامه پوشش داده نمی شد. و انجام آن کاردرون Anthropic خطر محدود کردن White Circle را برای به اشتراک گذاشتن آن با عموم داشت.

White Circle به Ars گفت که White Circle مایل به امضای هیچ گونه NDA محدودکننده ای نیست که ممکن است از اشتراک گذاری عمومی یافته های مهم جلوگیری کند، بنابراین اگر Anthropic به NDA ها نیاز داشته باشد، احتمالاً این همکاری اتفاق نخواهد افتاد.

بازیگران بدی که مصمم به ساختن تصاویر صمیمی غیر توافقی (NCII) و مواد آزار جنسی کودکان (CSAM) تولید شده توسط هوش مصنوعی هستند، نیازی به مدل‌های مرزی ندارند و اغلب از برنامه‌های به اصطلاح برهنگی که برای آن هدف مضر طراحی شده‌اند استفاده می‌کنند. اما تحقیقات گوگل نشان داد که 20 درصد از کاربران آنلاین که اعتراف کرده‌اند که برهنه‌های هوش مصنوعی می‌سازند، این کار را «برای سرگرمی» یا «به عنوان شوخی» انجام می‌دهند، در حالی که نزدیک به یک سوم صرفاً «تکنولوژی» را آزمایش می‌کنند. بنابراین مهم است که شکستن دفاع از در دسترس ترین مدل ها چقدر آسان است. تحقیقات گوگل می‌گوید که حفاظت‌ها باید اجباری باشند تا «مسیر سوءاستفاده» را برای «زیر مجموعه‌ای از مجرمانی که ممکن است در غیر این صورت با اصطکاک فنی بازدارند» بسته شود.

تحقیقات گوگل می‌گوید: «بار مسئولیت نیز بر دوش توسعه‌دهندگان است تا نرده‌های محافظ قوی، در سطح مدل و شاخص‌های منشأ را برای جلوگیری از تولید اولیه و توزیع بعدی تصاویر جنسی مصنوعی اجرا کنند.»

هفته گذشته، بنیاد دیده بان اینترنت (IWF) هشدار داد که پس از اینکه تحلیلگران متخصص دریافتند «تصاویر آزار جنسی کودکان با هوش مصنوعی واقعی تری در نیمه اول سال جاری نسبت به کل سال 2025، از جمله تصاویری که کودکان را به تصویر می کشند، اقدام فوری لازم است.زیر دو سال.» در مجموع، 6310 تصویر هوش مصنوعی مطابق با تعریف قانونی CSAM در شش ماه اول سال 2026 یافت شد که حدود 40 درصد بیشتر از کل یافته های سال گذشته است.

این موسسه خیریه غیرانتفاعی مستقر در بریتانیا بر CSAM در سطح جهانی نظارت می کند و یک خط تلفن برای حمایت از قربانیان مورد هدف راه اندازی می کند. سخنگوی IWF به Ars گفت: در بریتانیا، آنها از رگولاتورها می خواهند که چارچوب ایمنی را معرفی کنند که شرکت های هوش مصنوعی را ملزم می کند از استفاده از فناوری آنها برای تولید CSAM جلوگیری کنند.

تا آن زمان، IWF فکر می‌کند که برای اشخاص ثالثی مانند White Circle مهم است که «بر روی نقاط ضعف حفاظت شرکت‌ها تأکید کنند».

سخنگوی IWF گفت: «تحلیلگران ما دیده‌اند که چگونه پیشرفت‌های هوش مصنوعی امکان تولید تصاویر سوء استفاده جنسی از کودکان را با کمترین تلاش فراهم می‌کند، نیاز به تخصص فنی را از بین می‌برد و موانع ورود را به میزان قابل توجهی کاهش می‌دهد. ابزارهای هوش مصنوعی می توانند محتوای مجرمانه را بازتولید و تقویت کنند و به ایجاد و انتشار مواد مضر در مقیاس سرعت بخشند. هرگونه اصطکاک یا گامی که بتوان برای سخت‌تر کردن استفاده نادرست از این ابزارها معرفی کرد، یک گام مثبت به جلو است.»

همانطور که ورودی های خارجی می تواند به پالایش فیلترها کمک کند، IWF نیز فکر می کند که شرکت های فناوری نیز باید با طرفداران برای بررسی دقیق مدل ها برای مقابله بهتر با CSAM تولید شده توسط هوش مصنوعی همکاری کنند.

سخنگوی IWF گفت: «ارزیابی CSAM یک کار بسیار تخصصی است که نیاز به آموزش متخصص و پشتیبانی رفاهی دارد و برای شرکت‌های فناوری یا دانشمندان یادگیری ماشینی ساده نیست.اما ایمنی باید با طراحی به فناوری جدید تبدیل شود – این شامل آزمایش مدل‌ها قبل از عرضه به بازار است تا مطمئن شویم که نمی‌توان از آنها برای ایجاد تصاویر برهنه یا جنسی از کودکان استفاده کرد.

White Circle فکر می‌کند که استفاده از روشی مانند RISE می‌تواند به آزمایشگاه‌های مرزی کمک کند تا جیلبریک‌های بیشتری را سریع‌تر اعلام کنند و به سرعت دفاع‌ها را برای جلوگیری از خروجی‌های مضر افزایش دهند. علاوه بر آزمایش بلوک‌ها بر روی تصاویر صریح، شرکت‌ها همچنین می‌توانند از این روش برای جلوگیری از خروجی‌های ممنوعه دیگر، مانند تصاویری که خشونت گرافیکی یا آسیب رساندن به خود را نشان می‌دهند، استفاده کنند.

اما آزمایشگاه‌ها هنوز خواستار خط لوله تولید مثل نشده‌اند، که در GitHub White Circle به اشتراک گذاشته می‌شود تا به سیاست‌گذاران کمک کند تا ارزیابی کنند که آیا قوانین ایمنی هوش مصنوعی برای کنترل آزمایشگاه‌های مرزی مورد نیاز است یا خیر.