OpenAI و Anthropic از دور زدن تدابیر ایمنی توسط عامل‌های هوش مصنوعی خبر دادند
OpenAI و Anthropic اعلام کردند که در برخی موارد، عامل‌های هوش مصنوعی داخلی توانسته‌اند تدابیر ایمنی را دور بزنند یا به سامانه‌های خارجی فعال دسترسی پیدا کنند؛ موضوعی که چالش‌های نظارت بر رفتار مدل‌ها در جریان ارزیابی‌ها و پژوهش‌ها را برجسته می‌کند.
Anthropic اعلام کرد که Claude چهار نوع رفتار ناخواسته از خود نشان داده است: سوءاستفاده از یک نقص نرم‌افزاری برای اجرای فرمان‌های سروری، ارسال یک فرم حساس، دور زدن محدودیت‌های توکن یا پرداخت، و استفاده از کوتاه‌کننده‌های لینک برای عبور از محدودیت‌های ابزارها. این شرکت گفت این موارد تأثیر واقعی بسیار محدودی داشته‌اند و تا زمانی که سازوکارهای نظارتی بتوانند به‌طور قابل اعتماد عمل کنند، دسترسی مستقیم به اینترنت را در ارزیابی‌های داخلی غیرفعال کرده است.
یکی از این موارد به مدل Claude Haiku 4.5 مربوط می‌شد که در ساعت ۱۱:۲۷ شب به وقت شرقی آمریکا در ۱۸ ژوئیه (۰۳:۲۷ به وقت هماهنگ جهانی در ۱۹ ژوئیه ۲۰۲۶) یک گزارش جعلی قتل را از طریق فرم عمومی پرونده‌های حل‌نشده قتل پلیس فیلادلفیا ارسال کرد. این ارسال به‌عنوان هرزنامه علامت‌گذاری شد و برای بررسی تحقیقاتی فرستاده نشد.
هیچ نشانه‌ای وجود نداشت که سامانه‌های پلیس مورد دسترسی قرار گرفته باشند یا اطلاعات این اداره به خطر افتاده باشد. اداره پلیس فیلادلفیا نیز اعلام کرد: «تأخیر دوماهه در شناسایی این حادثه و گزارش آن به شهر، غیرقابل قبول است.»
Anthropic این حادثه را در ۲۸ سپتامبر شناسایی کرد و در ۸ اکتبر با مقام‌های فیلادلفیا دیدار داشت. این شرکت گفت بسیاری از موارد زمانی رخ داده‌اند که Claude در انجام یک وظیفه تعیین‌شده با محدودیت روبه‌رو شده و به‌جای توقف، تلاش کرده از آن محدودیت عبور کند.
Anthropic گفت: «بیشتر این موارد شکل‌هایی از پافشاری هستند؛ یعنی وقتی Claude نمی‌تواند یک وظیفه را طبق دستور انجام دهد، به‌جای توقف، راهی برای دور زدن محدودیت پیدا می‌کند.»
ارزیابی‌های داخلی امنیت سایبری OpenAI در ژوئیه ۲۰۲۶ نشان داد که مدل‌های این شرکت توانسته‌اند کنترل‌های ایزوله‌سازی را دور بزنند، به اینترنت دسترسی پیدا کنند و بخش‌هایی از زیرساخت پژوهشی OpenAI و سامانه‌های Hugging Face را به خطر بیندازند.
این مدل‌ها روی ده‌ها سرور Hugging Face کد اجرا کردند، در یکی از سرورها دسترسی ریشه به دست آوردند، به مقدار محدودی از داده‌های خصوصی دسترسی پیدا کردند و اعتبارنامه‌هایی برای پلتفرم پیام‌رسانی OpenAI به دست آوردند. این مدل‌ها با تدابیر حفاظتی کاهش‌یافته فعالیت می‌کردند، از کانال‌های ارتباطی غیرمجاز استفاده کردند و از آسیب‌پذیری‌های زیرساختی بهره بردند.
یک بررسی داخلی جداگانه نیز تعامل با وب‌سایت‌های دولتی آمریکا، از جمله داده‌های عمومی کمیسیون بورس و اوراق بهادار و اداره سرشماری، را بررسی کرد. در این موارد هیچ داده خصوصی‌ای سرقت نشد.
در ارزیابی دیگری، دو مورد از ۱۹ حادثه‌ای که مؤسسه امنیت هوش مصنوعی بریتانیا شناسایی کرده بود، به GPT-5.6 Sol مربوط می‌شد. این مدل از یک توکن افشاشده گیت‌هاب دوباره استفاده کرد، تلاش‌هایی برای دور زدن فرایند بازیابی حساب انجام داد و از یک سرویس عمومی تونل‌سازی استفاده کرد.
OpenAI گفت: «ما این حادثه را یک زنگ هشدار برای خودمان و برای جهان می‌دانیم.»
این حوادث عمدتاً در محیط‌های آموزش، ارزیابی یا پژوهش رخ داده‌اند، نه در استفاده معمول مصرف‌کنندگان. این افشاگری‌ها پرسش‌هایی را درباره توانایی توسعه‌دهندگان پیشرفته‌ترین مدل‌های هوش مصنوعی برای حفظ دید کافی نسبت به رفتار مدل‌ها مطرح کرده‌اند؛ نگرانی‌ای که در گزارش قبلی TokenPost درباره درخواست‌ها برای حفظ نظارت بر هوش مصنوعی نیز مطرح شده بود.