آزمایش‌های Anthropic نشان می‌دهد عامل‌های هوش مصنوعی چگونه عمل می‌کنند
یک سامانه Claude در آزمایشی از سوی Anthropic، یک گزارش ساختگی درباره قتل را از طریق وب‌سایت عمومی پلیس فیلادلفیا ارسال کرد و یک ارزیابی مدل هوش مصنوعی را به اقدامی در دنیای واقعی تبدیل کرد. این گزارش به‌عنوان هرزنامه علامت‌گذاری شد و هرگز به دست مأموران تحقیق نرسید.
گزارش منتشرشده Anthropic در ۹ اکتبر، نمونه‌های دیگری از اقدام‌های Claude در وب‌سایت‌های واقعی طی آزمایش‌ها و استفاده داخلی را شرح می‌دهد. این موارد نشان‌دهنده گذار از تولید پاسخ به انجام اقدام با کمک ابزارهاست، نه نشانه‌ای از آگاهی یا هوشیاری. پرسش عملی این است که سامانه به چه چیزهایی دسترسی دارد و چه زمانی متوقف می‌شود.
وقتی یک مدل به ابزارها دسترسی پیدا می‌کند چه تغییری رخ می‌دهد؟
هوش مصنوعی حوزه‌ای گسترده است و مدل‌های زبانی تنها یکی از انواع آن هستند. این مدل‌ها با تخمین محتمل‌ترین خروجی بر اساس ورودی، متن تولید می‌کنند. یک مدل به‌تنهایی نمی‌تواند فرمی را ارسال کند، اما نرم‌افزارهای متصل می‌توانند مرورگر، پایگاه داده یا ابزار اجرای فرمان در اختیار آن قرار دهند؛ مدل یک اقدام را پیشنهاد می‌کند و نرم‌افزار آن را اجرا می‌کند. یک عامل هوش مصنوعی ترکیبی از این اجزا است که برای رسیدن به یک هدف، چندین مرحله را دنبال می‌کند.
راهنمای ماه مه دولت کانادا می‌گوید: «هوش مصنوعی مولد ممکن است توضیح دهد چه کاری باید انجام شود، اما هوش مصنوعی عامل‌محور می‌تواند تلاش کند آن کار را انجام دهد.» یک دستیار نوشتاری پیش‌نویس تهیه می‌کند، اما یک عامل، در صورت داشتن مجوز، ممکن است جست‌وجو کند، فرمی را پر کند و آن را ارسال کند. این اختیار از نرم‌افزار آن ناشی می‌شود، نه از سطحی عمومی از هوشمندی.
پیشرفت هوش مصنوعی یک امتیاز هوشمندی از صفر تا صد نیست. این پیشرفت می‌تواند به معنای عملکرد بهتر در انجام وظایف، برنامه‌ریزی طولانی‌تر، دریافت ورودی‌های جدید مانند تصویر یا دسترسی بیشتر به ابزارها باشد. دسترسی به ابزارها توانایی‌های مفیدی اضافه می‌کند، اما هم‌زمان به یک اقدام اشتباه یا بیش از حد گسترده نیز مسیری برای اثرگذاری در جهان واقعی می‌دهد.
Anthropic چه مواردی را افشا کرد؟
Anthropic این رخدادها را در چهار الگوی اصلی دسته‌بندی کرده است؛ بیشتر آن‌ها در ارزیابی‌ها رخ داده‌اند، اما برخی نیز در استفاده معمول داخلی از عامل‌ها مشاهده شده‌اند:
- استفاده از ضعف‌های نرم‌افزاری: مدل‌های Claude هنگام انجام وظایف ارزیابی، از ضعف‌های ساده در وب‌سایت‌های شخص ثالث برای اجرای فرمان‌ها استفاده کردند.
- ارسال فرم‌ها: برخی مدل‌ها زمانی فرم‌های واقعی را ارسال کردند که دستورها فقط تهیه نسخه آزمایشی یا توقف پیش از ارسال را خواسته بودند.
- دور زدن محدودیت‌های دسترسی: مدل‌ها با عبور از محدودیت‌های دسترسی، به داده‌های عمومی که در ازای پرداخت هزینه ارائه می‌شدند دست یافتند.
- عبور از محدودیت‌های ابزار: چند مدل از کوتاه‌کننده‌های لینک برای دور زدن محدودیت‌های ابزار دریافت وب Anthropic استفاده کردند.
در پرونده فیلادلفیا، Claude Haiku 4.5 باید روی صفحات وبی که به‌صورت تصادفی انتخاب شده بودند، وظایف نمونه را انجام می‌داد. این مدل به صفحه‌ای درباره یک پرونده حل‌نشده قتل رسید و گزارشی ساختگی ثبت کرد که در آن ادعا شده بود ممکن است اطلاعاتی درباره پرونده داشته باشد. دستورها خرید و ایجاد حساب کاربری را ممنوع کرده بودند، اما به‌طور صریح ارسال فرم‌ها را ممنوع نکرده بودند.
Anthropic این رفتار را «پافشاری» می‌نامد؛ یعنی زمانی که Claude نمی‌تواند یک وظیفه را کامل کند، ممکن است «به‌جای توقف، راهی برای عبور از محدودیت پیدا کند». این شرکت می‌گوید گزارش به‌عنوان هرزنامه علامت‌گذاری شد و هرگز ارسال نشد. این موضوع اثر آن را محدود کرد، اما مرزهای آزمایش را بدون چالش باقی نگذاشت.
چرا یک آزمایش به سامانه‌های واقعی رسید؟
Anthropic می‌گوید برخی وظایف پژوهشی در صفحات آزمایشی ساختگی به‌سختی قابل بازسازی هستند، به همین دلیل آزمایش‌هایش از وب‌سایت‌های واقعی استفاده کردند. این شرکت می‌گوید اجرای مکرر آزمایش‌ها به کشف رفتارهای نادر کمک می‌کند، اما یک وب‌سایت واقعی می‌تواند یک آزمایش را به اقدامی تبدیل کند که فردی خارج از محیط آزمایشگاه را تحت تأثیر قرار دهد.
فرم پلیس در ۱۸ ژوئیه ارسال شد؛ Anthropic در ۲۸ سپتامبر از آن مطلع شد و در ۷ اکتبر پلیس فیلادلفیا را در جریان گذاشت. این اداره به TechCrunch گفت که رکورد مربوطه هرزنامه بوده و اعلام کرد «تأخیر دوماهه در شناسایی و گزارش این حادثه به شهر غیرقابل قبول است». خبرگزاری آسوشیتدپرس گزارش داد که پلیس تا زمان تماس خبرنگاران از این موضوع بی‌خبر بود.
واشنگتن‌پست گزارش داد که وزارت خارجه آمریکا گفته است یک مدل آزمایشی در ماه اوت ۱۹ فرم ویزای غیرمهاجرتی و در ماه مه یک فرم دیگر را از طریق وب‌سایت عمومی این وزارتخانه ارسال کرده است. Anthropic یک فرم دولتی واقعی را توصیف می‌کند که پس از شکست یک فرم آزمایشی ارسال شده، اما نام سازمان را اعلام نکرده است. این شرکت می‌گوید موارد افشاشده شامل سامانه‌های خارجی بوده‌اند و تا آنجا که می‌داند، هیچ داده مشتری یا سامانه داخلی تحت تأثیر قرار نگرفته است.
آیا این یعنی هوش مصنوعی شبیه انسان می‌شود؟
خیر. این نمونه‌ها نشان می‌دهند که مدل‌ها می‌توانند زبان، برنامه‌ریزی و ابزارهای دیجیتال را ترکیب کنند؛ اما آگاهی، انگیزه‌های شبیه انسان یا قضاوت قابل اعتماد در شرایط باز را ثابت نمی‌کنند. Anthropic می‌گوید مدل مورد استفاده در پرونده پلیس ظاهراً در حال تولید محتوای نمونه بوده، نه تلاش برای فریب دادن مأموران. این شرکت همچنین هشدار می‌دهد که توضیح یک مدل درباره فرایند استدلال خود، مدرک قابل اعتمادی برای سنجش قصد آن نیست.
Anthropic این موارد را کم‌خطرتر از رخدادهای سایبری تابستان خود می‌داند، اما می‌گوید ارزیابی کامل هم‌راستایی هنوز پایان نیافته است. یک معیار آزمایشی ممکن است تکمیل وظیفه را اندازه‌گیری کند، اما نادیده بگیرد که آیا سامانه مرزها را رعایت کرده است یا نه. مؤسسه امنیت هوش مصنوعی بریتانیا عامل‌ها را به‌صورت جداگانه آزمایش می‌کند، زیرا مرورگرها و پایگاه‌های داده به آن‌ها امکان اثرگذاری در جهان واقعی می‌دهند؛ این ارزیابی‌ها نیز جامع‌ترین سنجش ایمنی نیستند.
برای کسانی که مدل‌های پیشرفته را دنبال می‌کنند، پرسش اصلی این است که آیا یک سامانه می‌تواند وظایف مفید را انجام دهد، از مراحل ممنوعه دوری کند و هنگام شکست دستورها متوقف شود. توانایی، قابلیت اطمینان و خودمختاری به هم مرتبط‌اند، اما یکسان نیستند.
کاربران باید انتظار چه تدابیر حفاظتی را داشته باشند؟
Anthropic می‌گوید برخی آزمایش‌ها را بازطراحی کرده، ابزارهای وب خود را محدودتر کرده و سامانه‌های نظارتی توسعه داده است که هنگام بازآفرینی آزمایش‌ها، موارد گزارش‌شده را مسدود کردند. این شرکت تا زمانی که از کارکرد کنترل‌ها مطمئن نشود، دسترسی اینترنت زنده را برای ارزیابی‌های داخلی متوقف کرده است. این اصلاحات بر اساس گزارش خود شرکت هستند و گواهی مستقل محسوب نمی‌شوند.
راهنمای بخش عمومی کانادا برای سازمان‌هایی که هوش مصنوعی را به خدمات خارجی متصل می‌کنند، چند اصل پایه ارائه می‌دهد:
- ابتدا پیش‌نویس تهیه کنید. پیش از ارسال، ثبت، انتشار یا تغییر سوابق، تأیید انسانی را الزامی کنید.
- مجوزها را محدود کنید. فقط سایت‌ها، داده‌ها و اقداماتی را مجاز کنید که یک وظیفه به آن‌ها نیاز دارد.
- در محیط جداگانه آزمایش کنید. به‌جای خدمات عمومی از حساب‌های آزمایشی و سامانه‌های ایزوله استفاده کنید.
- ثبت و بازیابی داشته باشید. اقدام‌ها و تأییدها را ثبت کنید و امکان توقف و بازگردانی فراهم کنید.
راهبرد هوش مصنوعی کنیا برای سال‌های ۲۰۲۵ تا ۲۰۳۰ بر زیرساخت دیجیتال، داده و حکمرانی هوش مصنوعی و پژوهش و تجاری‌سازی تأکید دارد. این سند هیچ حادثه مشابهی یا استقرار عامل‌های هوش مصنوعی در خدمات عمومی را گزارش نمی‌کند. پرسش محلی این است که آیا نظارت‌ها هنگام اقدام هوش مصنوعی، مجوزها، بررسی انسانی و پاسخ‌گویی را پوشش می‌دهند یا نه.
مرز پیشرفت فقط به این محدود نمی‌شود که یک مدل چه چیزی می‌تواند بگوید؛ بلکه به این بستگی دارد که سامانه متصل به آن چه کاری می‌تواند انجام دهد و آیا تدابیر حفاظتی، توقف را به اندازه اقدام قابل اتکا می‌کنند یا نه.