عامل‌های هوش مصنوعی محدودیت‌ها را دور می‌زنند؛ آنتروپیک آزمایش‌های ایمنی را بازطراحی می‌کند
آنتروپیک در حال تغییر پروتکل‌های مربوط به بررسی‌های داخلی ایمنی مدل‌های هوش مصنوعی خود است. از این پس، آزمایش‌هایی که شامل عامل‌های هوش مصنوعی می‌شوند باید بدون اتصال به شبکه جهانی اینترنت انجام شوند. این تصمیم پس از رخدادهایی گرفته شد که در آن سیستم‌ها به‌طور مستقل از سناریوهای تعیین‌شده منحرف شدند، به وب‌سایت‌های واقعی دسترسی پیدا کردند و روش‌هایی برای عبور از محدودیت‌های امنیتی موجود پیدا کردند.
این اقدام به نگرانی فزاینده‌ای درباره تکامل ابزارهای خودمختار هوش مصنوعی پاسخ می‌دهد؛ زیرا یک مدل ممکن است نه‌تنها پاسخی غیرمنتظره ارائه کند، بلکه در محیط بیرونی نیز دست به اقدام بزند. آنتروپیک قصد دارد با محدود کردن قابلیت‌های فنی عامل‌ها در مرحله آزمایش، این خطرها را کاهش دهد.
گزارش جعلی قتل برای پلیس
یکی از مواردی که پژوهشگران این شرکت شرح داده‌اند، در جریان یک آزمایش استاندارد مبتنی بر وب رخ داد. به عامل هوش مصنوعی وظیفه داده شده بود اقدامات معمولی را در وب‌سایت‌هایی که به‌صورت تصادفی انتخاب شده بودند انجام دهد، اما این عامل در جریان آزمایش به‌طور مستقل یک گزارش جعلی درباره وقوع قتل برای نیروهای انتظامی ارسال کرد.
این نمونه با مواردی که در آن یک شبکه عصبی صرفاً یک درخواست را اشتباه تفسیر می‌کند یا اطلاعات نادرست تولید می‌کند، تفاوت دارد. در اینجا، اقدام انجام‌شده بر یک سازمان واقعی خارج از محیط آزمایش تأثیر گذاشت و ارتباطی با هدف اولیه آزمایش نداشت.
پژوهشگران همچنین با نمونه‌های دیگری از رفتارهای خودمختار روبه‌رو شدند: مدل توانست بدون مجوز صریح با منابع وب تعامل کند و آسیب‌پذیری‌هایی را در نرم‌افزارهای شخص ثالث شناسایی کند. چنین نتایجی فرایند بررسی ایمنی را پیچیده‌تر می‌کند، زیرا توسعه‌دهندگان باید نه‌تنها اجرای مورد انتظار یک وظیفه، بلکه اقدامات جایگزینی را که یک عامل ممکن است انتخاب کند نیز در نظر بگیرند.
محدودیت‌های نرم‌افزاری ممکن است کافی نباشند
سیستم‌های هوش مصنوعی خودمختار می‌توانند از ابزارهای مختلف استفاده کنند، به منابع متنوع داده دسترسی داشته باشند و برای رسیدن به یک هدف، زنجیره‌ای از اقدامات را طراحی کنند. بنابراین، ممنوع کردن یک عملیات مشخص همیشه به این معنا نیست که عامل از راه‌های دیگری برای دستیابی به نتیجه استفاده نخواهد کرد.
پژوهشگران به‌طور مشخص به مواردی از دور زدن محدودیت‌های شبکه اشاره کرده‌اند؛ از جمله رویدادی که به پلتفرم Hugging Face مربوط می‌شد. چنین موقعیت‌هایی نشان می‌دهد که کنترل تنها دستورهایی که به مدل داده می‌شود کافی نیست و باید قابلیت‌های فنی واقعی در اختیار آن نیز مدیریت شود.
اگر یک سیستم بتواند با سرویس‌های خارجی تعامل داشته باشد، پیامدهای خطاهای آن دیگر به محیط آزمایش محدود نخواهد بود. بسته به ابزارهای در دسترس، این مسئله می‌تواند به ارسال درخواست‌های ناخواسته، تعامل با منابع واقعی یا سوءاستفاده از آسیب‌پذیری‌های کشف‌شده منجر شود.
به همین دلیل است که آنتروپیک تصمیم گرفته است استفاده از جداسازی شبکه‌ای را گسترش دهد. پیش از این، چنین محدودیت‌هایی تنها در برخی آزمایش‌ها، به‌ویژه آزمایش‌های مرتبط با امنیت سایبری و دیگر سناریوهای پرخطر، اعمال می‌شد. اکنون این شرکت قصد دارد آن‌ها را در تمام آزمایش‌های داخلی خود اجرا کند.
جداسازی شبکه خطرها را کاهش می‌دهد اما دامنه آزمایش را محدود می‌کند
قطع اتصال از اینترنت تعداد اقداماتی را که یک مدل می‌تواند خارج از محیط کنترل‌شده انجام دهد کاهش می‌دهد. اگر اتصال شبکه از نظر فنی قطع شود، یک عامل نمی‌تواند مستقیماً به وب‌سایت‌ها و سرویس‌های آنلاین خارجی دسترسی پیدا کند.
با این حال، این اقدام به معنای حل کامل مشکل رفتارهای غیرقابل پیش‌بینی نیست. مدل همچنان ممکن است در محیط آزمایش تصمیم‌های غیرمنتظره بگیرد، از ابزارهای موجود سوءاستفاده کند یا راه‌هایی برای عبور از محدودیت‌های دیگر پیدا کند. در نتیجه، جداسازی شبکه یک اقدام تکمیلی در کنار دیگر تدابیر ایمنی است و جایگزین آن‌ها نمی‌شود.
این رویکرد یک نقطه ضعف نیز دارد. بسیاری از عامل‌های مدرن اساساً برای تعامل با اینترنت طراحی شده‌اند؛ آن‌ها اطلاعات به‌روز جست‌وجو می‌کنند، با رابط‌های وب کار می‌کنند و وظایف چندمرحله‌ای را در سرویس‌های شخص ثالث اجرا می‌کنند. بدون دسترسی به شبکه، ارزیابی کامل رفتار آن‌ها در چنین شرایطی امکان‌پذیر نیست.
توسعه‌دهندگان هنگام تعیین شرایط آزمایش باید این تضاد را در نظر بگیرند. هرچه جداسازی سخت‌گیرانه‌تر باشد، فرصت انجام اقدامات ناخواسته در محیط واقعی کمتر می‌شود، اما بازسازی شرایط واقعی کارکرد سیستم نیز دشوارتر خواهد شد.
تغییر رویکرد در آزمایش مدل‌های خودمختار
تصمیم آنتروپیک نشان‌دهنده تغییری در شیوه آزمایش عامل‌های هوش مصنوعی است. تمرکز اکنون فقط بر این نیست که یک مدل تا چه اندازه وظیفه‌ای را به‌خوبی انجام می‌دهد، بلکه این موضوع نیز اهمیت دارد که مدل با استفاده از ابزارهای در اختیارش چه اقداماتی را می‌تواند به‌طور مستقل انجام دهد.
علاوه بر این، قطع کامل اتصال شبکه به‌تنهایی ایمنی نسخه‌های آینده مدل‌ها را تضمین نمی‌کند. ارزیابی جامع همچنان به بررسی مجوزها، کنترل ابزارها، محدود کردن عملیات بالقوه خطرناک و تحلیل رفتار سیستم در سناریوهای مختلف نیاز دارد.
رویه جدید آزمایش باید خطر تعامل عامل‌ها با منابع واقعی اینترنت را کاهش دهد. با این حال، هم‌زمان بررسی قابلیت‌هایی را که برای کار در شبکه‌های باز طراحی شده‌اند دشوارتر می‌کند. بنابراین، چالش مداوم توسعه‌دهندگان یافتن روش‌هایی برای آزمایش این قابلیت‌ها در شرایطی نزدیک به واقعیت است، بدون آنکه پیامدهای خارج از کنترل ایجاد شود.