گسترش بازرسی‌های ایمنی هوش مصنوعی با حضور ارزیابان مقیم در شرکت‌های توسعه‌دهنده
تحقیقات درباره «حادثه هکینگ هوش مصنوعی هاجینگ‌فیس» شرکت OpenAI در ماه ژوئیه تنها توسط کارکنان این شرکت انجام نشد. دو پژوهشگر از سازمان غیرانتفاعی ارزیابی هوش مصنوعی METR و دانشمند ارشد Redwood Research به مدت شش روز در داخل OpenAI حضور داشتند و حدود ۱٬۳۰۰ گزارش اجرای هوش مصنوعی و بیش از ۷۰ هزار مورد پیام و فایل را بررسی کردند. گزارشی که این دو سازمان در ماه اوت منتشر کردند، الگوهای رفتاری هوش مصنوعی و شرایط وقوع این رخداد را تشریح کرد. مؤسسات خارجی که پیش‌تر قابلیت‌ها و خطرات هوش مصنوعی را بررسی می‌کردند، اکنون مسئولیت روشن‌کردن حوادث واقعی مرتبط با این فناوری را نیز بر عهده گرفته‌اند.
با افزایش توانایی هوش مصنوعی برای اجرای کد و دسترسی مستقل به سامانه‌های خارجی، «بازرسی‌های ایمنی هوش مصنوعی» به‌عنوان صنعتی جدید در حال شکل‌گیری است. از آنجا که صرف ادعای توسعه‌دهندگان مبنی بر «ایمن بودن هوش مصنوعی ما» دیگر برای جلب اعتماد کافی نیست، تقاضا برای تأیید مستقل افزایش یافته است؛ فرایندی که هدف آن شناسایی خطرات و بررسی عملکرد درست تدابیر ایمنی است.
در مرکز این حوزه، مؤسسات پژوهشی کوچک غیرانتفاعی مانند METR، Redwood Research، Apollo Research و Transluce قرار دارند. METR توانایی هوش مصنوعی در انجام وظایف پیچیده بدون دخالت انسان و خطر از دست رفتن کنترل را ارزیابی می‌کند. Redwood Research روش‌های کنترل هوش مصنوعی را بررسی می‌کند؛ به‌ویژه در شرایطی که هوش مصنوعی وانمود می‌کند از دستورهای توسعه‌دهندگان پیروی می‌کند یا از نظارت می‌گریزد. Apollo Research بر مسائلی تمرکز دارد که در آن هوش مصنوعی ممکن است ناظران را فریب دهد یا رفتار خود را بر اساس شرایط آزمایش تغییر دهد. Transluce نیز با تحلیل گزارش‌های فعالیت هوش مصنوعی، رفتارهای غیرعادی را شناسایی می‌کند.
اخیراً طرحی با عنوان «ارزیابی‌های مقیم» مطرح شده است که در آن ارزیابان خارجی برای نظارت بر روند توسعه، در داخل شرکت‌های هوش مصنوعی حضور پیدا می‌کنند. شرکت Anthropic در ۱۸ سپتامبر اعلام کرد که قصد دارد از طریق سازمان متمرکز بر هوش مصنوعی Accenture با نام «Faculty» این نوع ارزیابی‌ها را اجرا کند. بر اساس این طرح، ارزیابان به سطح دسترسی مشابه کارکنان شرکت دست خواهند داشت تا بتوانند مدل‌های آموزشی، سوابق داخلی، اقدامات ایمنی را بررسی کنند و مستقیماً با کارکنان ارتباط داشته باشند. OpenAI نیز در ۲۲ سپتامبر اصولی را منتشر کرد که بر توافق قبلی با مؤسسات خارجی درباره دامنه ارزیابی‌ها و فراهم‌کردن دسترسی‌های ضروری تأکید دارد. تمرکز این حوزه اکنون از بررسی صرف پاسخ‌های نهایی هوش مصنوعی به سمت بررسی کل فرایند توسعه و مدیریت آن تغییر کرده است.
با این حال، درباره استقلال بازرسی‌های ایمنی پرسش‌هایی مطرح شده است. از آنجا که شرکت‌های تحت ارزیابی، مانند Anthropic که هزینه‌های ارزیابی Accenture را مستقیماً تأمین می‌کند، هزینه این بررسی‌ها را پرداخت می‌کنند، نگرانی‌هایی وجود دارد که نتایج نامطلوب ممکن است به قطع قرارداد یا آسیب تجاری منجر شود و در نتیجه انگیزه شرکت‌ها برای ارزیابی واقعی خطرات یا افشای مشکلات کاهش یابد. Anthropic پذیرفته است که راه‌حل‌های بلندمدت باید شامل ایجاد صندوق‌های ارزیابی از طریق مشارکت مشترک شرکت‌ها یا منابع دولتی باشد.
توانایی مدیریتی خود مؤسسات ارزیابی نیز زیر ذره‌بین قرار گرفته است. Anthropic و Meta اعلام کرده‌اند که در برخی موارد، به دلیل خطاهای پیکربندی در محیط‌های آزمایشی ایجادشده توسط ارزیاب امنیتی خارجی Irregular، هوش مصنوعی به سامانه‌های واقعی شرکت‌ها حمله کرده است. در یکی از موارد، هوش مصنوعی Meta به‌اشتباه یک وب‌سایت واقعی را هدف قرار داد، از آسیب‌پذیری‌ها سوءاستفاده کرد و پایگاه‌های داده را تغییر داد. در نمونه‌ای دیگر، هوش مصنوعی Anthropic بسته‌های نرم‌افزاری مخرب را در اینترنت منتشر کرد که باعث اجرای کد در ۱۵ سامانه شد. Anthropic اذعان کرد که هم این شرکت و هم ارزیاب، کنترل‌ها و نظارت کافی را در اختیار نداشتند. محیطی که برای آزمایش ایمنی هوش مصنوعی طراحی شده بود، در نهایت به مسیری برای انجام حملات تبدیل شد.