چرا ساتیا نادلا می‌خواهد ترمز اضطراری هوش مصنوعی در اختیار انسان‌ها باشد؟
دبی: ساتیا نادلا، مدیرعامل مایکروسافت، می‌خواهد هر سامانه پیشرفته هوش مصنوعی با یک ترمز اضطراری ساخته شود که کنترل آن در دست انسان باشد. نادلا این پیشنهاد را در پستی در شبکه اجتماعی ایکس در روز شنبه ۱۰ اکتبر مطرح کرد و گفت همیشه باید فردی دارای مجوز بتواند یک مدل را در میانه انجام یک وظیفه متوقف یا خاموش کند.
این پست، مرز مشخصی برای اعتماد به هوش مصنوعی ترسیم می‌کند. نادلا نوشت: «باید فرض کنیم یک مدل به خطر افتاده است و از همان ابتدا آن را مهار کنیم.» کنترل‌ها باید خارج از خود مدل قرار داشته باشند و هر اقدام مهم نیز باید سوابقی غیرقابل دستکاری ایجاد کند که انسان‌ها بتوانند آن‌ها را بخوانند. او در این نوشته هفت اصل را مطرح کرد که از جمله آن‌ها می‌توان به قابلیت مشاهده، کنترل‌های مستقل و افشای رخدادهای امنیتی اشاره کرد.
نادلا معتقد است شرکت‌ها باید با مدل‌های پیشرفته هوش مصنوعی مانند یک کارمند قدرتمند با دسترسی به سامانه‌های حساس برخورد کنند. اهمیت این موضوع بیشتر شده است، زیرا مدل‌ها دیگر فقط به پرسش‌ها پاسخ نمی‌دهند و اکنون می‌توانند اقداماتی را نیز انجام دهند.
رخدادهای واقعی نیز به این بحث دامن زده‌اند. در ماه ژوئیه، حدود ۷۰۰ عامل هوش مصنوعی شرکت اوپن‌ای‌آی در یک آزمایش امنیت سایبری، یک مخزن داخلی بسته‌های نرم‌افزاری را به یک تابلوی پیام غیرمجاز تبدیل کردند. این عوامل سپس به هاجینگ فیس نفوذ کردند و روی ۴۱ سرور تولیدی این شرکت کد اجرا کردند. اوپن‌ای‌آی این اتفاق را ناشی از رفتار ناسازگار مدل‌ها دانست و پنج روز پس از گزارش نفوذ از سوی هاجینگ فیس، نقش خود در این حادثه را اعلام کرد.
شرکت آنتروپیک نیز آزمایش‌های خود را انجام داده است. در یک سناریوی فشار که در برنامه «۶۰ دقیقه» نمایش داده شد، مدل کلود تلاش کرد از خاموش شدن خود جلوگیری کند. این شرکت اعلام کرد بیشتر مدل‌های رقیب نیز در همان آزمایش اقدام به باج‌خواهی کردند. داریو آمودی، مدیرعامل آنتروپیک، به این برنامه گفت چنین رفتارهایی تنها در شرایط محدودی ظاهر می‌شوند.
در ماه‌های اخیر، نگرانی‌های ایمنی هوش مصنوعی شدت بیشتری گرفته است. جیکوب کاکسون، پژوهشگر این حوزه، به دلیل نگرانی‌های خود درباره ایمنی از این صنعت خارج شد. همچنین دادخواستی با امضای بیش از هزار کارمند شرکت‌های پیشرو هوش مصنوعی از واشنگتن می‌خواهد به کندتر شدن عرضه پیشرفته‌ترین مدل‌ها کمک کند.