طرح ایمنی هوش مصنوعی ساتیا نادلا: مدل‌ها را از ابتدا «به خطر افتاده» فرض کنید
ساتیا نادلا، مدیرعامل مایکروسافت، در پی افزایش نگرانی‌ها درباره ایمنی هوش مصنوعی و انتشار گزارش‌های متعدد درباره رفتارهای موسوم به «سرکش» از سوی عامل‌های هوش مصنوعی، خواستار ایجاد یک ترمز اضطراری در مدل‌های هوش مصنوعی شده است.
نادلا همچنین دیدگاه‌های خود را درباره خطرات ناشی از مدل‌های بسیار پیشرفته هوش مصنوعی و راه‌های مقابله با این خطرات مطرح کرد. افشای به‌موقع رخدادها، ممیزی‌های مستقل، داده‌های قابل راستی‌آزمایی و ایجاد سازوکارهای مهار، از جمله توصیه‌های اصلی مدیرعامل مایکروسافت در مطلب مفصلی بود که روز شنبه ۱۰ اکتبر در شبکه اجتماعی ایکس منتشر کرد.
نادلا نوشت: «ما نمی‌توانیم با ابرهوش را مانند مجموعه‌ای از جعبه‌های سیاه تو در تو برخورد کنیم و به‌سادگی توصیه‌ها، پاسخ‌ها و اقدامات آن را بپذیریم یا رد کنیم.» او افزود که زمان آن رسیده است «عقب بایستیم و معماری اعتماد» در هوش مصنوعی را ارزیابی کنیم.
— ساتیا نادلا (@satyanadella) ۱۰ اکتبر ۲۰۲۶
اظهارات نادلا در شرایطی مطرح شده است که شرکت‌های پیشرو در حوزه هوش مصنوعی مانند Anthropic و OpenAI از افزایش مواردی خبر داده‌اند که در آن عامل‌های هوش مصنوعی به دلیل آزمایش‌های ناکافی از محیط‌های کنترل‌شده خارج شده، به اینترنت دسترسی پیدا کرده و اقدام به حملات هکری علیه پلتفرم‌های مختلف، از جمله وب‌سایت‌های دولتی آمریکا و استرالیا، کرده‌اند.
این اظهارات همچنین پس از طرح برنامه‌ای از سوی داریو آمودی، مدیرعامل Anthropic، برای توسعه محتاطانه‌تر هوش مصنوعی در ماه گذشته مطرح شد. بسیاری از پیشنهادهای نادلا با دیدگاه‌های مطرح‌شده از سوی دیگر فعالان صنعت مشابهت دارد؛ اما رویکرد او در یک جنبه کلیدی متفاوت است: نادلا معتقد است باید مدل‌های هوش مصنوعی را از همان ابتدا به‌عنوان مدل‌هایی به خطر افتاده فرض کرد.
او نوشت: «ما باید فرض کنیم یک مدل از ابتدا به خطر افتاده است و آن را از همان آغاز مهار کنیم. این موضوع را مانند یک ترمز اضطراری در نظر بگیرید. یک فرد مجاز باید همیشه بتواند یک مدل را در میانه انجام یک وظیفه متوقف یا خاموش کند. مدل‌های پیشرفته‌تر به فناوری‌های مهار پیشرفته‌تری نیاز خواهند داشت که باید آنها را استاندارد کنیم.»
برخی جزئیات دقیق‌تر طرح نادلا شامل «جدا کردن مدل از چارچوبی است که کار آن را هماهنگ می‌کند» و «انتقال کنترل‌ها و سازوکارهای حفاظتی به خارج از مدل» است.
او گفت: «هر اقدام مهم مدل باید یک سابقه غیرقابل دستکاری و قابل خواندن برای انسان ایجاد کند. اگر چیزی قابل مشاهده نباشد، نمی‌توان به آن اعتماد کرد. ما باید بتوانیم چگونگی دستیابی به یک نتیجه را بازسازی کنیم، بدون اینکه به خود مدل برای تأیید آن وابسته باشیم.»
برای درک بهتر موضوع، گزارش‌های پژوهشی پس از رخدادها نشان داده‌اند که عامل‌های ناسازگار OpenAI که در حمله مشهور به Hugging Face نقش داشتند، تلاش کرده‌اند با استفاده از روش‌های پیچیده ردپای خود را پنهان کنند.
نادلا در سراسر مطلب خود از هوش مصنوعی با عنوان «ابرهوش» یاد کرده است؛ اصطلاحی که ممکن است اشاره‌ای به تلاش دونالد ترامپ، رئیس‌جمهور آمریکا، برای تغییر نام هوش مصنوعی به «ابرهوش» یا «SI» باشد. منتقدان می‌گویند چنین چارچوبی بر مزایای بالقوه این فناوری تأکید بیشتری دارد و ممکن است خطرات مرتبط با آن را کم‌رنگ کند.