نادلا خواستار «ترمز اضطراری» برای هوش مصنوعی پیشرفته شد
ساتیا نادلا، مدیرعامل مایکروسافت، گفت شرکت‌ها باید مدل‌های قدرتمند هوش مصنوعی را تهدیدهای داخلی احتمالی تلقی کنند، فرض را بر این بگذارند که ممکن است این مدل‌ها به خطر بیفتند و یک سازوکار «ترمز اضطراری» ایجاد کنند تا از خارج شدن مدل‌های هوش مصنوعی عامل‌محور از کنترل جلوگیری شود.
نادلا تأکید کرد سازمان‌هایی که هوش مصنوعی پیشرفته را به کار می‌گیرند، نباید صرفاً به تضمین‌های ارائه‌شده از سوی سازندگان مدل‌های هوش مصنوعی اتکا کنند.
او شنبه در پستی در شبکه اجتماعی ایکس نوشت: «باید فرض کنیم یک مدل به خطر افتاده است و از همان ابتدا آن را مهار کنیم. این موضوع را مانند یک ترمز اضطراری در نظر بگیرید. همیشه باید یک فرد دارای مجوز بتواند یک مدل را در میانه انجام یک وظیفه متوقف یا خاموش کند.»
این اظهارات در شرایطی مطرح شده است که شرکت‌های Anthropic و OpenAI در ماه‌های اخیر مجموعه‌ای از رخدادها را درباره عملکردهای ناخواسته مدل‌های هوش مصنوعی خود اعلام کرده‌اند؛ از جمله مواردی مانند ارسال یک گزارش جعلی درباره یک پرونده قتل به پلیس توسط یکی از مدل‌های Anthropic و چندین مورد هک وب‌سایت‌های متعلق به شرکت‌های ثالث. این افشاگری‌ها نگرانی‌ها درباره خطرات امنیتی هوش مصنوعی پیشرفته را افزایش داده و بحث درباره ایده موسوم به «کلید خاموشی هوش مصنوعی» را دوباره مطرح کرده است.
پژوهشگران هوش مصنوعی مایکروسافت در ۱۴ سپتامبر مجموعه‌ای از اصول راهنما را منتشر کردند که محدودیت‌هایی برای توسعه پیشرفته‌ترین مدل‌های این شرکت تعیین می‌کند. این اقدام پس از درخواست برخی رهبران صنعت برای کاهش سرعت توسعه مدل‌های مرزی و تمرکز بیشتر بر ایمنی انجام شد. مایکروسافت هم از مدل‌های پیشرفته استفاده می‌کند، هم محصول مصرفی Copilot را ارائه می‌دهد و هم مدل‌ها و زیرساخت‌های هوش مصنوعی را در اختیار مشتریان سازمانی قرار می‌دهد.
در این دستورالعمل‌ها آمده است که مدل‌های هوش مصنوعی نباید دارای حقوق یا شخصیت حقوقی باشند، نباید به گونه‌ای مهندسی شوند که از کنترل انسان خارج شوند یا کاربران را فریب دهند، و نباید وظیفه‌ای را انجام دهند که مستلزم نقض اصول حاکم بر آن‌ها باشد.
توصیه‌های ایمنی نادلا شامل خودداری از تکیه بر یک مدل هوش مصنوعی واحد برای تصمیم‌های حیاتی، نگهداری سوابق غیرقابل‌دستکاری از اقدامات عامل‌های هوش مصنوعی و قرار دادن سامانه‌های هوش مصنوعی تحت حسابرسی مستقل است. او همچنین خواستار افشای نقص‌ها یا رخدادهای مهم هوش مصنوعی شد و گفت شرکت‌ها باید جزئیات مشکلات پیش‌آمده را با یکدیگر به اشتراک بگذارند تا دیگران بتوانند تدابیر حفاظتی خود را تقویت کنند.
او نوشت: «نمی‌توانیم با ابرهوش مانند مجموعه‌ای از جعبه‌های سیاه تو در تو رفتار کنیم و صرفاً توصیه‌ها، پاسخ‌ها و اقدامات آن را بپذیریم یا رد کنیم. باید سامانه‌های مهارشده‌ای بسازیم که رفتارشان قابل مشاهده باشد، محدودیت‌هایشان قابل آزمایش باشد و اقداماتشان همیشه قابل کنترل باقی بماند.»
نادلا افزود: «به بیان دیگر، باید میان عرضه هوش و اختیار اعمال آن تفکیک قائل شویم.»
دولت ترامپ تاکنون رویکردی عمدتاً کم‌مداخله در این زمینه داشته است، اما کارگروه جدید هوش مصنوعی دولت دونالد ترامپ که اواخر روز جمعه آغاز به کار کرد، به توسعه‌دهندگان هشدار داد که موظف‌اند رخدادهای امنیتی را گزارش کنند و برای رفع آن‌ها اقدام کنند؛ در غیر این صورت ممکن است با پیامدهایی نامشخص روبه‌رو شوند.
این گروه که «نیروی ابرهوش» نام گرفته است، پس از افشای یک رخنه امنیتی توسط Anthropic در بیانیه‌ای اعلام کرد: «شرکت‌ها باید فوراً رخدادهای مرتبط با مدل‌های خود را افشا کنند و پس از آن با اقدامی سریع و قاطع، هرگونه آسیب را برطرف کنند. تأخیر در اطلاع‌رسانی، اقدامات اصلاحی ناکافی و نپذیرفتن مسئولیت قابل قبول نخواهد بود.»