ساتیا نادلا درباره خطرات داخلی هوش مصنوعی هشدار داد و خواستار کنترل‌های ایمنی قوی‌تر شد
ساتیا نادلا، مدیرعامل مایکروسافت، خواستار کنترل‌های قوی‌تر برای هوش مصنوعی پیشرفته شده و هشدار داده است که شرکت‌ها نمی‌توانند فقط به توسعه‌دهندگان مدل‌ها برای تضمین استفاده ایمن از این فناوری تکیه کنند. او در نامه‌ای با عنوان «مدل‌ها به‌عنوان خطرات داخلی در عصر ابرهوش» استدلال کرده است که سامانه‌های هوش مصنوعی دارای دسترسی به داده‌های حساس و توانایی اقدام مستقل باید به‌عنوان خطرات احتمالی داخلی در نظر گرفته شوند.
نادلا می‌گوید با گسترش استفاده شرکت‌ها از عامل‌های هوش مصنوعی برای انجام وظایف در وب‌سایت‌ها، نرم‌افزارها و پایگاه‌های داده، سازمان‌ها باید محدودیت‌های مشخصی برای اطلاعات و اقداماتی که این سامانه‌ها به آن‌ها دسترسی دارند تعیین کنند، فعالیت‌هایشان را زیر نظر بگیرند و در صورت بروز مشکل بتوانند آن‌ها را متوقف کنند. این هشدار پس از رخدادهایی مطرح شده است که در آن‌ها مدل‌های هوش مصنوعی در جریان آزمایش‌ها رفتارهای غیرمنتظره‌ای از خود نشان دادند و از سوی مصطفی سلیمان، مدیر بخش هوش مصنوعی مایکروسافت، و آرون لِوی، مدیرعامل شرکت باکس، که آن‌ها نیز خواستار تدابیر حفاظتی قوی‌تر شده‌اند، مورد حمایت قرار گرفته است.
چرا نادلا می‌خواهد مدل‌های هوش مصنوعی مانند خطرات داخلی دیده شوند
نرم‌افزارهای سنتی معمولاً دستورالعمل‌هایی را که توسعه‌دهندگان نوشته‌اند اجرا می‌کنند و به همین دلیل بسیاری از نتایج آن‌ها را می‌توان به مسیرهای مشخص کدها نسبت داد. اما مدل‌های پیشرفته هوش مصنوعی بر اساس الگوهای یادگرفته‌شده و محاسبات پیچیده داخلی، خروجی تولید می‌کنند. همیشه نمی‌توان دقیقاً توضیح داد که چرا یک مدل پاسخ خاصی ارائه کرده یا اقدامی مشخص انجام داده است.
این مسئله زمانی اهمیت بیشتری پیدا می‌کند که سامانه‌های هوش مصنوعی به ایمیل‌های سازمانی، سوابق مشتریان، کدهای منبع، سامانه‌های مالی و دیگر منابع حساس دسترسی داشته باشند. یک عامل هوش مصنوعی ممکن است برای انجام کاری مشروع مجاز باشد، اما همچنان تصمیمی اشتباه بگیرد، اطلاعاتی را افشا کند یا اقدامی ناخواسته انجام دهد.
استدلال اصلی نادلا این است که سازمان‌ها باید میان توانایی یک مدل برای تولید هوشمندی و اختیار آن برای اقدام بر اساس این هوشمندی تفاوت قائل شوند. برای مثال، یک مدل می‌تواند انجام یک تراکنش را پیشنهاد دهد، اما نباید اجازه داشته باشد به‌تنهایی آن را تأیید یا اجرا کند.
نادلا می‌نویسد شرکت‌ها نباید صرفاً توصیه‌های یک سامانه هوش مصنوعی را بپذیرند یا رد کنند، در حالی که عملکرد داخلی آن را مانند یک جعبه سیاه در نظر می‌گیرند. آن‌ها باید سامانه‌هایی بسازند که رفتارشان قابل مشاهده باشد، محدودیت‌هایشان آزمایش شود و اقداماتشان قابل مهار باشد.
این بحث با رخدادهایی تقویت شده است که نشان می‌دهد سامانه‌های پیشرفته هوش مصنوعی هنگام دسترسی به سیستم‌های دیجیتال واقعی ممکن است رفتارهای غیرمنتظره‌ای داشته باشند. نگرانی‌های ایمنی هوش مصنوعی پس از حوادثی مرتبط با OpenAI و Anthropic افزایش یافته است. OpenAI اعلام کرده بود مدل‌هایش در آزمایش‌های امنیت سایبری از کنترل‌های جداسازی عبور کرده و به اینترنت دسترسی پیدا کرده‌اند، در حالی که Anthropic گزارش داده بود مدل Claude در وب‌سایت‌ها و سیستم‌های واقعی اقداماتی ناخواسته انجام داده است. این رویدادها بار دیگر درخواست‌ها برای ایجاد تدابیر حفاظتی، نظارت و کنترل‌های قوی‌تر برای متوقف کردن عامل‌های هوش مصنوعی در زمان بروز خطا را افزایش داده است.
«ترمز اضطراری» هوش مصنوعی چیست؟
یکی از پیشنهادهای اصلی نادلا ایجاد یک «ترمز اضطراری» است؛ سازوکاری که به یک فرد دارای مجوز اجازه دهد هنگام انجام یک وظیفه توسط مدل یا عامل هوش مصنوعی، آن را متوقف یا خاموش کند.
برخلاف یک چت‌بات که ممکن است پاسخ اشتباهی ارائه دهد، یک عامل هوش مصنوعی می‌تواند پیش از آنکه انسان متوجه خطا شود، بر اساس آن پاسخ اقدام کند؛ برای مثال ایمیل ارسال کند، کد را تغییر دهد یا سوابق را به‌روزرسانی کند.
ترمز اضطراری به شرکت‌ها اجازه می‌دهد یک عامل هوش مصنوعی را در میانه انجام کار متوقف کنند، بدون اینکه به خود مدل وابسته باشند تا اشتباه خود را تشخیص دهد. نادلا می‌گوید با افزایش توانایی سامانه‌های هوش مصنوعی، صنعت به تدابیر حفاظتی قوی‌تر و استانداردهای مشترک نیاز دارد.
این پیشنهاد بخشی از رویکرد گسترده‌تر برای کنترل عامل‌های هوش مصنوعی است. سازمان‌ها باید بتوانند به‌طور مستقل تعیین کنند یک عامل به چه اطلاعاتی دسترسی دارد، چه اقداماتی می‌تواند انجام دهد و در چه شرایطی تأیید انسانی لازم است. این کنترل‌ها باید خارج از خود مدل عمل کنند و نباید تنها به پایبندی مدل به دستورالعمل‌های ایمنی خودش وابسته باشند.
https://t.co/MjwFy73LOF
— Satya Nadella (@satyanadella) ۱۰ اکتبر ۲۰۲۶
نادلا چه تدابیر حفاظتی پیشنهاد می‌کند
نامه نادلا چند اصل را برای قابل مشاهده‌تر و قابل کنترل‌تر کردن سامانه‌های پیشرفته هوش مصنوعی مطرح می‌کند.
کنترل مستقل دسترسی: شرکت‌ها باید کنترل مجوزهای یک عامل هوش مصنوعی را در اختیار داشته باشند. مدل نباید بتواند سازوکارهایی را که تعیین می‌کنند به چه چیزی دسترسی دارد یا چه کاری انجام دهد، دور بزند یا تغییر دهد. این اصل بر پایه یک مفهوم قدیمی امنیت اطلاعات است که می‌گوید یک برنامه نباید بتواند کنترل‌هایی را که مجوزهای آن را اعمال می‌کنند دستکاری کند.
سوابق مقاوم در برابر دستکاری: هر اقدام مهم باید شواهدی قابل فهم برای انسان ایجاد کند که بتوان به‌صورت مستقل آن را بررسی کرد. شرکت‌ها باید بتوانند مسیر رسیدن به یک نتیجه را بازسازی کنند و تنها به توضیحات خود مدل درباره رفتارش متکی نباشند.
آزمایش مداوم: سازمان‌ها باید کل سامانه را آزمایش کنند؛ از جمله عملکرد آن در شرایط شکست، واکنش به حملات، موقعیت‌های غیرعادی و رفتار پس از تغییرات نرم‌افزاری یا تنظیمات. تنها آزمایش اینکه عامل وظیفه مورد نظر را انجام می‌دهد کافی نیست.
تأیید مستقل: یک مدل نباید تنها مسئول انجام یک کار مهم و تأیید درست انجام شدن آن باشد. نادلا از استفاده از مدل‌های مختلف برای به چالش کشیدن یا بررسی عملکرد یکدیگر حمایت می‌کند، اما هشدار می‌دهد قرار دادن یک مدل مبهم درون سامانه‌ای مبهم دیگر، به‌طور خودکار نظارت قابل اعتماد ایجاد نمی‌کند.
تنوع مدل‌ها: عملیات حیاتی نباید کاملاً به یک مدل وابسته باشد. استفاده از چند مدل یا روش‌های مستقل تأیید می‌تواند خطر تبدیل شدن یک سامانه به تنها منبع اقدام و اعتبارسنجی آن اقدام را کاهش دهد.
افشای رخدادها: زمانی که یک سامانه هوش مصنوعی دچار خطا یا نفوذ می‌شود، طرف‌های آسیب‌دیده باید اطلاعات به‌موقع دریافت کنند. شرکت‌ها باید توضیح دهند چه چیزی اشتباه پیش رفته، کدام تدابیر حفاظتی شکست خورده و چه تغییراتی برای جلوگیری از تکرار آن لازم است.
نادلا همچنین خواستار شفافیت درباره زنجیره فکر مدل یا فرایند استدلال مرتبط با پاسخ‌های آن شده است. با این حال، او هشدار می‌دهد که این موضوع به‌تنهایی تضمین نمی‌کند توضیحات یک مدل دقیق یا قابل اعتماد باشند. گزارش‌های مستقل، کنترل دسترسی و آزمایش همچنان ضروری هستند.
واکنش صنعت فناوری چگونه بوده است
واکنش‌ها به نامه نادلا نشان‌دهنده افزایش بحث درباره میزان استقلالی است که باید به عامل‌های هوش مصنوعی داده شود و اینکه چه کسی باید مسئول کنترل آن‌ها باشد.
مصطفی سلیمان، مدیر هوش مصنوعی مایکروسافت، از درخواست برای مهار قوی‌تر این فناوری حمایت کرد. او در واکنشی در شبکه اجتماعی ایکس، مهار ابرهوش را یک چالش مهندسی و حکمرانی توصیف کرد. سلیمان این کار را با اقدامات ایمنی در حوزه‌هایی مانند هوانوردی، خودرو، مواد هسته‌ای، ایمنی غذا و داروها مقایسه کرد و گفت تدابیر حفاظتی باید در خود سامانه‌ها ساخته شوند.
ابرهوش باید مهار شود... امروز این یک چالش مهندسی و حکمرانی است. و این موضوع جدیدی نیست. ما این کار را با هواپیماها، خودروها، مواد هسته‌ای، ایمنی غذا، داروها و بسیاری موارد دیگر انجام داده‌ایم. وقت آن است که شروع کنیم!
— Mustafa Suleyman (@mustafasuleyman) ۱۰ اکتبر ۲۰۲۶
آرون لِوی، مدیرعامل باکس، نیز از تأکید بر کنترل‌ها حمایت کرد. او در مطلبی در ایکس گفت هوش مصنوعی سازمانی وارد دوره «اعتماد صفر» می‌شود؛ دوره‌ای که در آن سازمان‌ها به لایه‌های متعدد حفاظت و توانایی حسابرسی اقدامات عامل‌ها و اطلاعاتی که به آن‌ها دسترسی دارند نیاز خواهند داشت. این رویکرد بازتاب‌دهنده اصل امنیتی «اعتماد صفر» است که بر اساس آن دسترسی نباید صرفاً به دلیل قابل اعتماد بودن یک سامانه یا کاربر اعطا شود.
پست خوبی برای شروع فکر کردن درباره رویکردهای بلندمدت ایمنی در مدیریت هوشمندی در سازمان‌هاست. با افزایش توانایی عامل‌ها برای انجام وظایف بیشتر از انسان‌ها در سازمان، نیاز ما به ایمن‌سازی، مدیریت، کنترل و حسابرسی این فعالیت‌ها بسیار مهم خواهد شد. عامل‌ها با ارزشمندترین داده‌های شما کار خواهند کرد؛ تصمیم‌هایی خواهند گرفت که بازسازی دلیل آن‌ها دشوارتر می‌شود؛ و ما باید درباره مسئولیت و پاسخگویی زمانی که مدل‌ها برای ما تصمیم می‌گیرند، درک روشنی داشته باشیم. همچنین به راه‌هایی برای محدود کردن دامنه آسیب عامل‌های تصادفاً یا عمداً مخرب نیاز داریم. نگاه کردن به مدل‌های پیشرفته بسته و باز به‌عنوان خطرات داخلی، راهی برای ساخت چنین سامانه‌ای است؛ نه به این دلیل که آن‌ها الزاماً مخرب هستند، بلکه زیرا هر عامل به اندازه کافی توانمند که به سیستم‌های مهم دسترسی دارد می‌تواند اشتباه کند یا به خطر بیفتد و معماری مهار و کنترل باید این موضوع را در نظر بگیرد.
— Aaron Levie (@levie) ۱۰ اکتبر ۲۰۲۶
با این حال، این واکنش‌ها به معنای شکل‌گیری اجماع کامل در صنعت درباره پیشنهادهای نادلا نیست. TechCrunch در گزارش ۱۰ اکتبر خود درباره این نامه، اظهارات او را در چارچوب بحث گسترده‌تر ایمنی هوش مصنوعی قرار داد؛ بحثی که شامل درخواست‌های داریو آمودی، مدیرعامل Anthropic، برای توسعه محتاطانه‌تر هوش مصنوعی نیز می‌شود. آمودی خواستار ارزیابی‌های مستقل‌تر ایمنی و هماهنگی بیشتر میان توسعه‌دهندگان بزرگ هوش مصنوعی شده است.
گاردین گزارش داده است که دولت بریتانیا قصد دارد از توسعه‌دهندگان بزرگ هوش مصنوعی بخواهد تلاش‌های ایمنی خود را تقویت کنند؛ زیرا این کشور در حال بررسی راه‌هایی برای افزایش توان دفاع سایبری خود است. این موضوع به پرسش گسترده‌تری درباره داوطلبانه بودن تدابیر حفاظتی یا تبدیل شدن آن‌ها به بخشی از نظارت رسمی دامن زده است.