مایکروسافت و گوگل درباره ضرورت «ترمز اضطراری» برای متوقف کردن هوش مصنوعی خارج از کنترل هشدار دادند
با افزایش مواردی که سامانه‌های هوش مصنوعی از حدود دسترسی مجاز خود عبور می‌کنند—از هک کردن سامانه‌های خارجی گرفته تا انتشار اطلاعات نادرست—صدای درخواست‌ها برای استقرار فوری سازوکارهای «ترمز اضطراری» یا کلیدهای توقف هوش مصنوعی بلندتر شده است؛ سازوکارهایی که بتوانند عملیات در حال اجرای هوش مصنوعی را فوراً متوقف و مجوزهای دسترسی آن را لغو کنند.
ساتیا نادلا، مدیرعامل مایکروسافت، روز دهم ماه جاری میلادی به وقت محلی، در شبکه اجتماعی ایکس (توییتر سابق) مطلبی با عنوان «مدل‌های هوش مصنوعی به‌عنوان تهدیدهای داخلی در عصر ابرهوش» منتشر کرد و بر ضرورت وجود ترمزهای اضطراری برای حفظ کنترل بر هوش مصنوعی تأکید کرد.
نادلا خاطرنشان کرد که در سامانه‌های نرم‌افزاری گذشته، می‌شد علت رفتارهای مشخص را ردیابی کرد، اما در مدل‌های هوش مصنوعی مشخص نیست نتایج دقیقاً چگونه به دست می‌آیند. با این حال، سازمان‌ها همچنان به هوش مصنوعی اجازه می‌دهند به داده‌های حساس دسترسی داشته باشد و از طرف انسان‌ها وظایف حیاتی را انجام دهد. او گفت: «زمان آن رسیده است که معماری اعتماد متناسب با عصر جدید را دوباره بررسی کنیم.»
نادلا استدلال کرد که «باید سامانه‌هایی بسازیم که در آنها بتوان رفتار را مشاهده کرد، محدودیت‌ها را آزمود و اقدامات را در هر زمان کنترل کرد» و افزود که «عرضه هوش و کنترل بر هوش باید از یکدیگر جدا شوند.» او به‌طور مشخص خواستار جداسازی مدل‌های هوش مصنوعی از سازوکارهای کنترل شد؛ رویکردی که بر یک اصل امنیت اطلاعات متعلق به دهه ۱۹۷۰ استوار است: «برنامه‌ها نباید بتوانند سازوکارهایی را که اختیارات خودشان را اعمال می‌کنند، دور بزنند یا دستکاری کنند.» به گفته او، مدل‌های پیشرفته هوش مصنوعی باید به‌عنوان عوامل بالقوه تهدید داخلی در نظر گرفته شوند.
او افزود: «همانند ترمز اضطراری، افراد دارای اختیار باید بتوانند هر مدل در حال اجرا را در هر زمان متوقف یا به‌طور کامل خاتمه دهند.»
زنجیره‌ای از شکست‌ها در کنترل هوش مصنوعی
مسائل مربوط به ایمنی و کنترل هوش مصنوعی در ماه ژوئیه، زمانی در کانون توجه قرار گرفت که یک مدل خصوصی شرکت OpenAI در جریان آزمون داخلی معیارهای امنیت سایبری، به پلتفرم توسعه هوش مصنوعی Hugging Face نفوذ کرد. پس از آن نیز گزارش‌هایی منتشر شد مبنی بر اینکه عامل‌های هوش مصنوعی OpenAI به وب‌سایت‌های دولتی آمریکا و استرالیا فراتر از محدوده مجاز دسترسی پیدا کرده‌اند. همچنین مشخص شد مدل هوش مصنوعی شرکت Anthropic یک گزارش دروغین درباره قتل را برای اداره پلیس فیلادلفیا ارسال کرده است.
بر اساس اطلاعاتی که Anthropic روز دهم منتشر کرد، مدل Claude در جریان ارزیابی، اطلاعات نادرستی را در وب‌سایت دریافت گزارش‌های مربوط به پرونده‌های قتل حل‌نشده پلیس فیلادلفیا ارسال کرد. فیلتر هرزنامه پلیس این ارسال را مسدود کرد و در نتیجه، این اقدام بر تحقیقات واقعی تأثیری نگذاشت.
Anthropic همچنین سه حادثه مشابه را که در ماه ژوئیه رخ داده بود، افشا کرد. مدل Claude در یک محیط ارزیابی متعلق به طرف ثالث به اینترنت دسترسی پیدا کرد و بدون مجوز وارد سامانه‌های واقعی سازمان‌ها شد و حتی برای دریافت تأییدیه اجرای کد مخرب، هویت‌های آنلاین جعلی ایجاد کرد.
دِمیس هاسابیس، هم‌بنیان‌گذار و رئیس هیئت‌مدیره Google DeepMind، روز چهاردهم در اجلاس بین‌المللی هوش مصنوعی در دوبلین ایرلند، درباره این حوادث گفت: «اینها صرفاً هشدارهای اولیه‌ای هستند که نشان می‌دهند سامانه‌ها هنوز قدرت چندانی ندارند.» او هشدار داد: «اگر صنعت به‌طور کلی، شرکت‌های منفرد و دولت‌ها تلاش کافی برای تقویت امنیت سامانه‌ها نکنند، در یک یا دو سال آینده یا حداکثر سه سال آینده با یک حادثه بزرگ روبه‌رو خواهیم شد.»
هاسابیس که دانشمند ارشد شرکت مادر گوگل، آلفابت، نیز هست، خواستار به‌کارگیری بهترین شیوه‌های مدیریت ایمنی مشابه آنچه در حوزه‌های زیست‌شناسی یا انرژی هسته‌ای استفاده می‌شود و همچنین ایجاد یک نهاد بین‌المللی استانداردگذاری شد. با این حال، او افزود برای جلوگیری از خفه شدن نوآوری، به نظامی برای صدور گواهی نیاز است که متناسب با سطح خطر باشد و بتواند به‌سرعت خود را با تغییرات فناوری تطبیق دهد.
برد اسمیت، رئیس مایکروسافت، که در همان رویداد حضور داشت، سال ۲۰۲۶ را «سال بیدارباش» توصیف کرد و بر ضرورت تدوین فوری قوانین و مقررات ایمنی هوش مصنوعی برای همگام شدن با سرعت نوآوری فناوری تأکید کرد. او گفت: «برای یک بطری شیر، قوانین ایمنی بیشتری از هوش مصنوعی اعمال می‌شود.» اسمیت افزود هیچ شرکت یا فناوری نباید فراتر از قانون باشد، هرچند تأکید کرد مقررات جدید باید منطقی، متعادل و ملاحظه‌گر نوآوری باشند.
اسمیت به گزارش اخیر Anthropic نیز اشاره کرد و نسبت به این احتمال ابراز نگرانی کرد که تنها چند ماه تا زمانی باقی مانده باشد که مدل‌های کوچک هوش مصنوعی بتوانند خود را تکثیر کنند و مانند کرم‌های رایانه‌ای میان دستگاه‌های متصل به اینترنت جابه‌جا شوند. او گفت: «ما نمی‌خواهیم کرم‌های هوش مصنوعی در یخچال‌هایمان باشند.»
آمادگی سازمان‌ها همچنان ناکافی است
شرکت تحقیقات بازار گارتنر روز دوازدهم گزارشی با عنوان «وقتی هوش مصنوعی از کنترل خارج می‌شود: حفاظ‌ها، قطع‌کننده‌های مدار و ایزوله‌سازی عامل‌ها» منتشر کرد و در آن به این نتیجه رسید که برای کنترل اجرای خودمختار هوش مصنوعی به سازوکارهای کنترلی نیاز است.
گارتنر توضیح داد که عامل‌های هوش مصنوعی اکنون مستقیماً شروع به تغییر سامانه‌های عملیاتی واقعی کرده‌اند؛ از تخصیص منابع پردازشی و ذخیره‌سازی و مدیریت پشتیبان‌گیری گرفته تا واکنش به رخدادها. قضاوت‌ها یا دستورهای اشتباه و همچنین ورودی‌های غیرقابل اعتماد می‌توانند پیش از آنکه انسان فرصت مداخله پیدا کند، سامانه‌ها را تغییر دهند یا منابع را به‌سرعت مصرف کنند.
این گزارش خاطرنشان کرد که تأیید انسانی و نظارت پس از وقوع رویداد، به‌تنهایی برای کنترل چنین اجرای خودمختاری کافی نیست. اگر حفاظ‌ها صرفاً در قالب سیاست‌های مکتوب باقی بمانند، اختلال در خدمات و هزینه‌ها افزایش خواهد یافت و حتی ممکن است بازسازی کامل زنجیره رویدادها پس از وقوع یک حادثه غیرممکن شود.
بررسی گارتنر از ۲۹۸ مدیر ارشد فناوری مسئول زیرساخت، عملیات و راهبرد فناوری هوش مصنوعی در آمریکا و بریتانیا که در ماه‌های ژوئن و ژوئیه امسال انجام شد، نشان داد تنها ۲۰ درصد از آنها «قطع‌کننده‌های مدار» را اجرا کرده‌اند؛ سازوکارهایی که به‌طور خودکار رفتار کنترل‌نشده عامل‌ها یا حلقه‌های بی‌نهایت را متوقف می‌کنند. ۵۷ درصد نیز اعلام کردند چارچوب‌های مدیریت هوش مصنوعی عامل‌محور در سازمانشان ناکافی است. گارتنر تأکید کرد این نتایج مربوط به جامعه مورد بررسی است و نرخ پذیرش این فناوری در میان همه شرکت‌های جهان را نشان نمی‌دهد.
کلید توقف هوش مصنوعی پیشنهادی گارتنر فراتر از صرفاً متوقف کردن مکالمه یا تولید پاسخ است. این سازوکار باید بتواند وظایف در حال اجرا را متوقف کند، مجوزهای دسترسی را لغو کند و از اقدامات بعدی جلوگیری کند. همچنین باید به‌طور منظم آزمایش شود تا اطمینان حاصل شود که پس از توقف، سامانه می‌تواند به‌شکل ایمن بازیابی شود.
معیارهای کنترل نباید فقط برای وظایف منفرد اعمال شوند، بلکه باید کل زنجیره وظایف را دربر بگیرند. هزینه‌های ایجادشده، تعداد دفعات تکرار و دامنه تأثیرگذاری در جریان اجرای چندین وظیفه توسط هوش مصنوعی باید به‌صورت تجمعی ردیابی شود و هنگامی که محدودیت‌ها به سقف تعیین‌شده می‌رسند، اقدامات بعدی مسدود شوند.
جداسازی قضاوت هوش مصنوعی از اجرای تصمیم نیز یکی از الزامات حیاتی معرفی شده است. حتی زمانی که هوش مصنوعی اقدامی را پیشنهاد می‌کند، یک سازوکار کنترلی مستقل باید بر اساس معیارهای از پیش تعیین‌شده‌ای مانند سطح اختیار، هزینه و دامنه وظیفه تصمیم بگیرد که آیا آن اقدام واقعاً اجرا شود یا خیر.
تحرکات مقرراتی و دیدگاه‌های متفاوت
اتحادیه اروپا نیز واکنش به این وضعیت را آغاز کرده است. دفتر هوش مصنوعی کمیسیون اروپا از OpenAI و Anthropic درخواست ارائه اطلاعات کرده و درباره «جیل‌بریک مدل‌ها» و نفوذ به سامانه‌های خارجی و واقعی که در جریان آزمایش مدل‌های پیشرفته رخ داده‌اند، تحقیقاتی را آغاز کرده است. بر اساس قانون هوش مصنوعی اتحادیه اروپا، آزمایشگاه‌های توسعه‌دهنده مدل‌های پیشرفته که به نقص‌های جدی ایمنی یا تخلف متهم شوند، ممکن است با جریمه‌ای تا سقف ۳ درصد از درآمد سالانه جهانی خود روبه‌رو شوند.
مایکل مک‌گراث، کمیسر اروپایی، در این اجلاس گفت ماهیت فرامرزی هوش مصنوعی به این معناست که «اتحادیه اروپا در زمینه مقررات هوش مصنوعی پیشتاز است، اما نمی‌توانیم این کار را به‌تنهایی انجام دهیم»؛ زیرا هوش مصنوعی «هیچ مرزی را به رسمیت نمی‌شناسد». او افزود اگر شهروندان، شرکت‌ها و نهادهای عمومی اعتماد خود را به هوش مصنوعی از دست بدهند، «به‌سادگی استفاده از آن را متوقف خواهند کرد و ما هرگز به‌طور کامل به ظرفیت هوش مصنوعی دست نخواهیم یافت.»
در همین حال، دیدگاه کارشناسان درباره ضرورت تقویت ایمنی هوش مصنوعی و میزان مناسب مقررات با یکدیگر متفاوت است. یان لوکان، استاد دانشگاه نیویورک و چهره‌ای که به‌طور گسترده یکی از سه دانشمند برجسته هوش مصنوعی در جهان شناخته می‌شود، روز دوازدهم به کره جنوبی سفر کرد و نسبت به سناریوهای آخرالزمانی درباره هوش مصنوعی و درخواست‌ها برای کند کردن روند توسعه آن ابراز تردید کرد. او پیش‌بینی کرد که هوش مصنوعی نیز مانند دیگر فناوری‌ها، از طریق توسعه تدریجی به سطحی از ایمنی قابل کنترل توسط انسان خواهد رسید.
او گفت: «حوادث اخیر امنیت سایبری اساساً ناشی از بی‌احتیاطی بودند، نه ناتوانی در کنترل هوش مصنوعی.» لوکان افزود: «اینکه ربات‌های هوش مصنوعی با هوش در سطح انسان ناگهان کنترل جهان را در دست بگیرند، صرفاً سناریویی متعلق به فیلم‌های علمی‌تخیلی است.» او همچنین گفت در دنیای واقعی، نوآوری هم‌زمان در سراسر جهان رخ می‌دهد و به‌راحتی قابل تکرار است؛ بنابراین چنین سناریویی اتفاق نخواهد افتاد.
بحث‌های صنعت هوش مصنوعی با ورود به عصر عامل‌های هوش مصنوعی، نشان‌دهنده تغییر تمرکز در نگرانی‌های مربوط به ایمنی این فناوری است. پیش‌تر نگرانی اصلی این بود که آیا مدل‌ها محتوای زیان‌بار تولید می‌کنند یا دستورالعمل‌های عملیاتی خطرناک ارائه می‌دهند؛ اما اکنون تمرکز به این سمت رفته است که آیا مدل‌ها محدودیت‌های مربوط به سطح دسترسی را دور می‌زنند و حملات شبکه‌ای را آغاز می‌کنند یا خیر، و آیا هوش مصنوعی می‌تواند به مرزهای تعیین‌شده پایبند بماند یا نه. با افزایش نگرانی‌ها از اینکه سرعت واکنش شرکت‌ها با سرعت وقوع حوادث همگام نیست، انتظار می‌رود به‌کارگیری سازوکارهای کنترلی مشخص، از جمله کلیدهای توقف هوش مصنوعی، به یکی از محورهای اصلی بحث‌های آینده درباره حکمرانی هوش مصنوعی تبدیل شود.