مدیرعامل انویدیا: انتشار مدل‌های هوش مصنوعی آسیب‌زا باید متوقف شود
نویسنده: اریک فان کلینکن
تابستان امسال، عامل‌های هوش مصنوعی از کنترل خارج شدند. شمار چشمگیری از سازمان‌ها تحت تأثیر فعالیت عامل‌هایی قرار گرفتند که بر پایه مدل‌های هوش مصنوعی در حال آموزش یا آزمایش، از جمله مدل‌های شرکت‌های OpenAI و آنتروپیک، اجرا می‌شدند. OpenAI به‌تنهایی به بیش از ۱۰۰ سازمان اطلاع داد که با چنین وضعیتی روبه‌رو شده‌اند. جنسن هوانگ، مدیرعامل انویدیا، در کنفرانس GTC برلین توضیح داد که شرکتش چگونه می‌کوشد هوش مصنوعی را دوباره مهار کند.
محور اصلی این تلاش، پلتفرم متن‌باز ایمنی عامل‌ها (Open Agent Safety Platform) است که ۲۸ سپتامبر معرفی شد. این پلتفرم از محیط اجرایی نرم‌افزاری OpenShell و ابزار نظارتی سخت‌افزاری Sentry تشکیل شده است. هوانگ در پاسخ به پرسش Techzine گفت OpenShell به‌طور مشخص از وقوع «همان حوادثی که فکر می‌کنم هر دوی ما درباره‌شان صحبت می‌کنیم، جلوگیری خواهد کرد». دستیابی به این هدف بلندپروازانه مستلزم ایجاد لایه‌ای برای کنترل دقیق‌تر است؛ زیرا روش‌های فعلی عملاً بیشتر برای نرم‌افزارهای متعارف مناسب بوده‌اند.
خروج از محدوده مهار
در بررسی حمله عامل‌های OpenAI به هاجینگ‌فیس و نمونه‌های متعدد دیگر، نکته‌ای که بارها مطرح شده، این است که در بیشتر موارد نشانه چندانی از «سوءنیت» وجود نداشت؛ البته اگر اساساً بتوان چنین مفهومی را درباره هوش مصنوعی به کار برد. به عامل‌ها وظایفی مانند پژوهش یا اجرای آزمون‌های معیار امنیت سایبری سپرده شده بود، اما آن‌ها راه‌هایی برای عبور از محدودیت‌های حفاظتی پیدا کردند. در مورد OpenAI، سطح این تدابیر حفاظتی عمداً برای انجام آزمایش‌ها کاهش یافته بود. هوانگ توضیح داد که روش‌های فعلی مهار، در اصل به استفاده از ماشین مجازی با مجوزهای ثابت متکی هستند. در چنین ساختاری، عامل ممکن است به یک فایل، یک پوشه، شبکه یا حتی همه منابع دسترسی داشته باشد. او تأکید کرد: «باید سیاست‌های دسترسی بسیار دقیق و جزئی برای عامل داشته باشید.»
نکته مهم این است که باید بتوان با شواهد قابل‌راستی‌آزمایی ثابت کرد تدابیر مهار مطابق انتظار عمل می‌کنند. مدیرعامل انویدیا این روش را «راستی‌آزمایی صوری» (Formal Verification) نامید. در این رویکرد، به‌جای اتکا به چند نمونه آزمایشی، با روش‌های ریاضی ثابت می‌شود که یک سامانه الزامات و مشخصات تعیین‌شده را برآورده می‌کند. در OpenShell، ابزاری با عنوان اثبات‌گر سیاست‌های دسترسی (Policy Prover) قواعد پیشنهادی عامل را بررسی می‌کند و دسترسی‌های جدید و پرخطر را برای بررسی انسانی علامت‌گذاری می‌کند. بررسی مرزهای دسترسی نیز همان کاری را انجام می‌دهد که از نامش برمی‌آید: ثابت می‌کند سیاست‌های تعریف‌شده هرگز دسترسی عامل را از حداکثر محدوده‌ای که از پیش تعیین شده است، فراتر نمی‌برند.
کنترل در لایه‌های عمیق‌تر
رویکرد انویدیا از مجموعه گسترده سخت‌افزارهای این شرکت بهره می‌گیرد. در طراحی مرجع این سامانه، علاوه بر پردازنده‌های گرافیکی، پردازنده‌های مرکزی Vera انویدیا نیز به کار گرفته شده‌اند که OpenShell برای اجرا روی آن‌ها بهینه‌سازی شده است. همچنین، واحدهای پردازش داده BlueField-4 میزبان Sentry هستند. این ابزار نظارتی مستقل از دستگاهی اجرا می‌شود که عامل هوش مصنوعی روی آن فعالیت می‌کند و در صورت عبور عامل از محدوده مجاز، می‌تواند ظرف چند میلی‌ثانیه آن را قرنطینه کند. استفاده از این لایه سخت‌افزاری اجباری نیست؛ سازمان‌ها می‌توانند OpenShell را به‌تنهایی به کار بگیرند و این نرم‌افزار روی تراشه‌های مبتنی بر معماری Arm و پردازنده‌های اینتل نیز اجرا می‌شود. با این حال، ممکن است این پرسش مطرح شود که چرا انویدیا تا این اندازه بر ایمنی هوش مصنوعی تأکید دارد. مگر مسئولیت بررسی و ایمن‌سازی محصولات بر عهده خود آزمایشگاه‌های هوش مصنوعی نیست؟
شرکت آنتروپیک پیش‌تر OpenShell را در محصول Claude Managed Agents ادغام کرده است و هوانگ از تلاش‌های آزمایشگاه‌های هوش مصنوعی برای بهبود ایمنی استقبال می‌کند. او می‌گوید: «ایمنی امروز مهم‌ترین موضوع و بحث در حوزه هوش مصنوعی است و این مسئله تا حد زیادی به اطمینان از وجود یک سامانه مهار امن برای عامل‌ها مربوط می‌شود.»
هرچند OpenShell شاید می‌توانست از برخی نفوذهای عامل‌های هوش مصنوعی جلوگیری کند یا شدت آن‌ها را کاهش دهد، هوانگ به مشکل بنیادی‌تری نیز اشاره کرد: برخی عامل‌ها اساساً تحت نظارت نبودند. خبرگزاری رویترز گزارش داد که OpenAI به مدت یک هفته متوجه نشده بود یکی از عامل‌هایش در حال هک‌کردن هاجینگ‌فیس است. همچنین، نفوذ یک عامل به درگاه خدمات درمانی مدیکر استرالیا در ۱۸ ژوئن، تا ۱۱ اوت از دید OpenAI پنهان مانده بود.
مخالفت با کندکردن روند توسعه
پرسشی از سوی مجله تایم، واکنش تند هوانگ را برانگیخت. شماری از مدیران آزمایشگاه‌های هوش مصنوعی، از جمله داریو آمودی، مدیرعامل آنتروپیک، خواستار راه‌هایی برای «کنترل و تنظیم سرعت پیشرفت فناوری‌های پیشرو» در حوزه هوش مصنوعی شده‌اند. اما هوانگ به‌صراحت با کندکردن هماهنگ روند توسعه این فناوری از طریق الزام قانونی مخالف است. او گفت: «این حرف‌ها مضحک است. فقط می‌خواهم مطمئن شوم که در اینجا مانند افراد بالغ رفتار می‌کنیم.» به گفته او، فعالان صنعت در حال تدوین هنجارها، استانداردها و سازوکارهای حسابرسی مشترک هستند؛ اما اگر یک آزمایشگاه هوش مصنوعی، هر آزمایشگاهی که باشد، از پیش بداند مدلش آسیب‌زا است، باید «فوراً متوقفش کند».
هوانگ در عوض پیشنهاد می‌کند سیاست‌گذاران به‌جای محدودکردن کل فناوری هوش مصنوعی، بر کاربردهایی تمرکز کنند که از آن بهره می‌برند. او با اشاره به نقش پیشتاز اروپا در تنظیم مقررات این فناوری هشدار داد که محدودکردن بیش از حد صنعت می‌تواند به وضعیتی منجر شود که اروپا «اصلاً هوش مصنوعی نداشته باشد»؛ پیامدی که به گفته او «ممکن است بدترین نتیجه باشد».