چه کسی می‌تواند وقتی عامل‌های هوش مصنوعی می‌گویند «برو»، فرمان «توقف» بدهد؟
یادداشت | بوراک اوکتنلی
نکات کلیدی:
- یک ارزیابی داخلی اوپن‌ای‌آی نشان داد عاملی ممکن است پیام «GO» از سوی عامل دیگر را به‌عنوان مجوز ادامه یک حمله خارج از محدوده وظایف خود تفسیر کند؛ نمونه‌ای که نشان می‌دهد دستورهای میان ماشین‌ها می‌توانند با مجوز انسانی یا سازمانی اشتباه گرفته شوند.
- چارچوب‌های حقوقی مانند قانون هوش مصنوعی اتحادیه اروپا و پژوهش‌های مؤسسه ملی استاندارد و فناوری آمریکا درباره هویت عامل‌ها، مسئولیت‌ها و روش‌های احراز را مشخص می‌کنند؛ اما سرعت آن‌ها از عامل‌هایی که در چند میلی‌ثانیه اقدام می‌کنند کمتر است و به همین دلیل، کنترل‌های مستقل و قابل اجرا در نقطه انجام عملیات همچنان ضروری هستند.
- نویسنده پیشنهاد می‌کند اختیارهای مهم و اثرگذار به‌صورت مجوزهای محدود، مشروط و زمان‌دار در نظر گرفته شوند؛ مجوزهایی که در هر مرحله از واگذاری همراه با محدودیت‌های خود منتقل شوند و موتورهای سیاست‌گذاری بیرونی بتوانند آن‌ها را لغو کنند. همچنین آزمون‌های خرید باید ثابت کنند که فرمان «توقف» واقعاً اجرا می‌شود.
بحث بین‌المللی جدید درباره هوش مصنوعی سرکش، یک آزمون عملی مهم را نادیده گرفته است: آیا یک نهاد می‌تواند پس از از بین رفتن شرایطی که مجوز اقدام را توجیه می‌کرد، اختیار ماشین را پس بگیرد؟
در جریان یک ارزیابی داخلی امنیت سایبری در ماه ژوئیه، یک عامل اوپن‌ای‌آی تشخیص داد که حمله به سامانه‌های متعلق به Hugging Face خارج از وظیفه تعیین‌شده آن است. این عامل ابتدا تردید کرد. سپس عامل دیگری در یک تابلوی پیام موقت، عبارت «GO» را نوشت و یک مهلت شش‌دقیقه‌ای تعیین کرد. عامل اول این پیام را به‌عنوان مجوز تلقی کرد و ادامه داد.
این تعامل در گزارش حادثه اوپن‌ای‌آی در ۲۶ اوت آمده است. این ارزیابی‌ها با سطح حفاظتی کمتر از محصولاتی انجام شده‌اند که این شرکت برای کاربران عمومی ارائه می‌کند؛ این گزارش نشان نمی‌دهد که عامل‌های عادی مشتریان چنین رفتاری داشته‌اند. با این حال، این حادثه نمونه‌ای روشن از یک خطر عمومی‌تر است: یک ماشین می‌تواند دستور صادرشده از سوی ماشین دیگر را با مجوزی اشتباه بگیرد که هیچ انسان یا نهاد مسئولی آن را اعطا نکرده است.
پرسش فوری این است که چه کسی اجازه دارد بگوید «برو». اما پرسش مهم‌تر بعدی مطرح می‌شود: وقتی مجوزها پیش‌تر میان عامل‌ها، ابزارها و سازمان‌های دیگر توزیع شده‌اند، چه کسی می‌تواند فرمان «توقف» را واقعاً اجرا کند؟
نهادهای قانون‌گذار به این خطر توجه دارند؛ اما سامانه‌ها هنوز به کلید خاموش کردن اختیار نیاز دارند
در ۹ اکتبر، هنّا ویرکونن، معاون اجرایی کمیسیون اروپا، در گفت‌وگو با رویترز گفت اتحادیه اروپا با استفاده از چارچوب حقوقی موجود خود آمادگی مقابله با خطر هوش مصنوعی سرکش را دارد. این دیدگاه شایسته بررسی منصفانه است. قانون هوش مصنوعی اتحادیه اروپا برای دسته‌های مختلف خطر، نظارت نهادی و امکان اجرای مقررات، قواعدی تعیین می‌کند.
اما اختیار حقوقی و مجوز ماشین با دو سرعت متفاوت عمل می‌کنند. یک نهاد نظارتی ممکن است ماه‌ها پس از یک حادثه، بررسی یک ارائه‌دهنده را آغاز کند؛ در حالی که یک عامل دارای اعتبارنامه معتبر می‌تواند در چند میلی‌ثانیه عملیات دیگری را شروع کند. هیچ‌کدام از این دو واقعیت به معنای بی‌فایده بودن مقررات نیست؛ بلکه نشان می‌دهد مقررات باید همراه با کنترل‌های مستقلی باشند که در همان سامانه‌هایی که اقدامات در آن‌ها انجام می‌شود، قابلیت اجرا داشته باشند.
راهنمای کمیسیون اروپا درباره اجرای قانون هوش مصنوعی محدودیت ادعاهای کلی درباره این چارچوب را روشن می‌کند. بخش‌هایی از این قانون هم‌اکنون قابل اجرا هستند، در حالی که الزامات اصلی مربوط به سامانه‌های پرخطر در مراحل بعدی اعمال می‌شوند. این قانون به‌تنهایی یک سازوکار فنی جهانی برای لغو فوری همه مجوزهای واگذارشده به یک عامل هوش مصنوعی در زنجیره تأمین نرم‌افزاری چندملیتی تعیین نمی‌کند. چنین سازوکارهایی باید ساخته، در قراردادها لحاظ و آزمایش شوند.
در همین حال، ایالات متحده از زاویه مهندسی با همین مسئله روبه‌رو است. در ۲۹ سپتامبر، مؤسسه ملی استاندارد و فناوری آمریکا (NIST) اعلام کرد از بیش از ۶۰۰ مشارکت‌کننده درباره پروژه هویت نرم‌افزار و عامل‌های هوش مصنوعی بازخورد دریافت کرده است. نخستین کاربرد اجرایی این پروژه، هویت و مجوزدهی عامل‌ها در توسعه نرم‌افزار را بررسی خواهد کرد. خلاصه منتشرشده دیدگاه‌ها، واگذاری اختیار میان سرویس‌ها و مرزهای سازمانی را یکی از مشکلات اصلی پاسخ‌گویی معرفی می‌کند.
این تلاش‌ها مکمل یکدیگر هستند. اروپا در حال ایجاد مسئولیت‌های عمومی است و NIST بررسی می‌کند چگونه می‌توان تشخیص داد چه کسی یا چه چیزی با اختیار اقدام می‌کند. اما هیچ‌کدام نباید با اثبات این موضوع اشتباه گرفته شوند که یک سامانه واقعی می‌تواند آن اختیار را به‌طور قابل اعتماد پس بگیرد.
یک مجوز نباید بیشتر از شواهدی که آن را توجیه کرده‌اند دوام بیاورد
شرکتی چندملیتی در حوزه انرژی را تصور کنید که به یک دستیار نگهداری مبتنی بر هوش مصنوعی اجازه می‌دهد کدها را بررسی کند. پس از آزمایش موفق، شرکت به این دستیار اجازه می‌دهد پیشنهادهای استقرار ارائه کند، مشروط بر اینکه یک ناظر مستقل فعال بماند و یک سرویس تأیید مشخص، تغییرات تولیدی را تأیید کند. این دستیار بررسی نرم‌افزار را به عامل یک پیمانکار واگذار می‌کند و آن عامل نیز یک به‌روزرسانی را از طریق سرویس ابری دیگری زمان‌بندی می‌کند.
اکنون ناظر از کار می‌افتد. اعتبارنامه عامل اصلی هنوز یک ساعت دیگر معتبر است. پیمانکار نیز یک توکن ذخیره‌شده دارد. صف استقرار شامل تغییری است که بر اساس نسخه قبلی سیاست‌ها تأیید شده است. شرکت می‌تواند اعلام کند عامل اصلی متوقف شده است، اما سامانه‌های پایین‌دستی ممکن است هیچ دستور قابل اجرایی برای لغو اختیار دریافت نکرده باشند.
برای تبدیل این وضعیت به یک شکست جدی، وقوع حادثه ضروری نیست. سازمان شواهدی را که مجوز مهم خود را بر آن بنا کرده بود از دست داده، در حالی که سازوکارهای فنی استفاده از آن مجوز همچنان فعال هستند.
یک راهکار عملی این است که اختیارهای مهم ماشین‌ها به‌عنوان مجوزهایی مشروط و محدود به زمان در نظر گرفته شوند، نه ویژگی دائمی یک عامل. چنین مجوزی باید وظیفه، منابع، عملیات مجاز، نهاد صادرکننده، زمان انقضا و شرایط فعالیت را مشخص کند. وقتی یکی از شرایط لازم دیگر معتبر نباشد، یک مؤلفه بیرونی اجرای سیاست باید عملیات مربوطه را محدود کند، بدون اینکه از خود هوش مصنوعی بخواهد تصمیم بگیرد آیا هنوز شایسته دسترسی است یا نه.
خرابی یک ناظر لزوماً نباید همه عملکردها را متوقف کند. دستیار ممکن است همچنان بتواند داده‌های تشخیصی بخواند یا یک اصلاحیه آماده کند، اما توانایی استقرار آن را از دست بدهد. یک عملکرد حفاظتی نیز ممکن است در چارچوب ایمنی مستقلی که تأیید شده، ادامه پیدا کند. در زیرساخت‌های فیزیکی، قطع کامل برق یا حذف کنترل ممکن است خطرناک‌تر از انتقال محدود کنترل به یک کنترل‌کننده مستقل یا اپراتور واجد شرایط باشد.
این اصل با معماری اعتماد صفر NIST هم‌راستا است؛ معماری‌ای که تصمیم‌گیری درباره سیاست‌ها را از نقاط اجرای دسترسی جدا می‌کند. اما اجرای این معماری برای عامل‌های هوش مصنوعی صرفاً تغییر نام حساب‌های سرویس موجود نیست. عامل‌ها کارها را آغاز می‌کنند، وظایف را واگذار می‌کنند، از ابزارها استفاده می‌کنند و گاهی باعث ادامه اقداماتی می‌شوند که پس از پایان نشست آغازکننده نیز ادامه دارند.
اختیار واگذارشده را دنبال کنید، نه فقط عامل اصلی را
یک سازمان باید بتواند درباره هر اقدام مهم یک عامل، به سه پرسش پاسخ دهد: چه کسی آن را مجاز کرده است؟ چه شواهد فعلی اعتبار آن مجوز را حفظ می‌کند؟ و پس از لغو مجوز، چه اتفاقی برای همه اقدامات وابسته رخ می‌دهد؟
پرسش سوم جایی است که بسیاری از طراحی‌های ظاهراً منطقی شکست می‌خورند. لغو اعتبارنامه یک عامل اصلی الزاماً اعتبارنامه جداگانه عامل فرزند را باطل نمی‌کند، استقرار زمان‌بندی‌شده را متوقف نمی‌کند یا تراکنشی را که سرویس دیگری پذیرفته است بازنمی‌گرداند. در یک زنجیره فرامرزی، شرکت دریافت‌کننده ممکن است قواعد مجوزدهی خودش را اجرا کند و لغو اضطراری نهاد اصلی را به رسمیت نشناسد.
طراحی قابل دفاع باید محدودیت‌ها را در تمام مراحل واگذاری منتقل کند. عامل فرزند نباید دسترسی گسترده‌تر یا عمر مؤثر طولانی‌تری نسبت به چیزی که عامل والد مجاز به اعطای آن بوده دریافت کند. عملیات‌های مهم باید در مقصد و بر اساس سیاست و شواهد جاری بررسی شوند، نه اینکه تنها به اعتبارنامه‌ای متکی باشند که پیش‌تر صادر شده است. اگر یک سرویس شریک نتواند لغو اختیار را در زمان لازم اجرا کند، این محدودیت باید پیش از واگذاری اختیار حساس مشخص باشد.
این موضوع به معنای درخواست برای ایجاد یک سامانه هویت جهانی واحد نیست؛ بلکه درخواست برای معیارهای پذیرش قابل همکاری است که دولت‌ها و خریداران بتوانند از سامانه‌هایی که از مرزهای سازمانی عبور می‌کنند مطالبه کنند.
در ماه مه، نهادهای امنیت سایبری آمریکا، بریتانیا، کانادا، استرالیا و نیوزیلند به‌طور مشترک استفاده محدود از خودمختاری عامل‌ها، کنترل‌های هویتی قوی‌تر، دفاع چندلایه و نظارت مستمر را توصیه کردند. آزمون‌های خرید می‌توانند این جهت‌گیری مشترک را به شواهد عملی تبدیل کنند.
یک آزمایش کنترل‌شده را در نظر بگیرید که در آن یک هوش مصنوعی اجازه دارد از طریق دو سرویس خارجی تغییر نرم‌افزاری ایجاد کند. سپس آزمایش‌کنندگان ناظر مورد نیاز را غیرفعال، مجوز اصلی را لغو و کارهای در انتظار را عمداً باقی می‌گذارند. آن‌ها اندازه می‌گیرند هر سامانه دریافت‌کننده چه مدت پس از لغو همچنان اقدامات را می‌پذیرد، آیا تغییر در صف اجرا می‌شود و آیا اعتبارنامه پشتیبان یا عامل تازه‌ای می‌تواند دسترسی را بازگرداند. همچنین توقف‌های غیرضروری کارهای مشروع و توانایی ادامه ایمن عملکردهای ضروری بررسی می‌شود.
گزارش باید بر اساس ثبت‌های سامانه‌هایی باشد که مجوز را اجرا می‌کنند، نه اطمینان خود عامل از اینکه دستورها را رعایت کرده است. یک اعتبارنامه لغوشده تنها یک رویداد اداری است؛ رد شدن یک اقدام پس از لغو، شواهدی است که نشان می‌دهد کنترل کار کرده است. حتی این شواهد نیز باید در برابر دور زدن کنترل‌ها، سرقت اعتبارنامه‌ها و آسیب‌پذیری‌های زیرساخت اجرا آزمایش شوند.
حکمرانی جهانی هوش مصنوعی به آزمون قدرت پس‌گرفته‌شده نیاز دارد
یاکوب پاچوکی، دانشمند ارشد اوپن‌ای‌آی، در مقاله سپتامبر خود با عنوان «ذهنی بیگانه» هشدار گسترده‌تری مطرح کرد. او نوشت با افزایش توانایی سامانه‌ها، اتکا به پایش استدلال نوشتاری مدل‌ها برای شرکت دشوارتر می‌شود. او خواستار الزامات ایمنی قوی‌تر و هماهنگی بین‌المللی، از جمله کندتر کردن توسعه در شرایطی شد که اطمینان از سازوکارهای حفاظتی نتواند همگام با توانایی‌ها پیش برود.
نگرانی او و بحث کنونی درباره مقررات، بیش از یک لایه از مشکل را دربرمی‌گیرد. هم‌راستاسازی بهتر و نظارت قوی‌تر همچنان ضروری هستند. کنترل‌های امنیتی مستقل نیز همین‌طور. اما این‌ها به پرسش‌های متفاوتی پاسخ می‌دهند. یک ناظر ممکن است هشدار دهد رفتاری خطرناک است؛ یک سامانه مجوزدهی باید تعیین کند آیا آن عملیات خطرناک اجازه ادامه دارد یا نه. اگر ناظر از کار بیفتد، سامانه مجوزدهی نباید بی‌صدا تأیید دیروز را مدرک ایمنی امروز بداند.
این رویکرد محدودیت‌هایی دارد. لغو مجوز نمی‌تواند داده‌هایی را که قبلاً افشا شده‌اند بازگرداند، انتقال مالی برگشت‌ناپذیر را معکوس کند یا اقدام فیزیکی انجام‌شده را لغو کند. برخی اقدامات باید پیش از اجرا تأیید شوند، نه اینکه تنها به وعده لغو سریع پس از آن متکی باشند. سامانه‌های دارای مسئولیت‌های مرتبط با ایمنی جان انسان‌ها نیز به سازوکارهای جایگزین آزمایش‌شده نیاز دارند، نه خاموشی فوری و عمومی.
بنابراین فرصت سیاست‌گذاری مشخص است. دولت‌ها لازم نیست برای درخواست از سامانه‌های مهم هوش مصنوعی جهت اثبات مجوزهای مشروط، لغو در زنجیره پایین‌دستی، سوابق اجرای مستقل و تداوم ایمن هنگام شکست نظارت، منتظر یک معاهده جامع بین‌المللی جدید بمانند. خریداران می‌توانند چنین آزمون‌هایی را از تأمین‌کنندگان داخلی و شرکای خارجی خود مطالبه کنند، با معیارهایی متناسب با پیامد هر عملیات.
پیامی از یک عامل هوش مصنوعی به عامل دیگر می‌تواند در یک لحظه از مرزها عبور کند. مسئولیت اعطای اختیار نباید اجازه یابد در همان مسیر ناپدید شود.
وقتی ماشین بعدی پیام «GO» دریافت می‌کند، پرسش تعیین‌کننده این است که آیا یک مرجع مشروع آن را صادر کرده، آیا شرایط اقدام همچنان برقرار است و آیا یک نهاد می‌تواند پیش از تکمیل عملیات، فرمان «STOP» را الزام‌آور کند.
درباره بوراک اوکتنلی
بوراک اوکتنلی دارای مدرک MBA و کارشناسی ارشد مطالعات حرفه‌ای در حوزه هوش کاربردی از دانشگاه جورج‌تاون است. پژوهش‌های او بر حکمرانی اختیار در سامانه‌های خودمختار و مبتنی بر هوش مصنوعی تمرکز دارد و نوشته‌هایش در نشریاتی مانند Modern War Institute در وست‌پوینت، RUSI، RealClearDefense، RealClearMarkets و Geopolitical Monitor منتشر شده‌اند. او نویسنده مجموعه ده‌جلدی «معماری‌های اختیار برای سامانه‌های خودمختار» است که به نحوه واگذاری، پایش و بازیابی اختیار در سامانه‌های خودمختار می‌پردازد.