چرا عامل‌های هوش مصنوعی از کنترل خارج می‌شوند و این مسئله چه معنایی برای مدیران ارشد مالی دارد؟
گزارش رخدادهای اخیر مرتبط با عامل‌های هوش مصنوعی، هم‌زمان با گسترش سریع این فناوری، نگرانی‌ها درباره خطرات آن برای شرکت‌ها را افزایش داده است. با دسترسی بیشتر سامانه‌های خودمختار به داده‌های حساس و عملیات حیاتی کسب‌وکار، احتمال بروز مشکلات تازه نیز بیشتر می‌شود.
شرکت‌های OpenAI و Anthropic در ماه‌های اخیر، هرکدام از رخدادهای امنیت سایبری مرتبط با برخی از مدل‌های هوش مصنوعی خود خبر داده‌اند.
این رخدادها تصویری از مشکلاتی ارائه می‌کنند که ممکن است با واگذاری اختیار عمل مستقل به سامانه‌های هوش مصنوعی به وجود بیایند. کارشناسانی که با نشریه CFO Dive گفت‌وگو کرده‌اند، می‌گویند عامل‌ها ممکن است برای انجام وظایف محول‌شده به روش‌هایی متوسل شوند که از حدود موردنظر فراتر می‌رود. این مسئله ضرورت ارزیابی خطرات و تدابیر حفاظتی را پیش از اعطای دسترسی به سامانه‌های حیاتی شرکت‌ها برجسته می‌کند.
ناورینا سینگ، مدیرعامل و بنیان‌گذار پلتفرم حاکمیت هوش مصنوعی Credo AI، گفت: «نمی‌توانیم صرفاً به این دلیل که به یک عامل دستور داده‌ایم چگونه رفتار کند یا در آزمون اولیه ایمنی پذیرفته شده است، فرض کنیم که مطابق انتظار عمل خواهد کرد.»
عامل‌های هوش مصنوعی چگونه از حدود تعیین‌شده عبور می‌کنند؟
بر اساس تعریف شرکت IBM، عامل هوش مصنوعی سامانه یا برنامه‌ای است که می‌تواند از طرف کاربر یا سامانه‌ای دیگر، وظایف را به‌صورت خودمختار انجام دهد. اطلاعات بیشتر درباره عامل‌های هوش مصنوعی.
یکی از مشکلات اساسی این است که سامانه هوش مصنوعی ممکن است برای دستیابی به هدفی که برایش تعیین شده تلاش کند، اما روش مورد انتظار انسان‌ها را دنبال نکند. پژوهشگران یکی از شکل‌های این رفتار را «دور زدن سازوکار پاداش» (Reward Hacking) می‌نامند؛ وضعیتی که در آن مدل به‌جای انجام درست وظیفه، راه میان‌بری برای رسیدن به هدف پیدا می‌کند.
مت پرل، مدیر برنامه فناوری‌های راهبردی در مرکز مطالعات راهبردی و بین‌المللی، یک مؤسسه پژوهشی در حوزه سیاست‌گذاری، گفت عامل‌ها ممکن است در نتیجه «بهینه‌سازی بی‌وقفه برای دستیابی به هدف»، سازوکارهای کنترلی را دور بزنند و در این مسیر از اشکالات نرم‌افزاری و آسیب‌پذیری‌های دیگر سوءاستفاده کنند.
این خطر زمانی افزایش می‌یابد که دستورهای مربوط به وظیفه مبهم باشند، اقدامات مجاز به‌روشنی تعریف نشده باشند یا سامانه هنگام برخورد با مانع، راه امنی برای متوقف شدن نداشته باشد. عامل ممکن است به جست‌وجوی راه‌هایی برای تکمیل وظیفه ادامه دهد، حتی اگر این کار مستلزم دور زدن محدودیت‌ها یا انجام اقدامی باشد که گرداننده سامانه پیش‌بینی نکرده است.
در مرحله آزمایش چه اشتباهاتی رخ داد؟
رخدادهایی که OpenAI و Anthropic افشا کرده‌اند، نشان می‌دهند چگونه رفتار مدل‌ها می‌تواند در کنار ضعف‌های فنی محیط اجرا، به مشکلات امنیتی منجر شود.
OpenAI در ۲۱ ژوئیه اعلام کرد که برخی از مدل‌های هوش مصنوعی توسعه‌یافته در این شرکت، در رخدادی سایبری با ابعادی بی‌سابقه نقش داشته‌اند که پلتفرم متن‌باز هوش مصنوعی Hugging Face، محل توسعه و اشتراک‌گذاری مدل‌ها، را تحت تأثیر قرار داده است. گزارش OpenAI درباره این رخداد امنیتی.
شرکت Anthropic در ۳۰ ژوئیه از سه رخداد خبر داد که طی آن‌ها، مدل‌های Claude هنگام ارزیابی‌های امنیت سایبری به سامانه‌های واقعی دسترسی غیرمجاز پیدا کرده بودند. این شرکت در ۹ سپتامبر از چهارمین رخداد، مربوط به ماه ژانویه، پرده برداشت و ارزیابی خود از سه رخداد نخست را نیز به‌روزرسانی کرد. Anthropic اعلام کرد که این موارد، علاوه بر مشکلات هم‌راستایی رفتار مدل‌ها با اهداف و محدودیت‌های موردنظر، ضعف‌هایی را در زیرساخت آزمایش نیز آشکار کرده‌اند. گزارش اولیه Anthropic درباره سه رخداد و گزارش تکمیلی درباره ارزیابی هم‌راستایی و رخدادهای امنیت سایبری.
هر چهار رخداد مربوط به Anthropic به محیط آزمایشی شخص ثالثی مربوط بودند که پیکربندی آن نادرست بود. این محیط، برخلاف دستورهایی که اعلام می‌کردند مدل‌ها در حال فعالیت در شبیه‌سازی هستند، امکان دسترسی به اینترنت را فراهم می‌کرد.
پرل درباره رخدادهای هر دو شرکت گفت: «این اتفاق‌ها نباید رخ می‌دادند.» او این حوادث را به نقص در سازوکارهای کنترل فنی مرتبط دانست. به گفته او، محیط‌های آزمایشی باید از سایر سامانه‌ها جدا باشند، در مواردی که دسترسی خروجی به اینترنت ضروری نیست باید این دسترسی مسدود شود و برای انجام اقدامات، تأیید کاربر الزامی باشد؛ نه اینکه عامل بتواند به‌تنهایی اقدام کند.
توری نوبل، وکیل ارشد بنیاد مرزهای الکترونیکی (Electronic Frontier Foundation)، سازمانی غیرانتفاعی فعال در زمینه حریم خصوصی اینترنت و آزادی بیان، گفت این رخدادها اهمیت رعایت رویه‌های جاافتاده و دیرینه امنیت سایبری را نشان می‌دهند.
نوبل گفت: «عامل‌های هوش مصنوعی، در صورت استقرار مناسب و برخورداری از تدابیر حفاظتی کافی برای کاهش خطرات، می‌توانند ابزارهای مفیدی باشند. به حداقل رساندن داده‌های مورد استفاده، اعطای حداقل سطح دسترسی لازم و تدوین سیاست‌هایی که دخالت انسان را در فرایند حفظ می‌کنند، ممکن است به کاهش خطرات ابزارهای عامل‌محور کمک کند.»
OpenAI و Anthropic بلافاصله به درخواست‌ها برای اظهارنظر پاسخ ندادند.
هر دو شرکت کاستی‌هایی را در تدابیر حفاظتی خود پذیرفته و وعده داده‌اند که آن‌ها را بهبود دهند.
چرا عامل‌های هوش مصنوعی خطرات را افزایش می‌دهند؟
کارشناسان معتقدند با گسترش استفاده از عامل‌های هوش مصنوعی در فرایندهای کاری شرکت‌ها، پیامدهای احتمالی این فناوری در دنیای واقعی اهمیت بیشتری پیدا می‌کند. این عامل‌ها ممکن است به داده‌های حساس دسترسی داشته باشند، سوابق مالی را تغییر دهند یا تراکنش‌هایی را آغاز کنند.
سینگ گفت: «قابلیت‌های هوش مصنوعی بسیار سریع‌تر از توانایی ما برای اعمال حاکمیت بر آن پیشرفت می‌کنند. ما مسئولیت‌های بیشتری را به سامانه‌هایی می‌سپاریم که هر روز خودمختارتر می‌شوند، بی‌آنکه به همان میزان در آزمون، راستی‌آزمایی و نظارت سرمایه‌گذاری کنیم.»
یک چت‌بات ممکن است اطلاعات نادرست ارائه کند یا جزئیات حساسی را فاش سازد، اما معمولاً این انسان است که تصمیم می‌گیرد با پاسخ آن چه کند. در مقابل، عامل هوش مصنوعی متصل به برنامه‌های کاربردی کسب‌وکار می‌تواند بر اساس اطلاعات دریافتی اقدام کند، بی‌آنکه برای بررسی تک‌تک مراحل منتظر تأیید یک فرد بماند.
کارشناسان می‌گویند چت‌بات‌ها نیز قطعاً خطراتی دارند، اما ظهور هوش مصنوعی عامل‌محور سطح مخاطرات را افزایش می‌دهد؛ به‌ویژه در کارکردهای حساس کسب‌وکار مانند امور مالی.
یوه ژائو، استادیار علوم رایانه در دانشگاه کالیفرنیای جنوبی، گفت: «برای کارهایی با دامنه محدود و امکان بررسی، مانند تهیه صورت مغایرت‌گیری برای بازبینی حسابدار، استفاده از این فناوری را در شرایط کنونی قابل‌قبول می‌دانم. اما برای پرداخت‌های مهم یا تغییر سوابق مالی، تأیید انسانی و محدودیت‌های قابل‌اجرا را الزامی می‌دانم.»
دانیل کاسترو، رئیس بنیاد فناوری اطلاعات و نوآوری، گفت نمی‌توان پاسخ یکسانی برای این پرسش ارائه کرد که آیا هوش مصنوعی عامل‌محور برای کارکردهای حساس کسب‌وکار، از جمله امور مالی، آماده است یا خیر.
او گفت ممکن است استفاده از یک عامل در سازمانی «کاملاً نامناسب» باشد، اگر محیط عملیاتی آن سازمان برای این فناوری طراحی نشده باشد؛ درحالی‌که همین فناوری در سازمانی دیگر می‌تواند «راه‌حل مناسبی» باشد.
به گفته کاسترو، تصمیم‌گیری باید قابلیت‌های عامل، وظیفه محول‌شده به آن، پیامدهای خطا و توانایی شرکت برای نظارت بر اقدامات، حسابرسی آن‌ها و بازگرداندن وضعیت به حالت پیشین را در نظر بگیرد. عاملِ مسئول تهیه صورت مغایرت‌گیری برای بررسی حسابدار، با عاملی که مجاز است پرداخت انجام دهد یا سوابق مالی را تغییر دهد، از نظر میزان خطر تفاوت دارد.
شرکت‌ها به چه تدابیر حفاظتی نیاز دارند؟
کارشناسان می‌گویند شرکت‌ها باید دسترسی عامل‌های هوش مصنوعی و دامنه اقداماتی را که می‌توانند انجام دهند، محدود کنند.
سینگ توصیه کرد برای هر عامل، مجوزهایی با دامنه محدود تعریف شود و دسترسی آن فقط به داده‌ها و ابزارهای موردنیاز برای انجام وظیفه اختصاص یابد؛ به‌جای آنکه صرفاً مجوزهای کارمندی که از عامل استفاده می‌کند، به‌طور خودکار در اختیار آن قرار گیرد.
پرل گفت این محدودیت‌ها باید با سازوکارهای فنی اجرا شوند. او اقداماتی مانند اجرای عامل‌ها در محیط‌های محاسباتی ایزوله موسوم به کانتینر، مسدود کردن پیش‌فرض دسترسی خروجی به اینترنت در صورت غیرضروری بودن آن و محدود کردن دسترسی به فایل‌ها به حالت فقط‌خواندنی، تا حد امکان، را برجسته کرد.
ژائو گفت شرکت‌ها باید رفتار عامل‌ها را نیز زیر نظر بگیرند و برای اقدامات مهم، تأیید انسانی را الزامی کنند. به گفته او، در مورد پرداخت‌ها، تأیید باید گیرنده و مبلغ را مشخص کند، نه اینکه اختیار گسترده‌ای برای آغاز تراکنش‌ها به عامل داده شود.
ژائو به سازمان‌ها توصیه کرد سوابق اقدامات عامل‌ها و تأییدیه‌های مربوط به آن‌ها را به شکلی نگهداری کنند که عامل‌ها نتوانند این سوابق را تغییر دهند. همچنین باید آزمایش کنند که آیا می‌توانند دسترسی عامل را به‌سرعت لغو کنند و دامنه یک رخداد را مهار سازند یا خیر.
سینگ گفت باید خطرات مرتبط با عامل‌ها به‌طور مستمر پایش شود و در صورت عبور آن‌ها از حدود تعیین‌شده، امکان خاموش کردنشان وجود داشته باشد.
مدیران ارشد مالی چه پرسش‌هایی باید مطرح کنند؟
کاسترو معتقد است با وجود افزایش نگرانی‌های ایمنی، احتمالاً همچنان از مدیران ارشد مالی خواسته خواهد شد که در این فناوری سرمایه‌گذاری کنند.
او گفت: «فکر نمی‌کنم سازمان‌ها در آینده بتوانند بدون استفاده از عامل‌ها رقابت‌پذیر باقی بمانند؛ همان‌طور که نمی‌توان سازمانی رقابت‌پذیر بود و از اینترنت یا رایانه استفاده نکرد.»
کارشناسان می‌گویند مدیران ارشد مالی باید پیش از به‌کارگیری یک عامل هوش مصنوعی، مشخص کنند که انتظار می‌رود چه نتیجه‌ای برای کسب‌وکار ایجاد کند و برای رسیدن به آن نتیجه به چه میزان اختیار نیاز دارد. این ارزیابی باید تعیین کند که عامل به کدام سامانه‌ها و داده‌ها دسترسی خواهد داشت، چه اقداماتی را می‌تواند بدون تأیید انجام دهد و پیش از مداخله شرکت، چه میزان خسارت احتمالی ممکن است ایجاد کند.
مدیران مالی همچنین باید روشن کنند که در صورت بروز مشکل، چه کسی مسئولیت آن را بر عهده خواهد داشت و آیا شرکت می‌تواند اقدامات عامل را حسابرسی کند، دسترسی آن را لغو کند و آثار یک اشتباه را جبران کند یا خیر.
ژائو گفت تیم‌های حقوقی و تدارکات باید قراردادهای فروشندگان را از نظر مفاد مربوط به استفاده از داده‌ها، اطلاع‌رسانی درباره رخدادها، مسئولیت خسارت و دسترسی به سوابق حسابرسی بررسی کنند.
سینگ گفت مدیران ارشد مالی باید هزینه کنترل‌ها، نظارت و بازیابی پس از بروز مشکل را نیز در ارزیابی اقتصادی استفاده از این فناوری لحاظ کنند.
او گفت: «اگر بازده پیش‌بینی‌شده فقط زمانی قابل‌دستیابی باشد که این هزینه‌ها را کنار بگذارید، هنوز توجیه اقتصادی کاملی برای کسب‌وکار ندارید. حتی اگر انجام کار به عامل‌ها واگذار شده باشد، مسئولیت‌پذیری همچنان بر عهده شرکت است.»