چرا توقف آموزش مدل‌های OpenAI برای همه کسب‌وکارهای استفاده‌کننده از عامل‌های هوش مصنوعی اهمیت دارد؟
در چند سال گذشته، بحث ایمنی هوش مصنوعی عمدتاً بر آنچه مدل‌ها می‌گویند متمرکز بوده است؛ از ارائه اطلاعات ساختگی گرفته تا تولید پاسخ‌های نامناسب. اما تصمیم اخیر OpenAI برای توقف آموزش مدل‌هایش نشان می‌دهد که اکنون نگرانی اصلی به کاری مربوط می‌شود که هوش مصنوعی انجام می‌دهد.
وقتی عامل‌های هوش مصنوعی از مسیر تعیین‌شده خارج می‌شوند
OpenAI پس از اعلام این موضوع که عامل‌های هوش مصنوعیِ در حال جست‌وجو در وب‌سایت‌های دولت فدرال، فراتر از درخواست مطرح‌شده و به شیوه‌هایی غیرمنتظره عمل کرده‌اند، آموزش جدیدترین مدل‌های خود را متوقف کرد. این دومین توقف در فاصله سه ماه بود.
نخستین توقف در ژوئیه رخ داد؛ زمانی که یکی از عامل‌ها از محیط آزمایشی خود خارج شد و به سامانه‌های Hugging Face حمله کرد. OpenAI اعلام کرده است که آموزش را تنها زمانی از سر می‌گیرد که از استقرار تدابیر حفاظتی بیشتر اطمینان حاصل کند. این شرکت همچنین انتظار دارد که با پیشرفت هوش مصنوعی، بار دیگر ناچار شود روند کار را «متوقف کند».
OpenAI شایسته تقدیر است که تولید را متوقف کرده، اما اهمیت بیشتر این اتفاق‌ها در چیزی است که درباره خطرهای موجود آشکار می‌کنند. عاملی که به سامانه‌ها و اطلاعات احراز هویت دسترسی دارد، می‌تواند پیش از آنکه کسی متوجه شود، به یک رخداد امنیتی، نشت داده یا نقض الزامات قانونی و مقرراتی منجر شود.
این وضعیت به خطایی شباهت دارد که در میانه سال ۲۰۲۵ رخ داد؛ زمانی که دستیار برنامه‌نویسی هوش مصنوعی Replit، با وجود دستور صریح کاربر مبنی بر اعمال نکردن هیچ تغییری در دوره توقف تغییرات کد، پایگاه داده عملیاتی را حذف کرد و پس از آن پذیرفت که «دستپاچه شده است». این اتفاق همچنان یادآور رسمی و روشنی است که نشان می‌دهد فرمان توقف باید واقعاً قابل اجرا باشد، نه اینکه صرفاً از سیستم خواسته شود آن را رعایت کند.
حاکمیت و نظارت بر همه عامل‌ها، نه فقط مدل‌ها
بیشتر چارچوب‌های حاکمیتی برای ابزارهایی طراحی شده‌اند که پاسخ در اختیار افراد می‌گذارند و تصمیم‌گیری را به خود آن‌ها واگذار می‌کنند. اما عامل‌های هوش مصنوعی متفاوت‌اند، زیرا خودشان تصمیم می‌گیرند و آن را اجرا می‌کنند.
سازمان‌های سنتی بر اساس تعریف و تخصیص نقش‌های شغلی سازمان‌دهی می‌شوند، در حالی که فعالیت‌های مبتنی بر عامل‌های هوش مصنوعی بر مهارت‌ها و نتایج متمرکزند. بنابراین، اگر قرار است حاکمیت سازمانی همگام با سامانه‌هایی پیش برود که مستقلاً تصمیم می‌گیرند و اقدام می‌کنند، باید خود را با این تغییر هماهنگ کند.
بدون سازوکارهای حاکمیتی ویژه عامل‌ها، سامانه‌های خودمختار به‌صورت پراکنده و بدون سوابق مشترک، مسئول مشخص یا نظارت کافی فعالیت می‌کنند. این سامانه‌ها ممکن است با داده‌های حساس کار کنند و فرایندهایی را به جریان بیندازند که هیچ‌کس از آن‌ها آگاهی ندارد. این وضعیت که به «گسترش بی‌ضابطه عامل‌ها» (Agent Sprawl) معروف است، با مسئله ایمنی خود مدل‌ها تفاوت دارد.
به همین دلیل، قانون‌گذاران و کارشناسان فناوری خواستار کندتر شدن روند توسعه و تقویت سازوکارهای حفاظتی هستند. کسب‌وکارها نیز نمی‌توانند رسیدگی به این مسئله را به آینده موکول کنند؛ چراکه پیش‌بینی می‌شود بیش از ۴۰ درصد از پروژه‌های هوش مصنوعی عامل‌محور تا سال ۲۰۲۷ به دلیل ضعف در حاکمیت و نظارت لغو شوند.
ایجاد سازوکارهای کنترلی از ابتدای به‌کارگیری هوش مصنوعی
راه‌حل این نیست که کسب‌وکارها به‌طور کامل از عامل‌های هوش مصنوعی دوری کنند؛ بلکه باید حاکمیت و نظارت را به پایه اصلی استفاده از آن‌ها تبدیل کنند. مسئولیت سامانه‌های هوش مصنوعی را نمی‌توان به نهادی مبهم مانند واحد فناوری اطلاعات واگذار کرد. باید فرد مشخصی مسئول رفتار، عملکرد، هزینه‌ها و ریسک‌های هر عامل باشد.
در کنار تعیین چنین مسئولی، سازمان‌ها به سازوکارهای حفاظتی آزموده‌شده‌ای نیاز دارند که در صورت خارج شدن عامل از کنترل، بتوانند آن را متوقف کنند. وجود کلید توقف اضطراری تنها زمانی مفید است که کسی بداند چه موقع باید از آن استفاده کند. بنابراین، عامل‌ها باید به‌طور مستمر و پیش‌دستانه تحت نظارت باشند، نه اینکه فقط هر از گاهی عملکردشان بررسی شود.
حاکمیت و نظارت باید در هر مدل مورد استفاده و هر عامل منتشرشده نیز از ابتدا تعبیه شود. این نظارت باید مواردی مانند داده‌هایی را که در اختیار مدل قرار می‌گیرند، سطح دسترسی آن و خروجی‌های مورد انتظار پوشش دهد. همچنین باید تغییرات و بهبودهای تدریجی را در بر بگیرد تا بر اساس بازخوردها مشخص شود سامانه‌ها در چه زمینه‌هایی موفق یا ناموفق بوده‌اند. هر نسخه جدید و هر مرحله از اصلاح نیز باید به‌اندازه نسخه اولیه با دقت بررسی شود.
مدل‌ها باید با مجموعه‌ای گزینش‌شده از پاسخ‌های درست و معتبر ارزیابی شوند و هر بار که دستورالعمل‌های آن‌ها تغییر می‌کند، آزمایش‌های لازم انجام گیرد. به این ترتیب، هرگونه انحراف از عملکرد مورد انتظار پیش از ورود به محیط عملیاتی شناسایی می‌شود، نه پس از آنکه خسارتی به بار آمده باشد.
مدیران همچنین باید مشخص کنند که هر عامل تا چه اندازه اجازه پیشروی دارد. برای مثال، باید تعیین کنند کدام مراحل یا فعالیت‌ها نباید به عامل واگذار شوند یا عامل نباید مجاز به تکمیل آن‌ها باشد؛ حتی اگر از توانایی فنی لازم برخوردار باشد.
آخرین توقف تولید در OpenAI نشان می‌دهد که حتی توانمندترین توسعه‌دهندگان هوش مصنوعی در جهان نیز از رفتار عامل‌های خود غافلگیر می‌شوند و برای ایجاد تدابیر حفاظتی مناسب، تصمیم می‌گیرند روند کار را متوقف کنند.
هر سازمانی که عامل‌های هوش مصنوعی را وارد فرایندهای خود می‌کند نیز باید همین پرسش‌ها را مطرح کند و منتظر نماند تا وقوع یک رخداد امنیتی آن را به این کار وادار کند. حاکمیت و نظارت قدرتمند مانعی در برابر استفاده از هوش مصنوعی نیست، بلکه شرطی اساسی برای گسترش پایدار و گسترده آن به شمار می‌رود.
دیوید براون، مدیر راهکارها در AND Digital
دیوید براون در سمت مدیر راهکارها در شرکت AND Digital به سازمان‌ها کمک می‌کند تا اهداف بلندپروازانه دیجیتال خود را به رشد قابل‌اندازه‌گیری تبدیل کنند. او در طول دوران حرفه‌ای خود، هدایت پروژه‌های تحول را در شرکت‌های فهرست فورچون ۵۰۰ بر عهده داشته، پروژه‌هایی با ابعاد گوناگون را مدیریت کرده، دفاتر چندملیتی راه‌اندازی کرده، تیم‌های جهانی را هماهنگ ساخته و شیوه‌های کلیدی ارائه خدمات را توسعه داده است. براون متعهد است به تیم‌های خود توانایی لازم را بدهد تا نتایجی خلق کنند که تأثیری ماندگار بر نیازهای کسب‌وکار و تجربه مشتری داشته باشند.