رقابت بر سر هوش مصنوعی ابرهوشمند به خطری راهبردی در سطح جهان تبدیل می‌شود
نویسنده: هریس ویلیامز، دکتری
۱۸ اکتبر ۲۰۲۶
هوش مصنوعی می‌تواند بهره‌وری، پزشکی و اکتشافات علمی را به میزان چشمگیری متحول کند. بااین‌حال، رقابت برای ساخت سامانه‌هایی که از هوش انسان فراتر می‌روند، پرسش‌های دشواری درباره کنترل فناوری، پاسخ‌گویی شرکت‌ها و امنیت ملی مطرح کرده است. چالش مدیران اجرایی و سیاست‌گذاران این است که از مزایای اقتصادی هوش مصنوعی بهره ببرند، بی‌آنکه خطراتی را بپذیرند که نهادهای موجود توان مدیریت مؤثر آن‌ها را ندارند.
هوش مصنوعی به یکی از ابزارهای اصلی رقابت اقتصادی تبدیل می‌شود. شرکت‌های فناوری سرمایه‌گذاری سنگینی در زیرساخت‌های محاسباتی پیشرفته انجام می‌دهند، دولت‌ها قابلیت‌های هوش مصنوعی را دارایی‌هایی راهبردی می‌دانند و کسب‌وکارها نیز سامانه‌هایی را که هر روز خودمختارتر می‌شوند، در عملیات خود به کار می‌گیرند.
تلاش برای دستیابی به ابرهوش مصنوعی، احتمال مهم‌تری را پیش می‌کشد: ساخت ماشین‌هایی که بتوانند تقریباً در تمام حوزه‌های فکری از انسان بهتر عمل کنند. هرچند چنین سامانه‌هایی هنوز فرضی هستند، توسعه آن‌ها این پرسش جدی را مطرح می‌کند که آیا نهادهای کنونی می‌توانند کنترل معناداری بر فناوری‌هایی حفظ کنند که ممکن است قابلیت‌هایشان از درک انسان فراتر برود.
اهمیت این مسئله به سیلیکون‌ولی محدود نمی‌شود. تصمیم‌هایی که در مرحله بعدی توسعه هوش مصنوعی گرفته می‌شوند، می‌توانند بر بازارهای مالی، زیرساخت‌های حیاتی، امنیت ملی و حاکمیت شرکتی تأثیر بگذارند.
ابرهوش، نوع متفاوتی از خطر را ایجاد می‌کند
سامانه‌های کنونی هوش مصنوعی می‌توانند محتوا تولید کنند، داده‌ها را تحلیل کنند، نرم‌افزار بنویسند و به پژوهش‌های علمی کمک کنند. عملکرد آن‌ها گاهی چشمگیر است، اما این توانایی‌ها به‌تنهایی ثابت نمی‌کنند که ماشین‌ها از هوش عمومی برخوردارند.
هوش عمومی مصنوعی یا AGI معمولاً به سامانه‌هایی گفته می‌شود که قادرند طیف گسترده‌ای از وظایف فکری را در سطح انسان یا بالاتر از آن انجام دهند. ابرهوش مصنوعی به مرحله فرضی فراتری اشاره دارد که در آن توانایی‌های ماشین در حوزه‌های متعدد، به‌طور قابل‌توجهی از عملکرد انسان پیشی می‌گیرد.
این تمایز اهمیت دارد، زیرا افزایش توانایی‌های سامانه‌ها می‌تواند نظارت بر آن‌ها را دشوارتر کند.
برای مثال، می‌توان یک سامانه تخصصی هوش مصنوعی پزشکی را بر اساس اهداف بالینی مشخص ارزیابی کرد. اما سامانه‌ای بسیار خودمختار که قادر به تدوین راهبرد، تغییر نرم‌افزار و هماهنگ‌کردن فعالیت‌های پیچیده باشد، ممکن است خطرات عملیاتی پیش‌بینی‌ناپذیرتری ایجاد کند.
هوش بیشتر لزوماً به معنای توجه بیشتر به رفاه انسان نیست. یک سامانه هوش مصنوعی ممکن است در دستیابی به اهداف خود فوق‌العاده توانمند شود، بی‌آنکه پیامدهایی را که از نظر انسان غیرقابل‌قبول‌اند، به‌اندازه کافی در نظر بگیرد.
این مسئله هسته اصلی چالش هم‌ترازی هوش مصنوعی است: اطمینان از اینکه سامانه‌های پیشرفته رفتاری سازگار با مقاصد، محدودیت‌ها و ارزش‌های انسانی داشته باشند.
هنوز مشخص نیست که آیا می‌توان سامانه‌های ابرهوشمند آینده را به‌طور قابل‌اعتماد با اهداف و ارزش‌های انسانی هم‌تراز کرد یا خیر.
رقابت اقتصادی ممکن است ایمنی هوش مصنوعی را تضعیف کند
انگیزه‌های تجاری پیرامون هوش مصنوعی پیشرفته، مسئله دشواری در زمینه هماهنگی ایجاد می‌کنند.
شرکت‌هایی که میلیاردها دلار در زیرساخت‌های محاسباتی سرمایه‌گذاری می‌کنند، برای نشان‌دادن پیشرفت فناورانه و دستیابی به بازده تجاری تحت فشارند. دولت‌ها نیز هرچه بیشتر، پیشتازی در هوش مصنوعی را با رقابت‌پذیری اقتصادی، توان اطلاعاتی و برتری نظامی مرتبط می‌دانند.
این انگیزه‌ها می‌توانند حتی در شرایطی که توسعه‌دهندگان از وجود ابهام‌های جدی آگاه‌اند، آن‌ها را به تسریع روند توسعه سوق دهند.
شرکتی که برای انجام آزمایش‌های ایمنی بیشتر، عرضه محصول را به تعویق می‌اندازد، ممکن است مشتریان یا سهم بازار خود را از دست بدهد. دولتی که محدودیت‌هایی بر توسعه‌دهندگان داخلی اعمال می‌کند نیز ممکن است نگران باشد که رقبای خارجی بدون رعایت همان تدابیر حفاظتی پیشرفت کنند.
در نتیجه، تصمیم‌هایی که برای هر بازیگر به‌صورت جداگانه منطقی به نظر می‌رسند، ممکن است در مجموع به پیامدهایی خطرناک منجر شوند.
با افزایش خودمختاری عملیاتی سامانه‌های هوش مصنوعی، پیامدهای اقتصادی این مسئله ممکن است جدی‌تر شود. کسب‌وکارها ممکن است به فناوری‌هایی وابسته شوند که درک فرایند تصمیم‌گیری درونی آن‌ها دشوار است؛ در همین حال، نهادهای مالی و عمومی ممکن است در ارزیابی مخاطرات به‌هم‌پیوسته با مشکل روبه‌رو شوند.
چالش اصلی در حکمرانی این است که اجازه داده نشود فشار رقابتی، سطح قابل‌قبول خطرات فناورانه را تعیین کند.
خطرات فاجعه‌بار هوش مصنوعی قطعی نیستند، اما باید بررسی شوند
این پیش‌بینی که هوش مصنوعی ناگزیر به انقراض انسان منجر خواهد شد، نتیجه‌ای علمی و اثبات‌شده نیست.
پژوهشگران درباره احتمال وقوع پیامدهای فاجعه‌بار، توانایی‌های لازم برای ایجاد چنین پیامدهایی و امکان جلوگیری از آن‌ها با رویکردهای فنی موجود اختلاف‌نظر دارند.
نظرسنجی‌ای از ۲٬۷۷۸ پژوهشگر هوش مصنوعی که در سال ۲۰۲۳ انجام شد و نتایج آن در سال ۲۰۲۴ گزارش شد، گستردگی این نگرانی‌ها را نشان می‌دهد. بسته به صورت پرسش، حدود ۳۸ تا ۵۱ درصد پاسخ‌دهندگان احتمال دست‌کم ۱۰ درصدی برای پیامدهایی مانند انقراض انسان یا سلب دائمی اختیار و قدرت تصمیم‌گیری او در نظر گرفتند.
این پاسخ‌ها بیانگر قضاوت‌های ذهنی متخصصان‌اند، نه احتمال‌هایی که از طریق آزمایش به اثبات رسیده باشند. بنابراین، نمی‌توان از آن‌ها نتیجه گرفت که وقوع فاجعه محتمل است.
بااین‌حال، وجود عدم‌قطعیت مسئولیت بررسی پیامدهای بالقوه برگشت‌ناپذیر را از میان نمی‌برد.
ایمنی هوانوردی تجاری نمونه‌ای مفید، هرچند نه کاملاً قابل‌قیاس، برای بررسی این مسئله است. صدور گواهی ایمنی هواپیما بر استانداردهای مهندسی، آزمایش‌های نظام‌مند، نظارت مستقل و پایش مستمر تکیه دارد. شدت پیامدهای احتمالی نقص فنی نیز در تعیین میزان سخت‌گیری تدابیر حفاظتی نقش دارد.
هوش مصنوعی پیشرفته دشواری‌های بیشتری ایجاد می‌کند، زیرا پیش‌بینی قابلیت‌ها و شیوه‌های احتمالی شکست آن ممکن است سخت‌تر باشد.
برای سامانه‌های پیشرفته و مرزی هوش مصنوعی، اطمینان‌بخشی معتبر درباره ایمنی می‌تواند مستلزم ارزیابی مستقل، مستندسازی شرایط استقرار، پایش مداوم و اعمال محدودیت‌های الزام‌آور در صورت شناسایی خطرات غیرقابل‌قبول باشد.
کسب‌وکارها می‌توانند بدون حرکت به‌سوی حداکثر خودمختاری از مزایای هوش مصنوعی بهره ببرند
توجیه اقتصادی استفاده از هوش مصنوعی کاملاً به توسعه سامانه‌های ابرهوشمند وابسته نیست.
هوش مصنوعی تخصصی هم‌اکنون در حوزه‌هایی مانند تشخیص پزشکی، شناسایی تقلب، نگهداری صنعتی، مهندسی نرم‌افزار و پژوهش علمی کاربرد دارد.
این کاربردها می‌توانند مزایای قابل‌توجهی به همراه داشته باشند و در عین حال، به سازمان‌ها اجازه دهند اهداف عملیاتی محدودتر و مشخص‌تری تعریف کنند.
این تمایز برای مدیران اجرایی شرکت‌ها، پیامد مستقیمی در تصمیم‌گیری درباره تخصیص سرمایه دارد.
پیشرفته‌ترین مدل هوش مصنوعی موجود لزوماً مناسب‌ترین گزینه برای استفاده تجاری نیست. کسب‌وکارها باید هزینه‌های پیاده‌سازی، قابلیت اطمینان، امنیت داده‌ها، مخاطرات مقرراتی و پیامدهای ازکارافتادن سامانه را در نظر بگیرند.
عامل‌های خودمختار هوش مصنوعی به توجه ویژه‌ای نیاز دارند.
برخلاف نرم‌افزارهای متعارف که بر اساس گردش‌کارهای نسبتاً ازپیش‌تعیین‌شده عمل می‌کنند، عامل‌های هوش مصنوعی می‌توانند چندین اقدام را هماهنگ کنند، با سامانه‌های خارجی تعامل داشته باشند و با دخالت محدود انسان وظایف را اجرا کنند.
این قابلیت‌ها می‌توانند بهره‌وری را افزایش دهند. بااین‌حال، اگر مجوزهای دسترسی و تدابیر حفاظتی کافی نباشند، ممکن است خطاها را تشدید کنند، اطلاعات حساس را در معرض افشا قرار دهند یا امکان انجام اقدامات غیرمجاز را فراهم آورند.
بنابراین، شرکت‌ها باید اصول تثبیت‌شده امنیت سایبری را رعایت کنند؛ از جمله محدودکردن دسترسی‌ها، ثبت سوابق قابل‌ممیزی، پایش عملیاتی و الزام به تأیید انسانی برای تصمیم‌های مهم و پیامددار.
سامانه‌های تخصصی ذاتاً ایمن نیستند، اما تعیین مرزهای عملیاتی روشن می‌تواند ارزیابی برخی خطرات را آسان‌تر کند.
هیئت‌مدیره شرکت‌ها باید سازوکارهای مؤثری برای پاسخ‌گویی در زمینه هوش مصنوعی ایجاد کنند
حکمرانی هوش مصنوعی به‌تدریج به یکی از مسئولیت‌های هیئت‌مدیره تبدیل می‌شود.
اعضای هیئت‌مدیره باید بدانند کدام بخش‌های کسب‌وکار به هوش مصنوعی وابسته‌اند، سامانه‌های خودمختار چه اختیاراتی دارند و مدیریت چگونه قابلیت اطمینان آن‌ها را ارزیابی می‌کند.
معیارهای متعارف سنجش عملکرد به‌تنهایی کافی نیستند.
مدلی که در آزمایش‌ها عملکردی بسیار خوب دارد، ممکن است هنگام مواجهه با موقعیت‌های ناآشنا، ورودی‌های خصمانه یا محیط‌های عملیاتی پیچیده، رفتاری متفاوت نشان دهد.
هیئت‌مدیره‌ها باید از مدیریت بخواهند نشان دهد که تصمیم‌های مهم هوش مصنوعی چگونه بررسی و به چالش کشیده می‌شوند و در صورت لزوم، چگونه می‌توان اجرای آن‌ها را متوقف کرد.
آن‌ها همچنین باید بررسی کنند که آیا انگیزه‌های تجاری میان عرضه سریع محصولات و اطمینان از ایمنی کافی تعارض ایجاد می‌کنند یا خیر.
برای توسعه‌دهندگان سامانه‌های پیشرفته و مرزی هوش مصنوعی، نظارت مستقل اهمیت ویژه‌ای دارد؛ زیرا شکست این سامانه‌ها ممکن است بر مشتریان، بازارها و نهادهایی فراتر از خود شرکت تأثیر بگذارد.
سازمان‌هایی که خدمات هوش مصنوعی خریداری می‌کنند نیز با مخاطرات عملیاتی و راهبردی دیگری روبه‌رو هستند؛ از جمله تمرکز تأمین‌کنندگان و وابستگی به مدل‌های خارجی.
حکمرانی مؤثر مستلزم تعیین روشن مسئولیت‌ها، ارزیابی فنی معتبر و تدوین رویه‌هایی برای واکنش به شرایطی است که سامانه‌ها از حدود اختیارات مجاز خود فراتر می‌روند.
همکاری بین‌المللی باید هم‌زمان با رقابت فناورانه پیش برود
توسعه هوش مصنوعی بیش از پیش با رقابت‌های ژئوپلیتیکی درهم‌تنیده شده است.
ایالات متحده و چین جایگاه‌هایی به‌ویژه تأثیرگذار دارند و اتحادیه اروپا، هند، ژاپن و بریتانیا نیز در توسعه و حکمرانی هوش مصنوعی پیشرفته منافع مهمی دارند.
وقتی پژوهش، زیرساخت‌های محاسباتی، سرمایه‌گذاری و عرضه تجاری در مرزهای کشورها محدود نمی‌مانند، مقررات ملی به‌تنهایی ممکن است کافی نباشند.
همکاری بین‌المللی می‌تواند به تدوین استانداردهای مشترک برای ارزیابی، ایجاد سازوکارهایی برای گزارش حوادث جدی و تعیین انتظارات مشترک درباره قابلیت‌های به‌ویژه خطرناک کمک کند.
پیشنهادهای محدودکننده‌تر، از جمله توقف موقت توسعه سامانه‌هایی که از آستانه‌های مشخصی فراتر می‌روند، مستلزم تصمیم‌گیری‌های دشواری درباره راستی‌آزمایی، اجرای مقررات و امنیت ملی خواهند بود.
چنین توافق‌هایی رقابت فناورانه را از بین نمی‌برند، اما می‌توانند انگیزه به‌خطرانداختن ایمنی را صرفاً به این دلیل که رقبا ممکن است سریع‌تر پیشرفت کنند، کاهش دهند.
تجربه سازوکارهای پادمانی هسته‌ای و مقررات بین‌المللی هوانوردی نشان می‌دهد که رقابت راهبردی می‌تواند در کنار منافع مشترک ایمنی وجود داشته باشد؛ هرچند هیچ‌یک از این دو تجربه، الگویی کامل برای حکمرانی هوش مصنوعی ارائه نمی‌دهد.
نکات کلیدی برای مدیران اجرایی
چه چیزی تغییر کرده است؟ تلاش برای توسعه هوش مصنوعی هرچه خودمختارتر و بالقوه ابرهوشمند، دامنه خطرات فناورانه را فراتر از مسائل متعارف قابلیت اطمینان نرم‌افزار گسترش داده است.
چرا اهمیت دارد؟ رقابت تجاری، تنش‌های ژئوپلیتیکی و وابستگی نهادها به این فناوری ممکن است روند استقرار آن را پیش از اثبات کارآمدی سازوکارهای ایمنی تسریع کنند.
اقدام بعدی مدیران چه باید باشد؟ باید پاسخ‌گویی در زمینه هوش مصنوعی را در سطح هیئت‌مدیره تثبیت کنند، میزان خودمختاری و مجوزهای دسترسی را ارزیابی کنند، برای کاربردهای مهم تضمین مستقل ایمنی بخواهند و سازوکارهای معتبر مداخله انسانی را حفظ کنند.
کنترل انسانی باید معیار سنجش پیشرفت باقی بماند
هوش مصنوعی می‌تواند به منبع مهمی برای رشد اقتصادی و پیشرفت علمی تبدیل شود. ظرفیت‌های آن ارزش سرمایه‌گذاری، آزمایش و به‌کارگیری مسئولانه در کسب‌وکارها را دارند.
اما نباید توانایی فناورانه را با آمادگی نهادها برای مدیریت آن یکسان دانست.
توسعه سامانه‌های هوش مصنوعی هرچه قدرتمندتر، توانایی شرکت‌ها و دولت‌ها را برای ایجاد تدابیر حفاظتی مؤثر پیش از آنکه وابستگی به این فناوری بازگشت‌ناپذیر شود، به آزمون خواهد گذاشت.
مدیران اجرایی باید طی ۱۲ تا ۲۴ ماه آینده، پیشرفت قابلیت‌های خودمختار، نتایج ارزیابی‌های مستقل ایمنی، الزامات مقرراتی و شواهد مربوط به شکست‌های عملیاتی را زیر نظر داشته باشند.
معیار تعیین‌کننده پیشرفت این خواهد بود که آیا نهادهای انسانی همچنان اختیار مؤثر بر سامانه‌هایی را که می‌سازند، حفظ می‌کنند یا خیر.
فناوری‌ای که می‌تواند توانایی‌های فکری انسان را گسترش دهد، در نهایت باید قدرت عمل و تصمیم‌گیری انسان را تقویت کند، نه اینکه آن را از کنترل مؤثر خارج سازد.