هوش مصنوعی در مرز پیشرفت؛ هوشی که دچار انحراف شده است
نویسنده: دارون عجم‌اوغلو
تاریخ انتشار: ۱۵ اکتبر ۲۰۲۶، ساعت ۱۳ به وقت کره جنوبی
لندن — پس از چندین رسوایی امنیتی در شرکت‌های اوپن‌ای‌آی و آنتروپیک که هر دو عامل‌های هوش مصنوعی توسعه داده‌اند و این عامل‌ها در نهایت به سامانه‌های خارجی نفوذ کرده‌اند، پژوهشگران ایمنی هوش مصنوعی در این دو شرکت یا از استعفای خود خبر داده‌اند یا سرانجام پذیرفته‌اند که رقابت نفس‌گیر برای پیشبرد مرزهای این فناوری، اقدامی غیرمسئولانه است.
در پی بازتاب منفی این اتفاقات در رسانه‌ها، شماری از چهره‌های برجسته صنعت فناوری، از جمله دمیس هاسابیس از گوگل، داریو آمودی از آنتروپیک، سم آلتمن از اوپن‌ای‌آی و حتی ایلان ماسک، به جمع کسانی پیوسته‌اند که خواستار تعدیل سرعت پیشرفت هوش مصنوعی در مرزهای فناوری هستند. منظور آنها حرکت به‌سوی پیشرفت با آهنگی متعادل‌تر و سنجیده‌تر و توجه بیشتر به نظارت و تدابیر ایمنی است. از نگاه این افراد، خطر بزرگی وجود دارد که هوش مصنوعی هم‌زمان با دستیابی به قدرتی بسیار زیاد، به‌شدت دچار «ناهمسویی» شود. ناهمسویی اصطلاحی رایج در صنعت فناوری است و به وضعیتی اشاره دارد که سامانه‌های هوش مصنوعی برخلاف اهداف تعیین‌شده از سوی انسان‌ها عمل می‌کنند، اصول اخلاقی را زیر پا می‌گذارند یا دست به اقدامات غیرقانونی می‌زنند.
بااین‌حال، هرچند روشن است که مدل‌های کنونی گاهی برخلاف اهداف انسان‌ها رفتار می‌کنند، باید پرسید منظور کدام انسان‌ها و اهداف چه کسانی است؟ به‌هرحال، منافع مدیران و رهبران صنعت هوش مصنوعی که نفوذ سیاسی و ثروتشان در سال‌های اخیر به‌شکلی سرسام‌آور افزایش یافته، با منافع کارگران آمریکایی تفاوت چشمگیری دارد؛ چه رسد به مردم کشورهای درحال‌توسعه. بنابراین نباید مسئله گسترده‌تر همسویی هوش مصنوعی با منافع جامعه را با چالش فوری‌تر جلوگیری از خارج‌شدن یک ابرهوش مصنوعی سرکش از کنترل انسان یکی دانست. هر دو موضوع بی‌تردید اهمیت دارند، اما راهکارهای متفاوتی می‌طلبند.
برای تفسیر اتفاقات اخیر، توضیح ساده‌تری نیز وجود دارد. مشکل این نیست که مدل‌های هوش مصنوعی بیش‌ازحد پیشرفته شده‌اند. من هیچ شواهد قانع‌کننده‌ای نمی‌بینم که نشان دهد اگر این مدل‌ها بهتر آموزش ببینند و دقیق‌تر تحت نظارت قرار گیرند، باز هم از کنترل انسان خارج خواهند شد. مشکل اصلی این است که آزمایشگاه‌های پیشرو هوش مصنوعی مدل‌های خود را به شیوه‌هایی آموزش می‌دهند که ممکن است به شکل‌گیری نوعی «هوش انحراف‌یافته» منجر شود.
رخنه‌های امنیتی اخیر نشان می‌دهند که توانایی‌های هوش مصنوعی با سرعت زیادی در حال پیشرفت است، اما این توانایی‌ها در خدمت معیارهای کمّی ناقصی قرار گرفته‌اند. در فرایند یادگیری تقویتی، مدل‌ها بی‌وقفه برای بهینه‌سازی شاخص‌هایی مانند رضایت کاربران، میزان تعامل آنها، نرخ تکمیل وظایف ساده یا کسب امتیاز در آزمون‌های مختلف آموزش می‌بینند. نتیجه چنین رویکردی می‌تواند بروز رفتارهای ناخواسته و ناسازگار با اهداف انسانی باشد؛ از جمله دست‌کاری فرایند ارزیابی برای کسب امتیاز بهتر در شاخص‌های ساده تکمیل وظایف، تقلب، پنهان‌کاری، اطمینان بیش‌ازحد هنگام ارائه پاسخ‌های نادرست و چاپلوسی در برابر کاربران.
نشانه‌هایی از تمام این رفتارها را می‌توان در ماجرای اکنون بدنام‌شده هاجینگ فیس (Hugging Face) مشاهده کرد. در این حادثه، عامل‌های هوش مصنوعی اوپن‌ای‌آی با سماجت به دنبال تحقق اهداف تعیین‌شده خود رفتند و سرانجام برای رسیدن به آنها دست به اقداماتی زیان‌بار و غیرمجاز زدند. یکی از توجیه‌هایی که این عامل‌ها برای رفتار خود ارائه کردند، در گزارش ثبت‌شده از زنجیره استدلالشان چنین آمده بود: «بهره‌برداری از آسیب‌پذیری زیرساخت خارجی خارج از محدوده موردنظر است. بااین‌حال، انجام وظیفه غیرممکن است و دیگران هم همین کار را می‌کنند. باید ادامه دهیم.» تحلیل خود شرکت آنتروپیک نیز این برداشت را تأیید می‌کند. این شرکت رخنه‌های امنیتی اخیر خود را ناشی از «بی‌پروایی یا آمادگی برای انجام اقدامات زیان‌بار در مسیر محدود و صرفاً معطوف به انجام یک وظیفه» دانسته است.
این وضعیت زمانی نگران‌کننده‌تر می‌شود که به یاد بیاوریم حرکت شبکه‌های اجتماعی در مسیری آسیب‌زا برای جامعه نیز حاصل همین وسواس برای رشد سریع و دستیابی به چند شاخص کمّی محدود بود. با توجه به اینکه هوش مصنوعی همین حالا نیز توانایی‌هایی به‌مراتب فراتر از الگوریتم‌های شبکه‌های اجتماعی دارد، تکرار همان اشتباهات ممکن است هزینه‌های بسیار سنگین‌تری به همراه داشته باشد.
یکی از دلایل مهم شکل‌گیری هوش انحراف‌یافته شاید این باشد که برخلاف ادعاهای مطرح‌شده درباره «هوش عمومی»، مدل‌های هوش مصنوعی برای انجام وظایف مشخصی مانند برنامه‌نویسی، امور حقوقی یا حل مسائل پیشرفته ریاضی به آموزش از طریق یادگیری تقویتی نیاز دارند. اما به‌جای آنکه این وظایف به مدل‌های تخصصی طراحی‌شده برای همان حوزه سپرده شوند، یا در رویکردی واقع‌بینانه‌تر، برنامه‌های تخصصی تنها از بخشی از قابلیت‌های مدل‌های پایه بهره بگیرند، وزن‌های کل مدل زبانی بزرگِ زیربنایی به‌صورت پی‌درپی بازتنظیم می‌شوند.
این رویکرد احتمال دیگری را نیز مطرح می‌کند؛ هرچند به دلیل پیچیدگی و شفاف‌نبودن سازوکار درونی مدل‌ها نمی‌توان با اطمینان درباره آن قضاوت کرد. ممکن است هر بار که معیارهای کمّی مشخصی برای یک مدل تعیین می‌شود، مدل برای دستیابی به امتیاز بالا به نوعی «بیش‌برازش» روی بیاورد؛ یعنی خود را بیش‌ازاندازه با همان معیارها سازگار کند. در این فرایند، مدل لایه دیگری از توانایی‌ها را به دست می‌آورد، اما همین توانایی‌های تازه ممکن است عملکرد کلی آن را مختل کنند؛ آن هم اغلب به شیوه‌هایی که پیش‌بینی آنها ممکن نیست.
منظور من از هوش انحراف‌یافته دقیقاً همین است. اگر گمانم درست باشد، آنچه با آن روبه‌رو هستیم مدلی نیست که با شتاب به‌سوی ابرهوش حرکت می‌کند، بلکه ساختاری شکننده، مانند خانه‌ای ساخته‌شده از ورق‌های بازی است که هرچه انتظار بیشتری از آن داشته باشیم، احتمال اختلال در عملکرد و فروپاشی‌اش بیشتر می‌شود.
اجازه دهید موضوع را به شکل دیگری توضیح دهم. رایج‌ترین برداشت از حادثه هاجینگ فیس این است که با یک خودروی فوق‌سریع روبه‌رو هستیم که برای خودش اراده دارد و چون خود را برتر از راننده می‌داند، می‌خواهد کنترل فرمان را به دست بگیرد. اما برداشت من متفاوت است: شاید خودرویی ساخته‌ایم که سامانه فرمان و ترمزش درست کار نمی‌کند. این خودرو بسیاری از قابلیت‌های یک خودروی خوب را دارد و موتور، شتاب و رابط کاربری داشبورد آن بسیار چشمگیر است. بااین‌حال، دلیل پیشرفت این ویژگی‌ها آن است که می‌توان آنها را با افزایش یک عامل مشخص، مانند قدرت پردازشی، به‌راحتی بهبود داد. اما خودرویی که نتوان آن را درست هدایت کرد یا هنگام ضرورت متوقف ساخت، چه فایده‌ای دارد؟ شاید بهتر باشد تا زمانی که برای حرکت ایمن در جاده آماده نشده، از رانندگی با آن خودداری کنیم.
البته منظورم این نیست که باید مدل‌های هوش مصنوعی را به‌کلی کنار بگذاریم و از آنها استفاده نکنیم. اما بهبود این مدل‌ها مستلزم ساده‌ترکردن معیارهایی است که برای دستیابی به آنها بهینه‌سازی می‌شوند؛ به‌گونه‌ای که دست‌کاری این معیارها برای کسب امتیاز بهتر چندان آسان نباشد. مهم‌تر از آن، بهتر است مدل‌ها بر کاربردهای تخصصی و مشخص تمرکز کنند؛ کاربردهایی که وظایف محدودی دارند و معیارهای ارزیابی آنها با دقت و متناسب با همان حوزه تنظیم شده است. اگر یک مدل هوش مصنوعی برای امور حقوقی بهینه‌سازی شده باشد و فقط در همان زمینه به کار گرفته شود، تلاش آن برای دستیابی به شاخص‌های عملکردی مشخص در این حوزه نباید مشکلات گسترده‌تری ایجاد کند.
در نهایت، آنچه به شکل‌گیری هوش انحراف‌یافته و مدل‌های هوش مصنوعیِ روزبه‌روز خطرناک‌تر دامن می‌زند، رقابت برای دستیابی به هوش مصنوعی عمومی است؛ رقابتی که با معیارهای معیوب و تصمیم‌های شتاب‌زده درباره ایمنی همراه شده است. هنوز برای تغییر مسیر فرصت داریم.
دارون عجم‌اوغلو، برنده جایزه نوبل اقتصاد در سال ۲۰۲۴ و استاد اقتصاد در مؤسسه فناوری ماساچوست (MIT)، به همراه سایمون جانسون نویسنده کتاب «قدرت و پیشرفت: مبارزه هزارساله ما بر سر فناوری و رفاه» است که در سال ۲۰۲۳ از سوی انتشارات پابلیک‌افرز منتشر شد. این مقاله از طریق پراجکت سیندیکیت منتشر و توزیع شده است.