آیا از هوش مصنوعی می‌ترسیم چون گرسنگی خودمان برای قدرت را بازتاب می‌دهد؟
ای خدای قادر مطلق، همه ساکنان زمین را از شر جنگ‌طلبان بی‌رحم، قدرت‌زده و تشنه قدرت که در جهانی در حال دگرگونی و روبه‌رو با دو تهدید وجودی قرار دارند نجات بده؛ جهانی که با آب‌وهوای شدید و تکرارشونده و هوش مصنوعی سرکشی مواجه است؛ هوشی مصنوعی که گویی از انسان‌هایی که خردِ حفظ ماشین‌های باهوش‌تر را زیر سؤال می‌برند، خسته شده است. آمین.
این دعا عمداً لحنی بازیگوشانه و طعنه‌آمیز دارد. در آن، هوش مصنوعی همچون موجودی تصور می‌شود که ممکن است روزی از سازندگانش بی‌حوصله شود و سپس این خیال در کنار خطری بسیار قدیمی‌تر قرار می‌گیرد: انسان‌هایی که قدرت را بدون مهار به کار می‌گیرند. طنز ماجرا در این است که نگرانی‌های ما را وارونه می‌کند. ما نگرانیم که ماشین‌ها روزی اختیار بیش از اندازه‌ای به دست آورند، اما انسان‌ها همین حالا اختیار دارند و بارها از آن برای تحمیل هزینه جاه‌طلبی‌های خود بر دیگران استفاده کرده‌اند.
پرسش اصلی که در پس این دعا نهفته است این است: آیا از کاری که ماشین‌ها ممکن است انجام دهند می‌ترسیم، یا از کاری که انسان‌ها ممکن است با ماشین‌ها انجام دهند؟
این تمایز اهمیت دارد. هوش مصنوعی امروزی هنوز دلیل محکمی به دست نمی‌دهد که تصور کنیم احساس رنجش دارد، آزادی می‌خواهد یا از انسان‌ها خسته شده است. توصیف آن به‌عنوان موجودی سرکش، نوعی زندگی درونی انسانی به نرم‌افزار نسبت می‌دهد. اما استعاره‌ها حتی وقتی معنای تحت‌اللفظی ندارند، می‌توانند حقیقتی را آشکار کنند. ماشین ممکن است خشمگین نباشد، اما سازندگان و کاربران آن می‌توانند بی‌احتیاط، زیاده‌خواه یا نسبت به افرادی که از تصمیم‌های آن تأثیر می‌پذیرند بی‌تفاوت باشند.
یک سامانه لازم نیست از کسی متنفر باشد تا آسیب ایجاد کند. ممکن است یک قضاوت نادرست را در مقیاسی گسترده تکرار کند، تصمیمی مبهم بگیرد که اعتراض به آن دشوار باشد، یا به نهادی که از پیش قدرت زیادی دارد راهی سریع‌تر برای اجرای خواسته‌هایش بدهد. در چنین شرایطی، خودمختاری ظاهری سامانه می‌تواند انتخاب‌هایی را که آن را شکل داده‌اند پنهان کند: چه اهدافی در آن گنجانده شده، از چه داده‌هایی اجازه استفاده داشته، کجا به کار گرفته شده و چه کسانی قرار است ریسک‌های آن را تحمل کنند. مسئله اخلاقی اصلی، گلایه خیالی یک ماشین نیست؛ بلکه تصمیم انسانی برای ساختن، اعتماد کردن یا به‌کارگیری سامانه‌ای بدون پذیرش مسئولیت پیامدهای آن است.
این مشکل، مسئله‌ای تازه در لباس فناوری نیست. انسان‌ها مدت‌هاست افزایش قدرت را با افزایش خرد اشتباه گرفته‌اند. ابزارهایی طراحی می‌کنیم که توانایی ما را گسترش می‌دهند و سپس چنان سخن می‌گوییم که گویی خود ابزار تصمیم گرفته است. اما توانایی بیشتر، مسئولیت را از بین نمی‌برد. برعکس، هرچه توانایی تأثیرگذاری بر زندگی افراد بیشتری افزایش یابد، نیاز به محدودیت‌های سخت‌گیرانه‌تر و پاسخ‌گویی روشن‌تر بیشتر می‌شود.
جنگ‌طلبی در این دعا آشکارترین شکل قدرت بدون مسئولیت را نمایان می‌کند. اقتدار سیاسی به مجوزی برای فرمان دادن، سلطه یافتن و به خطر انداختن جان‌هایی تبدیل می‌شود که متعلق به دیگران است. انگیزه ممکن است طمع باشد؛ یا جاه‌طلبی، ترس، کینه یا باور مست‌کننده‌ای که هدف فرد هر هزینه‌ای را توجیه می‌کند. با هر توضیحی، کسانی که جنگ را انتخاب می‌کنند معمولاً تنها قربانیان آن نیستند. غیرنظامیان خانه‌ها، خانواده‌ها و آینده‌های خود را در درگیری‌هایی از دست می‌دهند که انتخابشان نکرده‌اند.
آب‌وهوای شدید چالشی اخلاقی متفاوت ایجاد می‌کند. طوفان قصد و نیتی ندارد و اقلیم وجدانی ندارد. با این حال، خطرهایی که مردم با آن روبه‌رو می‌شوند فقط از نیروهای طبیعی شکل نمی‌گیرند؛ بلکه تصمیم‌های انسانی درباره انرژی، زمین، زیرساخت‌ها و اینکه امنیت چه کسانی شایسته سرمایه‌گذاری است نیز در آن نقش دارند. مسئولیت میان جوامع و نسل‌ها توزیع شده است، اما پیامدها به‌طور برابر تقسیم نمی‌شوند. کسانی که کمترین نقش را در شکل دادن به تصمیم‌ها دارند، ممکن است نخستین افرادی باشند که آسیب‌ها را تحمل می‌کنند. نامیدن این پیامدها به‌عنوان بلایای طبیعی می‌تواند رویداد را توصیف کند، اما ممکن است علت‌های انسانی و نابرابری در تحمل هزینه‌ها را نادیده بگیرد.
بنابراین، سه خطری که در این دعا مطرح شده‌اند یکسان نیستند و نباید آن‌ها را در یک دسته قرار داد. جنگ، نتیجه انتخاب انسانی است. آب‌وهوای شدید رویدادی فیزیکی است که اثرات آن با تصمیم‌های انسانی تشدید یا کاهش می‌یابد. هوش مصنوعی مجموعه‌ای از سامانه‌های ساخته دست انسان است که می‌تواند این انتخاب‌ها را به حوزه‌های جدید و با سرعتی بیشتر منتقل کند. وجه مشترک این سه، نه یک علت واحد، بلکه یک پرسش اخلاقی مشترک است: چه کسی قدرت تصمیم‌گیری دارد، چه کسی سود می‌برد و چه کسی باید با پیامدها زندگی کند؟
همین پرسش توضیح می‌دهد که چرا هوشمندی با خرد یکی نیست. هوشمندی می‌تواند محاسبه کند، پیش‌بینی کند، متقاعد کند و بهینه‌سازی انجام دهد. اما خرد می‌پرسد آیا هدف ارزشمند است، آیا روش‌ها عادلانه‌اند و آیا افراد تحت تأثیر راهی برای اعتراض دارند. یک سامانه ممکن است پاسخی دقیق به پرسشی اشتباه ارائه دهد. یک رهبر ممکن است به هدف اعلام‌شده خود برسد، در حالی که هزینه انسانی آن پنهان بماند. یک اقتصاد ممکن است رشد را ثبت کند، در حالی که جوامع هزینه آسیب‌هایی را بپردازند که هرگز در محاسبات اقتصادی وارد نشده‌اند.
پس خطر اصلی این نیست که هوش مصنوعی به یک انسان تبدیل شود. خطر این است که انسان‌ها از بی‌طرفی ظاهری آن برای تصمیم‌هایی استفاده کنند که اجتناب‌ناپذیر، فنی یا فراتر از اعتراض جلوه داده شوند. جمله «سامانه تصمیم گرفت» می‌تواند به عبارتی راحت برای کسانی تبدیل شود که آن سامانه را طراحی کرده‌اند، اجازه استفاده از آن را داده‌اند یا از عملکردش سود برده‌اند. زبان خودکارسازی می‌تواند زنجیره‌ای از انتخاب‌های انسانی را بهانه‌ای برای فرار از مسئولیت کند.
دعا نمی‌تواند جایگزین نهادها و نظارت عمومی‌ای شود که قدرت را پاسخ‌گو می‌کنند. اما می‌تواند توجه ما را دوباره به چیزهایی جلب کند که مفاهیم انتزاعی پنهان می‌کنند. «امنیت»، «رشد» و «نوآوری» ممکن است به ارزش‌های واقعی اشاره کنند، اما حق رفتار با دیگران به‌عنوان هزینه‌های جانبی را ایجاد نمی‌کنند. همچنین نباید نگرانی درباره شورش احتمالی ماشین‌ها، ما را از انسان‌هایی که همین امروز قدرت تعیین‌کننده‌ای بر یکدیگر و بر جهان زنده اعمال می‌کنند، منحرف کند.
درخواست خرد، چیزی فراتر از درخواست زیرکی است. یعنی از صاحبان قدرت بخواهیم تصمیم‌های خود را توضیح دهند، محدودیت‌ها را بپذیرند و در برابر کسانی پاسخ‌گو باشند که ریسک‌ها را تحمل می‌کنند. یعنی تأکید کنیم پیچیدگی یک ابزار، سازنده آن را از مسئولیت معاف نمی‌کند و وعده‌های یک سیاست، قربانیان آن را حذف نمی‌کند. مهم‌تر از همه، یعنی نپذیریم که پیامدها متعلق به شخص دیگری هستند.
شاید نگران‌کننده‌ترین احتمال این نباشد که ماشین‌ها بیشتر شبیه ما شوند؛ بلکه این باشد که ما همچنان ماشین‌های قدرتمندتری بسازیم، بدون آنکه در استفاده از قدرت مسئولانه‌تر شویم. این دعا از خدا می‌خواهد همه ساکنان زمین را نجات دهد. اما چالش انسانی آن فوری‌تر است: آیا می‌توانیم پیش از آنکه ابزارهایمان بی‌مسئولیتی ما را کارآمدتر کنند، یاد بگیریم از یکدیگر محافظت کنیم؟