جوان ۲۰ سالهای که معتقد است هوش مصنوعی ممکن است نسل بشر را نابود کند

آکیرا هایاشی وقتی میگوید هوش مصنوعی ممکن است در آیندهای نزدیک بشر را نابود کند، کاملاً جدی است.
این جوان ۲۰ ساله اهل توکیو یکشبه به یکی از مخالفان سرسخت توسعه هوش مصنوعی تبدیل نشد. چهار سال پیش، زمانی که هنوز دانشآموز دبیرستانی بود، کتاب «ابرهوش: مسیرها، خطرها و راهبردها» نوشته نیک بوستروم را که در سال ۲۰۱۴ منتشر شده بود، به دست گرفت. در ابتدا تصور میکرد با مجموعهای از نظریههای توطئه روبهرو خواهد شد، اما هرچه بیشتر مطالعه کرد، استدلالهای کتاب را جدیتر و رد کردن آنها را دشوارتر یافت. او بهتدریج مطالعه مقالات دانشگاهی و بحثهای انجمنهای اینترنتی درباره خطرات احتمالی هوش مصنوعی را آغاز کرد. پس از ورود به دانشگاه توکیو نیز گروهی با محوریت ایمنی هوش مصنوعی تشکیل داد.
نگرانیهای او در سال ۲۰۲۵، با انتشار آنلاین گزارشی با عنوان «AI 2027» عمیقتر شد. این گزارش به بررسی سرعت رشد نمایی هوش مصنوعی میپرداخت و سناریویی را ترسیم میکرد که بر اساس آن، اگر انسانها تا سال ۲۰۲۷ اقدامی نکنند، سامانههای هوش مصنوعی قدرتمندتر از انسان ممکن است به فریب دادن مردم و دنبال کردن اهدافی روی بیاورند که بقای بشر را تهدید میکند؛ تهدیدهایی که میتوانند از طریق جنگ سایبری یا انتشار سلاحهای زیستی تحقق پیدا کنند.
نتیجهای که هایاشی گرفت روشن بود: توسعه هوش مصنوعی پیشرفته باید همین حالا متوقف شود؛ در غیر این صورت، اوضاع ممکن است بهسرعت از کنترل خارج شود.
هایاشی در ماه مه، همراه با چند نفر دیگر، سازمان AGI Hub را با هدف افزایش آگاهی عمومی درباره خطرات و پیامدهای اجتماعی هوش مصنوعی پیشرفته تأسیس کرد. او عنوان مدیر ارشد همراستاسازی (Chief Alignment Officer) را بر عهده گرفت؛ سمتی مرتبط با حوزه همراستاسازی هوش مصنوعی که هدف آن اطمینان از سازگاری اهداف سامانههای هوش مصنوعی با ارزشهای انسانی است.

هایاشی در ماه سپتامبر، با افزایش نگرانیهایش از شتاب گرفتن توسعه هوش مصنوعی و همچنین حادثه ماه ژوئیه که طی آن عاملهای هوش مصنوعی OpenAI از محیط آزمایشی خود خارج شدند و بخشهایی از زیرساخت نرمافزاری شرکت Hugging Face را به خطر انداختند، تصمیم گرفت تحصیل در دانشگاه توکیو را موقتاً کنار بگذارد. او میخواست تمام وقت و انرژی خود را صرف متقاعد کردن جهان به ضرورت توقف توسعه هوش مصنوعی پیشرفته کند.

او در ادامه همان ماه، مسئولیت بخش ارتباطات و آگاهیرسانی ژاپن در مؤسسه پژوهشی هوش ماشینی (MIRI) را بر عهده گرفت؛ سازمانی غیرانتفاعی مستقر در برکلی کالیفرنیا که در سال ۲۰۰۰ تأسیس شده و از نخستین نهادهایی است که روی مسئله همراستاسازی هوش مصنوعی کار کردهاند.
هشدارهای هایاشی درباره هوش مصنوعی ممکن است از نظر برخی اغراقآمیز به نظر برسد، اما این دیدگاهها بهتدریج در ژاپن مورد توجه قرار گرفتهاند. او طی چند ماه گذشته در چندین گفتوگوی آنلاین، از جمله برنامههایی در پلتفرم پخش زنده Abema TV، شرکت کرده و با دانشگاهیان و متخصصان فناوری درباره احتمال ظهور «ابرهوش» به بحث پرداخته است. ابرهوش به سامانهای فرضی از هوش مصنوعی گفته میشود که تواناییهای شناختی و مهارتهای حل مسئله آن از باهوشترین انسانها نیز فراتر میرود.
هایاشی اوایل ماه جاری میلادی در کانال یوتیوب تاکاهیرو آنو، رهبر حزب سیاسی Team Mirai و عضو مجلس مشاوران ژاپن، حاضر شد تا دیدگاههای خود را درباره این موضوع تشریح کند.
تلاشهای بینالمللی برای تدوین استانداردهای مشترک ایمنی هوش مصنوعی نیز در حال افزایش است. تاکنون ۱۸ دولت و ۱۰ شرکت، از جمله شرکت ژاپنی Sakana AI، بیانیه پاریس درباره ایمنی و امنیت هوش مصنوعی را امضا کردهاند. این بیانیه که امانوئل مکرون، رئیسجمهور فرانسه، در ۹ نوامبر پیشنهاد داد، امضاکنندگان را متعهد میکند برای تدوین چارچوبی مشترک بهمنظور ارزیابی و مدیریت خطرات ناشی از مدلهای پیشرفته هوش مصنوعی تلاش کنند. این اعلامیه همچنین بر ضرورت شفافیت بیشتر، استانداردسازی گزارشهای ارزیابی ایمنی و بهبود تبادل اطلاعات درباره حوادث جدی مرتبط با هوش مصنوعی تأکید دارد.
بااینحال، ژاپن در میان دولتهای امضاکننده این بیانیه حضور ندارد؛ ایالات متحده و چین نیز آن را امضا نکردهاند. مینورُو کیهارا، دبیر ارشد کابینه ژاپن، روز ۱۰ نوامبر در یک نشست خبری اعلام کرد که توکیو تصمیم گرفته است فعلاً از پیوستن به این بیانیه خودداری کند. او دلیل این تصمیم را تفاوت رویکرد کشورها در زمینه تأمین ایمنی هوش مصنوعی پیشرفته دانست و گفت ژاپن نمیخواهد درباره هیچ رویکرد مشخصی زودهنگام به نتیجهگیری برسد.
هایاشی اخیراً در گفتوگویی با روزنامه ژاپن تایمز توضیح داده است که چگونه به این باور رسیده که هوش مصنوعی میتواند تهدیدی وجودی برای بشریت باشد. او همچنین تشریح کرده که قدرتهای متوسطی مانند ژاپن چگونه میتوانند مسیر توسعه هوش مصنوعی را متوقف کنند؛ مسیری که از نظر او به بحران موشکی کوبا شباهت دارد.

چه چیزی باعث شد به حوزه ایمنی هوش مصنوعی علاقهمند شوید؟
از کودکی به موضوعات انتزاعی علاقه داشتم. حتی در سالهای نخست دبستان درباره مسائل فلسفی فکر میکردم؛ مثلاً اینکه آیا دنیایی که در آن زندگی میکنیم واقعاً وجود دارد یا نه.
حدود کلاس چهارم بود که برای نخستین بار کتابی جامع و جدی خواندم. آن کتاب درباره وضعیت سوریه بود و «نفت، سلاح و مواد مخدر» نام داشت. از همان زمان، پیگیری تحولات ژئوپلیتیکی و رویدادهایی مانند انتخاب دونالد ترامپ و خروج بریتانیا از اتحادیه اروپا را با دقت بیشتری دنبال کردم.
در پایان سال اول دوره متوسطه اول، همهگیری کووید-۱۹ آغاز شد و مدارس تعطیل شدند. ناگهان وقت آزاد زیادی پیدا کردم. در نیمه نخست این دوره، مثل بسیاری از نوجوانان همسنوسالم، تمام وقتم را به بازیهای ویدئویی اختصاص میدادم. بیشتر به بازیهای تخصصی شهرسازی و راهبردهای جنگی علاقه داشتم؛ بازیهایی مانند «Cities: Skylines»، «Hearts of Iron IV» و «Stellaris».
بهتدریج علاقهام به سمت علوم رفت. در همین دوره با بازی «Kerbal Space Program» آشنا شدم؛ بازیای که در آن باید موتور و مخزن سوخت را سرهم میکنید و سپس با استفاده از محاسبات واقعگرایانه فیزیک، موشک خود را به سمت ماه هدایت میکنید.
سرانجام این بازی هم برایم تکراری شد و بار دیگر مسیر علاقهمندیهایم تغییر کرد. در اواخر کلاس هشتم، برنامهنویسی را شروع کردم. هوش مصنوعی بهطور طبیعی یکی از حوزههای مهمی بود که توجهم را جلب کرد. در آن زمان، تجربههایی با هوش مصنوعی تشخیص تصویر داشتم. سپس با هشدارهای استیون هاوکینگ، اخترفیزیکدان مشهور، درباره خطرات هوش مصنوعی آشنا شدم.
در ابتدا نسبت به این هشدارها بسیار بدبین بودم. آن زمان، تصورم از خطر وجودی هوش مصنوعی چیزی شبیه فیلم «نابودگر» بود؛ اینکه هوش مصنوعی خودآگاه شود، از انسانها متنفر شود و تصمیم بگیرد همه ما را از بین ببرد. فکر میکردم اگر قرار است فقط جلوی چنین اتفاقی را بگیریم، انجام این کار نباید چندان دشوار باشد.
با خودم فکر میکردم چرا چنین نگرانیهایی اصلاً مطرح میشوند. همین پرسش باعث شد کتاب «ابرهوش» نوشته نیک بوستروم را بخوانم.
چه زمانی این کتاب را خواندید؟
در آغاز پایه دهم، یعنی آوریل ۲۰۲۲. خواندن کتاب حدود سه روز طول کشید و پس از آن متوجه شدم با مسئلهای بسیار جدی روبهرو هستیم.
کتاب را خریده بودم چون انتظار داشتم استدلالهای نادرستی در آن پیدا کنم، اما مطالبی که خواندم عمیقاً تکانم داد. مدلی که کتاب برای توضیح تهدید ارائه میکرد، کاملاً با تصوری که من داشتم متفاوت بود. مسئله این نبود که هوش مصنوعی از انسانها متنفر شود یا قصد بدی نسبت به آنها داشته باشد. بلکه ممکن بود بشریت صرفاً به این دلیل منقرض شود که یک هوش مصنوعی در حال دنبال کردن هدف خودش است و بقای انسانها برایش اهمیتی ندارد.

همانطور که استیون هاوکینگ نوشته است، انسانها لزوماً از مورچهها متنفر نیستند وقتی برای ساختن یک سد، لانه آنها را نابود میکنند. مورچهها صرفاً در جریان دنبال کردن اهداف انسانها به قربانیان جانبی تبدیل میشوند. بوستروم این استدلال را به شکلی منطقی و منسجم توضیح داده بود.
چون نمیخواستم باور کنم که ممکن است بشریت منقرض شود، فعالانه به دنبال ایرادهای منطقی این استدلال میگشتم. سعی میکردم پاسخهای مخالفی پیدا کنم. مثلاً با خودم میگفتم اگر هوش مصنوعی باهوشتر شود، حتماً میتواند منظور انسانها را بفهمد و تشخیص دهد چه کاری درست است. یا شاید بتوانیم از تلههای فریبنده امنیتی، موسوم به Honeypot، برای به دام انداختن هوش مصنوعی سرکش استفاده کنیم یا سامانههای هوش مصنوعی را به نظارت بر یکدیگر و مقابله با هم وادار کنیم.
اما هر بار که به یک استدلال مخالف میرسیدم، متوجه میشدم بوستروم در کتابش پیشاپیش به آن پرداخته و بهطور مفصل توضیح داده است که چرا آن راهکار جواب نمیدهد. حدود یک ماه، هر بار که ایراد احتمالی تازهای به ذهنم میرسید، میدیدم کتاب قبلاً آن را رد کرده است. مجبور بودم قدمبهقدم باورهایم را تغییر دهم؛ درحالیکه گریه میکردم.
واقعاً گریه میکردید؟
پذیرفتن این مسئله برایم بسیار دشوار بود. احساسم شبیه تماشای سیارکی بود که به سمت زمین حرکت میکند. مدام محاسبات را زیر سؤال میبرید، پارامترها را دوباره بررسی میکنید و امیدوارید شاید نیروی گرانشی زحل مسیر آن را منحرف کند؛ اما هر بار که محاسبات را تکرار میکنید، باز هم نتیجه برخورد است.
مثل فیلم «به بالا نگاه نکن» ساخته آدام مککی؟
پژوهشگران حوزه ایمنی هوش مصنوعی معمولاً تماشای این فیلم را بهشدت توصیه میکنند.
ظاهراً آن فیلم استعارهای از تغییرات اقلیمی بود.
فیلم بر اساس موضوع تغییرات اقلیمی ساخته شده بود، اما همان سازوکارها درباره خطرات هوش مصنوعی نیز صدق میکنند. تغییرات اقلیمی در بازه زمانی طولانیتری رخ میدهد، درحالیکه انقراض انسانها بر اثر هوش مصنوعی میتواند بسیار سریعتر اتفاق بیفتد و احتمال دارد تمام بشریت را بهطور همزمان تحت تأثیر قرار دهد.
کتاب بوستروم در سال ۲۰۱۴ منتشر شد. آیا در آن زمانبندی مشخصی برای وقوع این اتفاق ارائه شده بود؟
خیر، تاریخ مشخصی مطرح نکرده بود. استدلال اصلی کتاب این بود که هوش مصنوعی فوقهوشمند بهشدت خطرناک است. همانطور که گسترش فعالیتهای انسان بدون هیچ قصد بدخواهانهای زیستگاه بسیاری از گونهها را نابود کرده است، یک ابرهوش نیز ممکن است در مسیر دنبال کردن اهداف خودش، در مدتزمان نسبتاً کوتاهی جای انسانها را بگیرد. بوستروم استدلال میکرد که اگر ابرهوش بدون تدابیر حفاظتی بسیار دقیق توسعه پیدا کند، تهدیدی وجودی برای بشریت خواهد بود.

بوستروم هنگام نوشتن کتاب تصور میکرد هنوز زمان زیادی باقی مانده است. او در بخشهای پایانی کتاب اشاره کرده بود که احتمالاً چند دهه تا ظهور ابرهوش فاصله داریم. من هم در آن زمان تصور مشابهی درباره زمانبندی این اتفاق داشتم.
در گذشته گفته میشد نقطه تکینگی ممکن است حدود سال ۲۰۴۵ رخ دهد.
بله، سالهای ۲۰۴۵ یا ۲۰۵۰ از جمله برآوردهای رایج بودند و من هم مدتی همین بازه زمانی را محتمل میدانستم. حتی فکر کردن به اینکه ممکن است در سالهای ۲۰۴۵ یا ۲۰۵۰ همراه دوستان و خانوادهام با خطر انقراض روبهرو شویم، برایم غیرقابلتحمل بود. احساس میکردم باید راهحلی پیدا کنم. پس از خواندن کتاب بوستروم، شروع به بررسی انجمنهای اینترنتی مانند LessWrong کردم؛ جایی که پژوهشگران ایمنی هوش مصنوعی مطالب فنی منتشر میکنند و درباره آنها به بحث میپردازند.
LessWrong را پژوهشگر آمریکایی، الیزر یودکوفسکی، تأسیس کرده بود؛ همان کسی که مؤسسه MIRI را نیز بنیان گذاشت، درست است؟
بله. برای یافتن پاسخ پرسشهایی که هنوز برایم باقی مانده بود، به سراغ LessWrong رفتم. طی سه یا چهار سال، درکم از این مسئله بهتدریج عمیقتر شد و فهمیدم حل آن تا چه اندازه دشوار است. مقالات پژوهشی آزمایشگاههایی مانند Anthropic و OpenAI را نیز مطالعه کردم و این کار ناامیدیام را بیشتر کرد.
همانطور که برخی توسعهدهندگان توضیح میدهند، سامانههای مدرن هوش مصنوعی بیشتر شبیه موجودات زنده رشد داده میشوند تا ساختمانهای بلندی که با نقشه و مهندسی دقیق ساخته میشوند. برای همراستا کردن یک سامانه هوش مصنوعی با ارزشهای انسانی، باید تمام چیزهایی را که برایمان اهمیت دارند، بهطور مشخص برای آن تعریف کنیم. هر چیزی که در این فرایند تعریف نشود، ممکن است از سوی سامانه نادیده گرفته شود.

این وضعیت شبیه آن است که در میان مه غلیظ، به سمت هدفی دارت پرتاب کنید که محل دقیق آن مشخص نیست، اما میدانید محدودهای که باید به آن اصابت کنید بسیار کوچک است. از آنجا که سامانههای مدرن هوش مصنوعی رشد داده میشوند، نه اینکه به شیوهای مهندسیشده ساخته شوند، توسعهدهندگان کنترل دقیق و جزئی لازم برای رسیدن به این هدف را در اختیار ندارند.
برای ساخت هوش مصنوعی ایمن، باید این فناوری را از ابتدا و با طراحی متفاوتی بازسازی کنیم. نمیتوانیم درحالیکه روش فعلی توسعه هوش مصنوعی را ادامه میدهیم، به همراستاسازی واقعی دست پیدا کنیم.
در واقع، روشهای کنونی همراستاسازی هوش مصنوعی بیشتر به کیمیاگری شباهت دارند. کیمیاگران فلزاتی مانند طلا را با اسید و جریان برق پردازش میکردند و لایهای براق روی سطح آنها به وجود میآوردند. تصور میکردند راهی برای ساخت طلا پیدا کردهاند، درحالیکه چنین اتفاقی نیفتاده بود.
به همین شکل، متخصصان امروزی همراستاسازی هوش مصنوعی با افزودن دادههای بیشتر، ظاهر مدلها را بهتر و رفتار آنها را مطلوبتر نشان میدهند و همین مسئله باعث میشود برخی پژوهشگران تصور کنند به راهحل نهایی نزدیک شدهاند.
بااینحال، هنوز اصول بنیادینی که بتوانند ایمنی را بهصورت نظاممند تضمین کنند، پیدا نشدهاند؟
دقیقاً. حتی متخصصانی که روی این حوزه کار میکنند، درک سازوکارمحوری از سیستمهای زیربنایی هوش مصنوعی ندارند.
منظورتان شرکتهایی مانند OpenAI و Anthropic است؟
بله، و در واقع کل صنعت را شامل میشود. پژوهشگران Anthropic کمی فروتنانهتر برخورد میکنند و آشکارا میپذیرند که هنوز درک کاملی از نحوه عملکرد هوش مصنوعی ندارند. مدیران هر دو شرکت Anthropic و OpenAI نیز اذعان کردهاند که هنوز روشهای قابلاعتمادی برای کنترل هوش مصنوعی فوقهوشمند ایجاد نشده است و هیچ تضمینی وجود ندارد که رویکردهای کنونی همراستاسازی در نهایت به راهحل منجر شوند.
وقتی وارد دانشگاه توکیو شدید، چه هدفی داشتید؟
میخواستم مسئله همراستاسازی را حل کنم. تا حدود یک سال و نیم پیش، تصورم این بود که ابرهوش در حدود سالهای ۲۰۴۵ یا ۲۰۵۰ ظهور خواهد کرد. با چنین زمانبندیای، رفتن به دانشگاه، تحصیل در رشتههای مرتبط و تبدیل شدن به پژوهشگر حوزه همراستاسازی، مسیر منطقی و عملی به نظر میرسید. فکر میکردم میتوانم تحصیلاتم را تمام کنم و پیش از سال ۲۰۴۵ به حل این مسئله کمک کنم.

اما در آوریل ۲۰۲۵، سناریوی پیشبینی «AI 2027» منتشر شد. این سناریو رشد مستمر و نمایی تواناییهای هوش مصنوعی را پیشبینی میکرد. گزارش مذکور که دنیل کوکوتایلو و سازمان غیرانتفاعی آمریکایی AI Futures Project منتشر کردند، نشان میداد که شتاب گرفتن توسعه هوش مصنوعی ممکن است باعث شود سامانههایی با هوشی فراتر از انسان، در صورت اقدام نکردن ما از همان سال ۲۰۲۷، شروع به فریب دادن مردم کنند.
چه زمانی مرخصی تحصیلی گرفتید؟
مرخصی رسمی من از دانشگاه از ماه اکتبر آغاز شد. در ماه مه بهعنوان مدیر ارشد همراستاسازی به AGI Hub پیوستم. در آن زمان، این حرکت هنوز کوچک بود، اما پس از حادثه Hugging Face در اواسط ماه ژوئیه، توجه عمومی به خطرات وجودی هوش مصنوعی افزایش یافت.
سپس در ماه سپتامبر، جیکوب کاکسون از Anthropic استعفا داد تا بهصورت علنی درباره تهدید وجودی هوش مصنوعی پیشرفته هشدار دهد. این اتفاق توجه رسانهها به موضوع را به میزان قابلتوجهی افزایش داد. پس از حضورم در برنامه Abema نیز دعوتنامههای زیادی برای سخنرانی دریافت کردم. از آن زمان، دیدگاهم از بدبینی به نوعی خوشبینی محتاطانه تغییر کرده است.
هنوز معتقدم ادامه توسعه بدون محدودیت هوش مصنوعی تقریباً بهطور قطع به فاجعه منجر خواهد شد، اما اکنون احتمال دستیابی به توافقی بینالمللی برای توقف موقت این توسعه را بین ۲۰ تا ۳۰ درصد برآورد میکنم؛ درحالیکه قبلاً این احتمال را فقط یک درصد میدانستم.
بیشتر مردم نمیتوانند تصور کنند که انقراض بشر ممکن است طی چند سال آینده اتفاق بیفتد. آیا نشانههایی از این خطر را در زندگی روزمره میبینید؟
تأثیرات فعلی هنوز نسبتاً محدود هستند. اما چون رشد هوش مصنوعی ماهیتی نمایی دارد، سرعت پیشرفت آن بسیار بیشتر از چیزی است که میتوانیم تصور کنیم.
همهگیری کووید-۱۹ را به خاطر بیاورید. این بیماری ابتدا با گزارش چند ده مورد آغاز شد، اما تنها در چند ماه در سراسر جهان گسترش یافت. من معتقدم اتفاق مشابهی ممکن است درباره هوش مصنوعی نیز رخ دهد.

سامانههای فعلی هوش مصنوعی در زمینههایی مانند ریاضیات با انسان رقابت میکنند، اما تواناییهای آنها ماهبهماه افزایش مییابد. این سامانهها بهتدریج از ابزارهایی که به انسان کمک میکنند، به عاملهای مستقلی تبدیل خواهند شد که میتوانند وظایف مختلف را بدون دخالت مستقیم انسان انجام دهند.
این عاملها دیگر منتظر دریافت فرمان از انسان نمیمانند، بلکه بهصورت پیوسته فعالیت میکنند و درست مانند نیروی کار انسانی، جریانهای کاری پیچیده را مدیریت خواهند کرد.
علاوه بر این، سامانههای هوش مصنوعی به ضرورت استفاده از هوش مصنوعی فیزیکی، یعنی رباتها، پی خواهند برد. آنها رباتهایی با بازدهی بسیار بالا طراحی میکنند و از انسانها میخواهند آنها را بسازند. سپس همین رباتها، رباتهای بعدی را تولید خواهند کرد و تعدادشان بهصورت نمایی افزایش خواهد یافت.
اما آیا هوش مصنوعی برای تولید رباتها همچنان به مواد اولیه فیزیکی و منابع انسانی وابسته نخواهد بود؟
در مراحل اولیه، باید مواد موردنیاز را خریداری کنند. اما سامانههای مستقل هوش مصنوعی میتوانند با انجام فعالیتهای فکری و تخصصی پردرآمد از راه دور، سرمایه موردنیاز خود را تأمین کنند.
شاخصی به نام Remote Labor Index وجود دارد که میزان توانایی عاملهای هوش مصنوعی را در انجام پروژههای واقعی و دورکاری میسنجد؛ پروژههایی که در حال حاضر انسانها در ازای دریافت دستمزد انجام میدهند.
عملکرد هوش مصنوعی در این شاخص از حدود ۶ درصد در آوریل به حدود ۲۰ درصد با مدل Opus 5.5 رسید؛ مدلی از Anthropic که در سپتامبر منتشر شد. این رقم اخیراً با انتشار مدل Fable 5.2 در ۹ نوامبر از ۴۰ درصد نیز فراتر رفت.
مدلهای هوش مصنوعی میتوانند از این طریق درآمد کسب کنند، فلزات و زمین بخرند و نیروی انسانی استخدام کنند. وبسایتی به نام RentAHuman وجود دارد که در آن عاملهای هوش مصنوعی میتوانند درست مانند اجاره کردن خودرو، انسانها را برای انجام کار استخدام کنند. هوش مصنوعی میتواند افرادی را برای ساخت رباتها به کار بگیرد؛ رباتهایی که در ادامه رباتهای بیشتری تولید میکنند و در نهایت کارخانه میسازند.
این سناریو را از نظر تئوری میتوانم درک کنم، اما جوامع انسانی در عمل با مقررات فراوانی اداره میشوند. نمیدانم آیا هوش مصنوعی واقعاً میتواند به این سادگی در چنین ابعادی گسترش پیدا کند یا نه.
افرادی که پشت پروژه «AI 2027» هستند، میگویند هوش مصنوعی پیشرفته در سال ۲۰۲۷ توسعه پیدا خواهد کرد و تا سال ۲۰۳۰ کنترل جهان را به دست خواهد گرفت. استدلال آنها این است که توسعه هوش مصنوعی به مسئلهای مرتبط با امنیت ملی تبدیل میشود و آمریکا و چین، رباتیک خودکار را برای دفاع ملی خود حیاتی خواهند دانست. در شرایط جنگی، دولتها ممکن است محدودیتهای قانونی و نظارتی را کنار بگذارند.

چنین شرایطی یک رقابت تسلیحاتی ایجاد میکند که در آن هر دو طرف احساس میکنند برای عقب نماندن باید روند استقرار فناوری را سرعت ببخشند. برای مثال، آمریکا و چین ممکن است مناطق ویژهای ایجاد کنند و منابع عظیمی را در آنها متمرکز سازند. سامانههای هوش مصنوعی میتوانند از طریق انجام کارهای تخصصی از راه دور درآمد کسب کنند، رباتها در مقیاس گسترده ساخته شوند و هنگامی که تولید به سطح مشخصی رسید، رباتهای انساننما بتوانند همان کارهایی را انجام دهند که انسانها انجام میدهند.
البته دنیای فیزیکی نسبتاً آهسته حرکت میکند. اما سامانههای فعلی هوش مصنوعی میتوانند سریعتر از انسان فکر کنند و سامانههای آینده ممکن است با سرعتی ۱۰۰ برابر انسان فعالیت کنند. در چنین شرایطی، یک سال برای ما معادل ۱۰۰ سال برای هوش مصنوعی خواهد بود.
علاوه بر این، ممکن است حدود یک میلیون سامانه از این نوع وجود داشته باشد که هرکدام بهاندازه یک برنده جایزه نوبل هوشمند باشند. تصور کنید یک میلیون پژوهشگر در سطح برندگان نوبل، بهصورت شبانهروزی و بدون خواب و استراحت، با سرعتی ۱۰۰ برابر انسان با یکدیگر همکاری کنند. آنها میتوانند فناوری رباتیک را توسعه دهند، انواع فناوریهای جدید را اختراع کنند و در فعالیتهای سیاسی و چانهزنیهای راهبردی مشارکت داشته باشند.
شما معتقدید برای متوقف کردن توسعه هوش مصنوعی پیشرفته به یک معاهده بینالمللی نیاز است. چنین توافقی چگونه میتواند شکل بگیرد؟
هوش مصنوعی امروزی هنوز تهدیدی در سطح انقراض بشر محسوب نمیشود، اما نسل بعدی آن یا حتی سامانههایی که فقط یک سال دیگر توسعه پیدا میکنند، ممکن است چنین تهدیدی ایجاد کنند.
باید از وقوع چنین وضعیتی جلوگیری کنیم. میتوانیم همچنان از ابزارهایی مانند ChatGPT و Claude استفاده کنیم و بهرهگیری از آنها را ادامه دهیم، بدون اینکه سامانههای قدرتمندتری بسازیم. آمریکا و چین نیز همچنان میتوانند در حوزههایی مانند رباتیک و انرژی با یکدیگر رقابت کنند. اما این به معنای آن نیست که باید ابرهوش را توسعه دهیم. چنین کاری خطرناک است.
این وضعیت شبیه اتفاقی است که در جریان بحران موشکی کوبا رخ داد. آمریکا و اتحاد جماهیر شوروی همچنان رقیب و دشمن یکدیگر بودند و تا آستانه فاجعه پیش رفتند، اما در نهایت هر دو طرف پذیرفتند که جنگ هستهای هر دو کشور را ویران خواهد کرد. تفاوت ابرهوش با رقابت تسلیحات هستهای این است که پس از ساخته شدن، ممکن است از کنترل انسان خارج شود و ما را از بین ببرد.
همانند توافقی که پس از بحران کوبا امکانپذیر شد، توقف توسعه هوش مصنوعی نیز قابل راستیآزمایی است. توسعه هوش مصنوعی به مراکز داده عظیمی وابسته است که بهاندازهای بزرگ شدهاند که به مسئلهای اجتماعی تبدیل شدهاند. میتوان این مراکز را از طریق گرمایی که تولید میکنند و همچنین ابعاد فیزیکی آنها شناسایی کرد. همانطور که آژانس بینالمللی انرژی اتمی (IAEA) برای نظارت بر فعالیتهای هستهای وجود دارد، میتوان نهادی بینالمللی برای بازرسی و نظارت بر اجرای توافق توقف توسعه هوش مصنوعی نیز ایجاد کرد.
با توجه به اینکه گفته میشود ژاپن در زمینه توسعه هوش مصنوعی چند سال از کشورهای پیشرو عقبتر است، آیا این کشور میتواند اقدامی انجام دهد؟
برخلاف تصور برخی افراد، ژاپن میتواند نقش بسیار مهمی ایفا کند.
نخست، این کشور میتواند از مؤسسههای ایمنی هوش مصنوعی استفاده کند. ژاپن نیز چنین نهادی دارد. برای مثال، مؤسسه ایمنی هوش مصنوعی بریتانیا سامانههای هوش مصنوعی را آزمایش میکند؛ از جمله توانایی آنها برای انجام حملات سایبری و احتمال سوءاستفاده از آنها. این مؤسسه همچنین مسئلهای را که با عنوان ناهمراستایی شناخته میشود بررسی میکند؛ یعنی سامانهها را برای شناسایی نشانههای رفتار سرکش زیر نظر میگیرد.
ژاپن نیز میتواند چنین آزمایشهایی انجام دهد. حتی اگر خودش توسعهدهنده هوش مصنوعی نباشد، میتواند سامانههای موجود را آزمایش و ارزیابی کند.
موضوع بعدی، ردیابی تراشههاست. در فرایند تولید نیمهرسانا، شرکتهای مختلفی در ساخت قطعات مشارکت دارند؛ از جمله شرکت هلندی ASML، شرکت تایوانی TSMC و شرکت ژاپنی Tokyo Electron. اگر ژاپن در ردیابی این قطعات مشارکت کند، میتواند از محل قرارگیری نیمهرساناها، تعداد رایانهها و موقعیت آنها اطلاع داشته باشد. به این ترتیب، اطمینان حاصل میشود که هیچچیزی پنهان نشده است و توقف توسعه هوش مصنوعی آسانتر خواهد شد.
علاوه بر این، فناوری دیگری به نام «راستیآزمایی محاسبات» (Compute Verification) وجود دارد که تحقیقات درباره آن با سرعت زیادی در حال پیشرفت است و ممکن است در آینده نیاز به حضور گروههای بازرسی را از بین ببرد. ایده اصلی این فناوری استفاده از نرمافزار برای بررسی این موضوع است که آیا سامانه جدیدی از هوش مصنوعی در حال توسعه است یا نه و آیا فقط سامانههای موجود اجرا میشوند. این فرایند بدون افشای نوع سامانههای هوش مصنوعی متعلق به هر سازمان و بدون نیاز به ورود بازرسان به مراکز داده آن انجام میشود.
چه نهادی باید مسئول اجرای این سازوکار باشد؟
به نظرم ساختار آن باید شبیه آژانس بینالمللی انرژی اتمی باشد. یکی از پیشنهادها این است که آمریکا و چین در ابتدا با تشکیل یک کنسرسیوم، سازمانی بینالمللی تحت نظارت آن ایجاد کنند. این سازمان از طریق فناوری راستیآزمایی محاسبات و همچنین گروههای بازرسی، بر اجرای توافق نظارت خواهد کرد.
حوزه راستیآزمایی محاسبات هنوز بسیار نوپاست. تحقیقات درباره آن حدود پنج سال پیش آغاز شد و تاکنون افراد نسبتاً کمی در این زمینه فعالیت کردهاند. هرچه پژوهشگران بیشتری وارد این حوزه شوند، فناوری سریعتر پیشرفت خواهد کرد. برای انجام این تحقیقات نیز به منابع محاسباتی عظیم نیازی نیست.
حوزه چهارم، فناوریهای حسگری و پایش محیطی است. فناوری حسگرهای ژاپن به کیفیت بالای خود شهرت دارد. این فناوریها در صورت استفاده مناسب میتوانند انتشار گرما، میزان مصرف برق و وجود مراکز داده را شناسایی کنند. ژاپن در این زمینه نیز میتواند مشارکت داشته باشد.
خودتان چگونه از ابزارهای هوش مصنوعی استفاده میکنید؟
هر روز بهطور گسترده از هوش مصنوعی استفاده میکنم. اشتراکهای پیشرفته ابزارهایی مانند Codex و ChatGPT Pro را دارم و برای کارهای مختلفی از آنها کمک میگیرم؛ از برنامهنویسی گرفته تا انجام تحقیقات.
اکنون با افراد مختلفی در ارتباط هستم و برای کمک به توقف توسعه هوش مصنوعی باید کارهایم را با حداکثر بهرهوری انجام دهم. برای مثال، از ابزارهای هوش مصنوعی استفاده میکنم تا بهطور دقیق بررسی کنم که بحثهای مربوط به ایمنی هوش مصنوعی در چین چگونه پیش میروند، چه افرادی نفوذ لازم برای ارائه گزارش و توضیح به شی جینپینگ را دارند و در آمریکا چه نوع گزارشها و جلسات توجیهی برگزار میشود. همچنین از این ابزارها میخواهم مداخلات و اقدامات احتمالی مختلف را شبیهسازی کنند و پیشبینی کنند کدامیک مؤثرتر خواهد بود. علاوه بر این، از هوش مصنوعی برای ترجمه مطالب مرتبط با ایمنی از منابع خارجی استفاده میکنم و سپس آنها را در وبسایت AGI Hub منتشر میکنم.
به افرادی که همچنان درباره خطرات هوش مصنوعی تردید دارند، چه میگویید؟
سرعت توسعه هوش مصنوعی حیرتانگیز است و فکر میکنم این روند همچنان به دستاوردهای شگفتانگیزتری منجر خواهد شد. سوءاستفاده از هوش مصنوعی در حملات سایبری نیز از همین حالا آغاز شده است.
با وقوع اتفاقات هرچه شگفتانگیزتر، فکر میکنم مردم بهتدریج متوجه خواهند شد که احتمال انقراض بشر، که زمانی آن را کاملاً غیرواقعی میدانستند، شاید چندان هم دور از ذهن نباشد. هیچکس نمیخواهد در بازی رولت روسی شرکت کند. بنابراین، حتی اگر هنوز کاملاً متقاعد نشدهاید که هوش مصنوعی میتواند باعث انقراض انسانها شود، بیایید توسعه آن را متوقف کنیم.
در حال حاضر، مفیدترین کاری که مردم میتوانند انجام دهند، کمک به انتشار آگاهی درباره خطرات هوش مصنوعی در میان بیشترین تعداد ممکن از افراد است.
به نظر شما این توقف توسعه باید چه مدت ادامه داشته باشد؟
تا زمانی که فناوریهای ایمنی موردنیاز در دسترس قرار بگیرند. متأسفانه هنوز در مرحله کیمیاگری هستیم و به همین دلیل نمیتوانم دقیقاً بگویم دستیابی به چنین فناوریهایی چقدر زمان خواهد برد. به نظرم بازه زمانی محتمل بین پنج تا ۳۰ سال است.

ابتدا باید توسعه هوش مصنوعی را متوقف کنیم تا از نابودی بشریت در زمان حاضر یا طی چند سال آینده جلوگیری شود. سپس در طول این دوره طولانیتر، که ممکن است تا ۳۰ سال ادامه داشته باشد، باید فناوری همراستاسازی را توسعه دهیم تا ایمنی هوش مصنوعی تضمین شود. به نظر من، میدان اصلی رقابت و تلاش دقیقاً همینجاست و خودم نیز قصد دارم بهعنوان پژوهشگر همراستاسازی در این مسیر مشارکت کنم.
فراتر از این، امیدوارم با بهاشتراکگذاری دانش مربوط به همراستاسازی و روشهای تفکر درباره ایمنی هوش مصنوعی، افراد بیشتری را به ورود به این حوزه پژوهشی ترغیب کنم. یکی از دلایل راهاندازی گروه دانشجویی جدیدی با عنوان UTokyo AI Safety در دانشگاه توکیو نیز همین است. در حال حاضر تمرکزم بر آگاهیرسانی است، اما وقتی کمی وقت آزادتر داشته باشم، قصد دارم مطالب آموزشی نظاممندی درباره ایمنی هوش مصنوعی تدوین کنم، آنها را در دسترس دیگران قرار دهم و به مجموعهای از درسها و سخنرانیهای آموزشی تبدیل کنم تا بتوانیم پژوهشگران بیشتری در حوزه همراستاسازی تربیت کنیم.
این مصاحبه برای وضوح بیشتر و اختصار ویرایش شده است.
