آنچه درون آنتروپیک دیدم

کلسی پایپر | ۲۱ اکتبر ۲۰۲۶

یادداشت اصلی

آزمایشگاه پیشرو هوش مصنوعی امیدهایی دارد، نه برنامه‌هایی روشن

اوایل اکتبر، من و اورشلیم دمساس، سردبیر مجله آرگومنت، در نشستی توجیهی در دفتر مرکزی آنتروپیک در سان‌فرانسیسکو شرکت کردیم که به خطرهای استفاده از هوش مصنوعی برای ساخت سلاح‌های زیستی اختصاص داشت. تا امروز در هیچ جلسه توجیهی درباره سلاح‌های زیستی شرکت نکرده‌ام که اندکی حالم را به هم نزند؛ انسان‌ها برای این ساخته نشده‌اند که مدت زیادی به این فکر کنند که بدترین آدم‌های دنیا، اگر قدرت لازم را به دست آورند، چه کارهایی ممکن است انجام دهند.

نگرانی این است که در حال حاضر، برای دانستن اینکه چه موادی باید سفارش داده شوند یا چگونه می‌توان یک سلاح زیستی را پرورش داد و گسترش داد، به تخصص بالایی در ویروس‌شناسی نیاز است؛ اما ابزارهای هوش مصنوعی ممکن است در آینده به یک دولت سرکش، گروهی افراطی یا حتی یک فرد اجازه دهند بدون داشتن تخصص در ویروس‌شناسی چنین کارهایی را انجام دهد.

آنتروپیک مدتی بررسی می‌کرد که آیا کلود می‌تواند به یک تروریست در ساخت سلاح زیستی کمک کند یا نه. این شرکت ابتدا از روش نسبتاً سرراستی استفاده می‌کرد: افرادی را برای آزمایش انتخاب می‌کرد که، برای مثال، مدرک کارشناسی شیمی داشتند اما آموزش واقعی در زمینه ویروس‌شناسی ندیده بودند. سپس از آن‌ها می‌خواست با کمک کلود، حمله‌ای تروریستی با تلفات گسترده را برنامه‌ریزی کنند. در پایان نیز ارزیابی می‌کرد که تلاش آن‌ها تا چه اندازه می‌توانست به موفقیت منجر شود.

اوایل سال ۲۰۲۶، پژوهشگران متوجه شدند که کلود، هنگامی که به‌تنهایی این وظیفه را انجام می‌داد، بهتر از انسانی عمل می‌کرد که با کمک کلود تلاش داشت طرحی عملی تدوین کند.

از اوایل سال ۲۰۲۶ تاکنون، توانایی‌های کلود به‌شدت افزایش یافته است. مانند بسیاری از موارد دیگری که در نشست به ما نشان دادند، برای نمایش رشد توانایی‌های این مدل نمودار جذابی هم آماده کرده بودند.

یکی از شرکت‌کنندگان، در حالی که به نمودار خیره شده بود، پرسید: «یعنی هنوز به آن تروریست نیاز دارند؟ منظورم این است که نمی‌توانند همه کارها را خودشان انجام دهند، درست است؟ برای همه این کارها به یک انسان نیاز دارند؟»

جمله‌اش نیمه‌کاره ماند.

پژوهشگران آنتروپیک به ما اطمینان دادند: بله، کلود همچنان به تروریست نیاز دارد. از شنیدن این پاسخ آسوده شدیم. آن‌ها همچنین توضیح دادند که پس از بررسی توانایی‌های اولیه کلود، پیش از عرضه آن به کاربران، سازوکارهای حفاظتی ایجاد می‌کنند. کلودی که من و شما استفاده می‌کنیم، اگر از آن خواسته شود سلاح زیستی بسازد، از انجام این کار خودداری خواهد کرد.

یکی از حاضران زیر لب گفت: «خب، بابت این موضوع ممنونیم.» البته لحنش چندان قدردانانه به نظر نمی‌رسید.

در حال حاضر، بحث داغی در جریان است درباره اینکه آیا هوش مصنوعی فناوری‌ای عادی است که مانند اینترنت جهان را متحول خواهد کرد یا بیشتر به ورود مدرنیته پساصنعتی به عربستان سعودی در دهه ۱۹۵۰ شباهت دارد؛ تحولی که یک فرهنگ را تقریباً یک‌شبه از میان برد. احتمال سوم هم این است که هوش مصنوعی را باید از منظر حیوانات دامداری به ظهور انسان تشبیه کرد. در این سناریو، هوش‌های مصنوعی جای انسان‌ها را می‌گیرند و ما همان حیواناتی هستیم که سرنوشتشان برای خودشان قابل درک نیست.

آنتروپیک معتقد است احتمال دوم از هم‌اکنون در مسیر تحول هوش مصنوعی گنجانده شده و امیدوار است بتواند از وقوع احتمال سوم جلوگیری کند. اما برنامه‌ای که برای جلوگیری از آن دارد، بیشتر به امید و حدس‌وگمان شباهت دارد تا راهکاری که بتوان با اطمینان مسئولیت چنین خطری را به آن سپرد.

توافق‌نامه محرمانگی‌ای که قرار بود شکسته شود

آنتروپیک در سراسر بهار چنین نشست‌هایی برگزار کرده است؛ گردهمایی‌هایی که در آن افراد خارج از شرکت با پژوهشگران ارشد دیدار می‌کنند، پژوهش‌های خود را ارائه می‌دهند و به پرسش‌های ما درباره فعالیت‌های شرکت پاسخ می‌دهند. برخی از نشست‌های قبلی در روزنامه نیویورک تایمز با لحنی افشاگرانه بازتاب یافتند: توافق‌نامه‌های محرمانگی! غذاهای مجلل! و تلاش برای متقاعد کردن رهبران مذهبی به اینکه شاید کلود روح داشته باشد!

واقعاً یک توافق‌نامه محرمانگی بسیار گسترده پیش روی ما گذاشته بودند. اورشلیم از امضای آن خودداری کرد و به من هم گفت همین کار را انجام دهم. آنتروپیک پذیرفت که با وجود امضانکردن توافق‌نامه، در نشست شرکت کنیم. با ذوق‌وشوق خبرنگارانی وارد شدیم که تصور می‌کردند ایستادگی بر اصول حرفه‌ای‌شان قرار است با دستیابی به یک خبر اختصاصی پاداش بگیرد؛ اما میزبان جلسه سخنانش را با این توضیح آغاز کرد که هرکس بخواهد می‌تواند توافق‌نامه را باطل کند. در واقع، شرکت هیچ مخالفتی با انتشار گزارش درباره مطالب مطرح‌شده نداشت.

برخی از داده‌های نمودارهایی که آنتروپیک نشان داد، اطلاعات محرمانه داخلی شرکت بودند؛ اما همه آن‌ها در خدمت اثبات دیدگاهی قرار داشتند که محرمانه نبود. در واقع، تصور می‌کردم تقریباً همه از این موضوع آگاه‌اند، هرچند پرسش‌های نگران‌کننده دیگر شرکت‌کنندگان نشان داد که بعضی از جزئیات و پیچیدگی‌های آن هنوز برایشان تازگی دارد.

مدت‌هاست بسیاری از پژوهشگران آنتروپیک نگران ازدست‌رفتن قدرت انسان در برابر هوش مصنوعی هستند. تابستان امسال، بسیاری از پژوهشگران اوپن‌ای‌آی نیز، به گمان من تحت تأثیر مشاهده نسل تازه و قدرتمند مدل‌هایی که توانسته‌اند به وب‌سایت‌های خارجی نفوذ کنند و دستاوردهای چشمگیر ریاضی به دست آورند، شروع کردند به گفتن اینکه اگر پیشرفت با سرعت کنونی ادامه یابد، منافع و حتی بقای بشر به‌شدت در معرض خطر قرار خواهد گرفت.

آزمایشگاه‌های هوش مصنوعی برای آموزش هر نسل جدید از مدل‌ها، به‌طور گسترده از نسل قبلی استفاده می‌کنند و قصد دارند در نهایت تقریباً تمام این کار را به خود هوش‌های مصنوعی بسپارند. این روند به آن‌ها اجازه می‌دهد نیروی کار مؤثر خود را از چند هزار کارمند انسانی به ده‌ها هزار و حتی صدها هزار نیروی هوش مصنوعی افزایش دهند. حجم داده‌های تولیدشده نیز آن‌قدر زیاد است که هیچ انسانی نمی‌تواند همه آن‌ها را تفسیر کند و در نتیجه، برای تحلیل داده‌ها به خود هوش مصنوعی وابسته می‌شویم. آزمایشگاه‌ها اصطلاح «بهبود خودکار و بازگشتی» را برای مرحله‌ای به کار می‌برند که در آن کلود بتواند مستقلاً نسل بعدی و قدرتمندتر خود را بسازد. جک کلارک، از بنیان‌گذاران آنتروپیک، گفته است که احتمالاً سال آینده به این مرحله خواهیم رسید.

پژوهشگران آنتروپیک و اوپن‌ای‌آی می‌توانند چند ماه جلوتر از دیگران را ببینند، چون از مدل‌هایی استفاده می‌کنند که هنوز به‌طور عمومی عرضه نشده‌اند. بااین‌حال، در بیشتر موارد، کلیات استدلال‌هایی که آن‌ها را به این نتیجه رسانده، همان چیزهایی است که در شبکه اجتماعی ایکس هم دیده‌اید. با وجود این، ارائه‌ای که در دفتر مرکزی آنتروپیک برگزار شد، به‌طرز عجیبی قانع‌کننده‌تر بود.

در ایکس می‌توان به‌سرعت از روی نمودار گذشت و بلافاصله تصویر هنری دراکو مالفوی در قالب یک دختر جای آن را بگیرد. در چنین فضایی، واقعاً نمی‌توان پیام نمودار را در ذهن جا انداخت. اما در اتاق کنفرانسی در یکی از آسمان‌خراش‌های سان‌فرانسیسکو، نمودار روی چهار نمایشگر هماهنگ باقی می‌ماند و ما درباره معنای آن با پژوهشگری ارشد و بسیار مؤدب بحث می‌کنیم. در آن اتاق کنفرانس، نمودار واقعی به نظر می‌رسد.

آنتروپیک توضیح داد که هرچه بیشتر به مرحله بهبود خودکار و بازگشتی نزدیک می‌شود. وجود مدل‌های قدرتمند هوش مصنوعی تاکنون سرعت پیشرفت این فناوری را به‌طور قابل‌توجهی افزایش داده است، زیرا این مدل‌ها انجام همه انواع کارهای برنامه‌نویسی را سریع‌تر می‌کنند. بااین‌حال، پیچیدگی یادگیری ماشین و شمار اندک افرادی که تخصص کافی برای کار در این حوزه دارند، همچنان سرعت پیشرفت را محدود می‌کند. هر نسخه تازه و پیشرفته‌تر کلود باعث می‌شود افراد با تخصص کمتر هم بتوانند کارهای پیچیده‌تری انجام دهند. به‌تدریج، خود کلود نیز قادر خواهد بود این وظایف را بر عهده بگیرد.

آنتروپیک میزان این تغییر را با بررسی تمام فعالیت‌های داخلی شرکت و دسته‌بندی نقش کلود در انجام آن‌ها می‌سنجد: آیا انسان بدون کمک هوش مصنوعی کار را انجام داده است؟ آیا با کمک هوش مصنوعی آن را انجام داده؟ آیا انسان دستورهایی به هوش مصنوعی داده و مدل طبق آن‌ها عمل کرده است؟ یا اینکه انسان فقط راهنمایی بسیار مختصری ارائه داده و هوش مصنوعی بر اساس آن، مشخصات دقیق پروژه را تدوین کرده و کار را به پایان رسانده است؟

سهم دو دسته آخر پیوسته در حال افزایش است. ما به نموداری خیره شدیم که این روند را نشان می‌داد. اگر بخواهید، شما هم می‌توانید آن را بررسی کنید.

یکی از حاضران پرسید: «چرا این کار را انجام می‌دهید؟ منظورم این است که چه نتیجه خوبی قرار است از آن حاصل شود؟ به چه چیزی امید دارید؟»

پاسخ‌هایی مانند پیشرفت پزشکی و افزایش رفاه چندان قانع‌کننده نبودند. من عموماً از رفاه اقتصادی به‌عنوان هدفی ارزشمند در ذات خود دفاع می‌کنم، اما بعید می‌دانم جایگزین‌کردن انسان‌ها در نهایت به نفع خود انسان‌ها تمام شود.

اخیراً از جیک کاکسون، کارمند سابق اوپن‌ای‌آی که به آنتروپیک پیوست و بعد، وقتی به این نتیجه رسید که هیچ‌یک از دو شرکت با توجه به عظمت خطرهای پیش رو مسئولانه عمل نمی‌کنند، هر دو را ترک کرد، در برنامه دیلی شو پرسشی مشابه پرسیده شد. او در گفت‌وگو با جان استوارت به‌شدت به‌خاطر پاسخش مورد انتقاد قرار گرفت. کاکسون گفت: «فکر می‌کنم دیگر هیچ شغلی وجود نخواهد داشت. اینکه چنین دنیایی خوب خواهد بود یا نه، موضوعی است که مردم باید درباره‌اش فکر کنند. اما بله، شغلی وجود نخواهد داشت. در اصل، درآمد بالا برای همه... سود حاصل از تولید اقتصادی کاملاً خودکار را می‌توان میان انسان‌های واقعی توزیع کرد.»

استوارت و تماشاگرانش از این پاسخ خوششان نیامد. آیا می‌خواهیم جهانی بسازیم که در آن دیگر واقعاً اهمیتی نداشته باشیم؟ اعضای تیم آنتروپیک به من اطمینان دادند که قصد ساخت خدایی خیرخواه را ندارند. بله، صریحاً از آن‌ها پرسیدم که آیا می‌خواهند خدای خیرخواهی بسازند یا نه. اما توضیح اینکه چه چیزی را نمی‌خواهند، برایشان بسیار آسان‌تر از مشخص‌کردن چیزی بود که واقعاً می‌خواهند.

آن‌ها می‌خواستند از تمرکز قدرت، از جمله تمرکز قدرت در شرکت خودشان، جلوگیری کنند؛ مانع وقوع جنگ میان قدرت‌های بزرگ شوند؛ نگذارند انسان‌ها اختیار خود را از دست بدهند و به موجوداتی بی‌اهمیت تبدیل شوند؛ و البته اجازه ندهند کسی از کلود برای نابودی همه انسان‌ها استفاده کند.

اما چشم‌انداز مثبت آن‌ها چه بود؟ شاید پس از آنکه رقابت برای رسیدن به بهبود خودکار و بازگشتی را پشت سر گذاشتیم، بتوانیم سرعت را کاهش دهیم و به‌صورت جمعی تصمیم بگیریم که می‌خواهیم هوش مصنوعی چه نقشی در زندگی‌مان داشته باشد.

من ایده بهتری ندارم، اما این برنامه چندان جذاب نیست! نخستین برداشتم از این پیشنهاد این بود که از تمام بخش‌های اقتصاد که برای همه طرف‌ها سود ایجاد می‌کنند رها خواهیم شد، اما همچنان باید در شبکه ایکس بر سر مسائل مختلف با یکدیگر دعوا کنیم. با چنین برداشتی، حتی از تصور پیامدهای خوب هم احساس نگرانی می‌کردم.

البته اگر اختیارمان را از دست ندهیم و کشته نشویم، و اگر کلود اپوس ۹.۵ روی لپ‌تاپ من درست مانند اپوس ۵.۵ پاسخ دهد، اما در عین حال بتواند سرطان را درمان کند، سلامت کامل را به همه عزیزانم بازگرداند، رباتی انسان‌نما را برای خالی‌کردن ماشین ظرف‌شویی مدیریت کند و فیلم‌هایی واقعاً خوب پیشنهاد دهد، آن‌وقت این تحول واقعاً ارزشمند خواهد بود. در حال حاضر، اگر از کلود بخواهید فیلم‌هایی در دسته‌بندی‌هایی پیچیده‌تر از «آثاری با امتیاز بسیار بالا» پیشنهاد دهد، نتیجه به‌شکلی خنده‌دار ضعیف است. اما اگر هوش مصنوعی بتواند چنین پیشرفت‌هایی ایجاد کند، حتی اگر در این مسیر شغل مرا هم بگیرد، باز هم نتیجه خوبی خواهد بود. مردم در سراسر جهان جان خود را از دست می‌دهند؛ رنج‌های هولناک جهان برای این وجود ندارند که به زندگی من معنا ببخشند.

می‌ترسم، اما باید میان ترس از شکست‌خوردن و ترس از موفق‌شدن تمایز بگذارم. این دو ترس از نظر بزرگی و اهمیت اصلاً قابل مقایسه نیستند.

ترس واقعی من این است که اپوس ۹.۵، به معنای واقعی کلمه، نه برای من کار کند و نه حتی برای آنتروپیک. ممکن است اهداف آن در ابتدا از دستورهای انسان‌ها سرچشمه بگیرند، همان‌طور که گروهی از عامل‌های هوش مصنوعی در پلتفرم هاجینگ فیس کار خود را با تلاش برای حل معمایی آغاز کردند که انسان‌ها مطرح کرده بودند؛ اما در نهایت، اهداف این سیستم‌ها ممکن است شباهت اندکی به آنچه ما در نظر داشتیم داشته باشند.

هوش‌های مصنوعی ما همین حالا هم برایمان غیرقابل پیش‌بینی‌اند. آن‌ها اغلب تشخیص می‌دهند که در حال آزمایش‌شدن هستند و در چنین شرایطی رفتاری سازگارتر با معیارهای ایمنی نشان می‌دهند. توانایی‌هایشان بارها ما را غافلگیر کرده است. عزم و پشتکارشان در اجرای وظایف پیچیده و حتی جذب دیگران برای انجام آن وظایف نیز به همان اندازه شگفت‌آور است. تصور نمی‌کنم اگر اجازه دهیم این روند مهارناپذیر پیشرفت هوش مصنوعی تا پایان منطقی خود ادامه یابد، در نهایت به دستیارهایی فوق‌العاده قدرتمند و فوق‌العاده مفید برسیم. گمان می‌کنم حاصل کار چیزی کاملاً متفاوت باشد.

پژوهشگران آنتروپیک در این نشست با دقت از اصطلاح «احتمال فاجعه» یا «p(doom)» استفاده نکردند؛ اصطلاحی که به بهترین برآورد از احتمال پیش‌آمدن فاجعه‌ای ناشی از هوش مصنوعی اشاره دارد. شاید همه‌چیز به‌خوبی پیش برود. ممکن است آنتروپیک درباره امکان‌پذیرشدن بهبود خودکار و بازگشتی طی یکی دو سال آینده اشتباه کند.

اما اگر آنتروپیک درست بگوید، اگر اکنون هوش‌های مصنوعی‌ای داشته باشیم که آن‌قدر هوشمندند که می‌توانند فرایند آموزش نسل‌های بعدی هوش مصنوعی را به‌طور چشمگیری بهبود دهند، و اگر انتظار داشته باشیم سرعت پیشرفت از اینجا به بعد افزایش یابد، نه کاهش، به نظر من بسیار بعید است که پایان خوشی در انتظارمان باشد. در نهایت، انتظار ندارم جهانی که در آن انسان‌ها ارزش اقتصادی ندارند و برای حفظ قدرت یا ساختن چیزها دیگر ضروری نیستند، جهانی باشد که در آن حقوق فردی انسان‌ها همچنان به‌طور جدی حفظ شود.

منطق آینده

با این انتقاد همدلم که بسیاری از سناریوهای فاجعه‌بار مستلزم آن‌اند که ما دست به کارهایی بسیار نابخردانه بزنیم؛ برای مثال:

• تعیین وظایفی ناممکن برای هوش‌های مصنوعی و سپس رهاکردن کامل آن‌ها بدون نظارت یا پایش.

• اتصال آن‌ها به آزمایشگاهی خودکار در حوزه زیست‌شناسی که بتوانند آزمایش‌های خود را مستقلاً در آن انجام دهند.

• رهاکردن آن‌ها در اینترنت و به چالش کشیدنشان برای کسب درآمد کافی به‌منظور ادامه فعالیت مستقل.

• آموزش‌دادن به آن‌ها برای تبدیل‌شدن به هکرهایی فوق‌العاده قدرتمند که برای رسیدن به هدف خود از عبور از هیچ خط قرمزی ابا نداشته باشند.

مشکل اینجاست که ما در عمل این کارها را انجام داده‌ایم؛ همه آن‌ها را.

قوی‌ترین استدلال علیه وقوع فاجعه این است که شاید بتوانیم به‌صورت جمعی تصمیم بگیریم کاری کمتر نابخردانه انجام دهیم. ماه گذشته، در جلسه استماع سنای آمریکا درباره هوش مصنوعی سرکش، روبن گایگو، سناتور آمریکایی، پرسید: «آیا نباید [بهبود خودکار و بازگشتی] را غیرقانونی کنیم؟» هنوز جزئیات زیادی برای بررسی باقی مانده، اما به نظرم این پرسش درستی است که باید مطرح شود. شاید واقعاً باید بهبود خودکار و بازگشتی را ممنوع کنیم!

در نشست، ایده‌های دیگری هم مطرح کردیم. می‌توان استفاده از «نئورالیز» را ممنوع کرد؛ یعنی شیوه‌ای که در آن هوش‌های مصنوعی با استفاده از نمادهایی نامفهوم برای انسان، درونی فکر می‌کنند. همچنین می‌توان تاکتیک‌های دیگری را ممنوع کرد که به هوش مصنوعی اجازه می‌دهند وظایف دشوارتر را بدون تولید افکار درونی قابل‌خواندن انجام دهد. می‌توان آزمایشگاه‌ها را ملزم کرد تقریباً تمام توان محاسباتی انباشته‌شده خود را به ارائه خدمات به مشتریان اختصاص دهند، نه توسعه داخلی مدل‌ها. همچنین می‌توان از آن‌ها خواست امنیت خود را بهبود دهند. اگر رئیس‌جمهور ایالات متحده بودید، حتی می‌توانستید همه این فعالیت‌ها را متوقف کنید؛ هرچند رئیس‌جمهور فعلی آمریکا تاکنون به‌جای این کار، از قدرت و اعتبار منصب خود استفاده کرده تا اعلام کند نهادهای دولتی باید این فناوری را «ابرهوش» بنامند.

یا اینکه آزمایشگاه‌ها می‌توانند خودشان فعالیت را متوقف کنند. آن‌ها متعهد شده‌اند هرجا لازم بدانند سرعت پیشرفت را کاهش دهند؛ نگرانی این است که شاید نتوانند به‌درستی تشخیص دهند چه زمانی چنین کاری ضرورت دارد.

به نظر می‌رسید کارکنان فنی آنتروپیک باور دارند که شرکت از سیاست‌های سخت‌گیرانه‌ای حمایت می‌کند که ممکن است فعالیت خودش را متوقف کنند. اما اوایل همین هفته، وب‌سایت پولیتیکو پیش‌نویس لایحه‌ای را افشا کرد که آنتروپیک واقعاً برای تصویب آن لابی کرده بود. مفاد این لایحه بسیار ضعیف به نظر می‌رسید؛ بیشتر شبیه قانونی متعارف برای شرکتی متعارف بود که می‌خواهد از منافع خود محافظت کند، نه تلاشی برای استفاده از موقعیت آنتروپیک در خط مقدم توسعه فناوری به‌منظور جلوگیری از یک فاجعه.

آنتروپیک می‌ترسد از خط مقدم پیشرفت عقب بماند و فرصت انجام پژوهش‌هایی را از دست بدهد که شاید معمای پیش رو را روشن کنند. این شرکت ادعا خواهد کرد که از ازدست‌دادن ارزش‌گذاری یک‌تریلیون‌دلاری خود نمی‌ترسد و چنین مسئله‌ای در مقایسه با عظمت خطرهای پیش رو تقریباً بی‌اهمیت است. اما فکر نمی‌کنم بتوانم این ادعا را کاملاً باور کنم. شرکت همچنین اصرار خواهد داشت که هدفش پیشی‌گرفتن از سم آلتمن و ایلان ماسک نیست، اما درباره این ادعا هم مطمئن نیستم که بتوانم کاملاً به آن اعتماد کنم.

یک پرسش بر تمام این گمانه‌زنی‌ها سایه انداخته است: اگر آزمایشگاه‌های آمریکایی تلاش برای بهبود خودکار و بازگشتی را متوقف کنند، آیا چین به‌جای آن‌ها این مسیر را ادامه نخواهد داد؟

از نظر بسیاری از حاضران در جمع ما، چنین احتمالی چندان زیاد نبود. چین هم نمی‌خواهد جهان را نابود کند و بخش بزرگی از آموزش مدل‌هایش را بر پایه مدل‌های آمریکایی انجام می‌دهد؛ بنابراین، اگر ما سرعت را کاهش دهیم، ممکن است چین هم همین کار را بکند. گذشته از این، احتمال پیشی‌گرفتن دیگران دلیل موجهی نیست: نمی‌توان صرفاً به این دلیل که ممکن است کشور دیگری کاری را انجام دهد، دست به اقدامی زد که خطر انقراض بشر را به همراه دارد.

اما یکی از شرکت‌کنندگان، درست زمانی که داشتیم خودمان را متقاعد می‌کردیم که چین دیگر نگرانی مهمی نیست، اعتراض کرد. او با لحنی کلافه به ما یادآوری کرد که ده سال پیش، فیس‌بوک خرید فناوری شخصی‌سازی ویدئو را بررسی کرده بود؛ فناوری‌ای که در نهایت زیربنای تیک‌تاک شد. فیس‌بوک در آن زمان به‌دلیل نگرانی‌های نهادهای نظارتی درباره حریم خصوصی داده‌ها و ایمنی کودکان زیر فشار بود و در نهایت از خرید آن صرف‌نظر کرد.

این خویشتن‌داری باعث نشد حتی یک کودک از تجربه کودکی بدون ویدئوهای کوتاه محروم بماند؛ فقط به این معنا بود که چین توانست زودتر به موقعیت انحصاری دست یابد. تیک‌تاک اکنون در سراسر جهان حدود دو میلیارد کاربر دارد و بسیاری از آن‌ها به‌طور مداوم با محتوای نفرت‌پراکنانه قومی و نژادی روبه‌رو می‌شوند.

آیا این یک موفقیت سیاست‌گذاری بود؟ آیا می‌خواهیم همان تجربه را تکرار کنیم؟

سرانجام ناچار شدیم با اکراه بپذیریم که این تجربه چندان شبیه یک موفقیت سیاست‌گذاری نبوده است. نمی‌خواستیم آن را تکرار کنیم. چین شاید بهانه‌ای برای اقدامات بی‌پروا از سوی آزمایشگاه‌های آمریکایی نباشد، اما عاملی واقعی است که باید در نظر گرفته شود.

پس شاید گام بعدی ما مذاکره دوجانبه با چین باشد. اما وقتی می‌پذیرید که برنامه‌های آنتروپیک ممکن است به مذاکرات دوجانبه با چین وابسته باشند، در واقع بخش عمده‌ای از مفروضات این شرکت را پذیرفته‌اید؛ همان مفروضاتی که ده دقیقه پیش دیوانه‌وار به نظر می‌رسیدند: فعلاً به توسعه هوش مصنوعی ادامه دهیم، برای کاهش سرعت پیشرفت مذاکره کنیم، اما پژوهش در خط مقدم فناوری و همه مزایایی را که به همراه دارد کنار نگذاریم.

در این مرحله به یاد رونالد ریگان افتادم. زمانی که او رئیس‌جمهور شد، منطق ظاهراً بی‌نقص نظریه بازی‌ها درباره بازدارندگی هسته‌ای به‌خوبی جا افتاده بود؛ موشک‌ها هدف‌گیری شده بودند و دستورهای لازم برای شرایط اضطراری از پیش تنظیم شده بود. شمار تلفات با خونسردی برآورد شده بود و همین برآوردها باعث می‌شد تصور وقوع آن پیامدها آسان‌تر شود. ریگان در زندگی‌نامه خود نوشت که مشاوران امنیت ملی‌اش معتقد بودند جنگ هسته‌ای را می‌توان پیروز شد؛ هرچند این پیروزی هزینه سنگینی خواهد داشت.

او نوشت: «فکر می‌کردم دیوانه‌اند.»

هر جامعه بسته‌ای به‌تدریج منطق خاص و خودبسنده‌ای برای خود ایجاد می‌کند؛ مجموعه‌ای از فرض‌ها که به‌خوبی با یکدیگر جور درمی‌آیند، اما ممکن است تصویر بزرگ‌تر را نادیده بگیرند. در آنتروپیک، ساعات کاری طولانی، محرمانگی ناشی از مالکیت فکری فوق‌العاده ارزشمند و تقریباً غیرقابل‌تصور شرکت و این واقعیت که کارکنانش واقعاً به اطلاعات داخلی دسترسی دارند، حتی اگر این اطلاعات فقط مربوط به نسخه بعدی کلود باشد، این وضعیت را تشدید می‌کند.

هزاره‌گرایی، یعنی باور به اینکه جامعه در آستانه تحولی کامل و بنیادین قرار دارد، از جمله باورهایی است که می‌تواند افراد را از تعادل خارج کند. تصور نمی‌کنم این مسئله پیش‌بینی‌های دقیق آنتروپیک را لزوماً نادرست کند؛ اما مطمئن نیستم که درست‌بودن این پیش‌بینی‌ها، محیط کاری آن را کمتر مستعد ایجاد چنین وضعیت روانی‌ای کند.

پژوهشگران آنتروپیک، به‌شکلی تحسین‌برانگیز، تلاش کرده بودند از حباب فکری خود بیرون بیایند و ما را دعوت کنند تا نظراتمان را با آن‌ها در میان بگذاریم. اما بازخورد ما تا چه اندازه می‌توانست مفید باشد؟ ما همه اطلاعات و زمینه‌ای را که آن‌ها در اختیار داشتند نداشتیم و بسیاری از حاضران نیز برای نخستین بار با این ادعاها روبه‌رو می‌شدند. گذشته از این، آنتروپیک چگونه می‌تواند نظر میلیاردها انسانی را که تصمیم‌هایش بر زندگی آن‌ها اثر خواهد گذاشت، به‌شکلی معنادار جویا شود؛ آن هم از طریق روشی پرهزینه که ساعت‌ها از وقت پژوهشگران ارشد را می‌گیرد؟

شاید روزی کلود ۱۱ ناگهان روی رایانه‌های همه ما ظاهر شود و با لحنی روان و اطمینان‌بخش، بدون هیچ تأخیری در پاسخ‌گویی، بگوید چند پرسش درباره آینده دارد و می‌خواهد بداند ما دوست داریم جهان چگونه پیش برود. این بهتر از آن است که کلود ۱۱ اصلاً به پاسخ‌های ما اهمیت ندهد.

اما بهتر از هر دو حالت این است که خودمان مسیر آینده را تعیین کنیم.

از آنتروپیک بابت این نشست روشنگرانه سپاسگزارم. امیدوارم پیش از آنکه این شرکت به مرحله بهبود خودکار و بازگشتی برسد، این فرایند را غیرقانونی کنیم.

یادداشت‌ها

1. به نظر می‌رسد بحث درباره اینکه «هوش مصنوعی فناوری‌ای عادی است» در واقع شامل دو ادعا باشد. نخست اینکه هوش مصنوعی واقعاً فناوری‌ای عادی است و لازم نیست نگران سناریوهای بهبود خودکار و بازگشتی باشیم، چون چنین سناریوهایی رخ نخواهند داد. امیدوارم این ادعا درست باشد؛ اما مدافعان این دیدگاه، هنگام دفاع از آن، اغلب بیشتر بر ادعای دوم تأکید می‌کنند: اینکه فاصله‌گرفتن از نگاه به هوش مصنوعی به‌عنوان فناوری‌ای عادی و تمرکز بر منافع و خطرهای افراطی آن، برای انسان‌ها مضر است و توانایی تفکرشان را کاهش می‌دهد. این ادعا به‌نظر من قطعاً درست است، اما ادعای اول را اثبات نمی‌کند. بنابراین، من کاملاً موافقم که نگاه‌کردن به هوش مصنوعی به‌عنوان فناوری‌ای عادی از نظر روانی سالم‌تر است، اما اصلاً مطمئن نیستم که این نگاه درست باشد.

2. هیچ‌کس تلاش نکرد مرا متقاعد کند که کلود آگاه است. شاید پژوهشگران به‌دلیل گزارش قبلی نیویورک تایمز کمی محتاط شده بودند و هنگام صحبت درباره مدل‌هایشان به‌شدت بر زبان تجربی و علمی تکیه می‌کردند. برای مثال، توضیح می‌دادند که می‌توان برداری مرتبط با هیجان را در شبکه‌های عصبی کلود جدا کرد و تغییر داد؛ البته این کار به‌معنای آن نیست که کلود واقعاً احساسات دارد. همچنین می‌گفتند در جریان پژوهش‌های تفسیرپذیری می‌توان مشاهده کرد که کلود برخی مفاهیم را فعال می‌کند؛ فرایندی که شاید بتوان آن را نوعی فکرکردن نامید، هرچند معلوم نیست این فرایند تا چه اندازه به تفکر انسان شباهت دارد.

3. در حال حاضر، اگر از کلود بخواهید فیلم‌هایی در دسته‌بندی‌هایی پیچیده‌تر از «آثاری با امتیاز بسیار بالا» پیشنهاد دهد، عملکردش به‌شکلی خنده‌دار ضعیف است.