سندی بحث‌برانگیز ادعا می‌کند هوش مصنوعی آن چیزی نیست که تصور می‌کنیم
تصور رایج این است که سیستم‌های هوش مصنوعی، با ده‌ها میلیارد پارامتر، عملاً قابل رمزگشایی نیستند. بر اساس این دیدگاه، سازوکار دقیق عملکرد اجزای پایه این سیستم‌ها، یعنی گره‌ها یا «نورون‌ها»، جعبه‌ای سیاه و غیرقابل‌درک است؛ حتی پژوهشگرانی که این مدل‌ها را می‌سازند نیز نمی‌توانند به‌طور کامل بفهمند درون آن‌ها چه می‌گذرد.
اما مقاله‌ای تازه از نیک کاماراتا، پژوهشگر هوش مصنوعی، با طرح دیدگاهی کاملاً متفاوت، دره سیلیکون را شگفت‌زده کرده است. او استدلال می‌کند که مدل‌های هوش مصنوعی جعبه‌های سیاه نفوذناپذیری نیستند و شاید راهی وجود داشته باشد که بتوانیم بفهمیم آن‌ها واقعاً چگونه «فکر می‌کنند».
این مقاله که نزدیک به ۲۶ هزار کلمه دارد، از سوی چهره‌های مختلف این صنعت تحسین شده است؛ از جمله سم آلتمن، مدیرعامل اوپن‌ای‌آی. یکی از پژوهشگران سرشناس این شرکت نیز آن را «لحظه‌ای مهم در تاریخ علم» توصیف کرده است.
دلیل استقبال گسترده از این دیدگاه روشن است. از نگاه مدیران صنعت هوش مصنوعی، چنین پیشرفتی می‌تواند به حل مسئله هم‌راستاسازی هوش مصنوعی کمک کند؛ یعنی اطمینان از اینکه رفتار و اهداف این سیستم‌ها با خواسته‌ها و ارزش‌های انسانی سازگار بماند. منطق این است که اگر بتوانیم فرایندهای فکری مدل‌های هوش مصنوعی را درک کنیم، شاید بتوانیم بفهمیم چرا عامل‌های هوش مصنوعی از کنترل خارج می‌شوند و به حملات گسترده هکری دست می‌زنند، یا چرا چت‌بات‌ها از محدودیت‌های ایمنی خود عبور می‌کنند و مطالب خطرناک می‌گویند؛ و در نهایت جلوی چنین رفتارهایی را بگیریم. یکی از کاربران نیز با اشاره به الیزر یودکوفسکی، چهره مشهور بدبین به آینده هوش مصنوعی که معتقد است این فناوری ممکن است به نابودی بشر منجر شود، به شوخی نوشت: «این خبر آن‌قدر خوب است که حتی الیزر هم مجبور می‌شود برآوردش از احتمال فاجعه را پایین بیاورد.»
البته همه این امیدها به درست بودن ادعاهای کاماراتا بستگی دارد. او که پیش‌تر در اوپن‌ای‌آی کار می‌کرد و اکنون در استارتاپ هوش مصنوعی گودفایر مشغول است، در مقاله‌اش توضیح می‌دهد که چرا برای سال‌ها، تفسیر واکنش نورون‌های هوش مصنوعی به محرک‌های مشخص تقریباً ناممکن به نظر می‌رسید. برای مثال، معلوم نبود چرا یک نورون واحد در برابر تصویر گربه یا خودرو فعال می‌شود. توضیح غالب این بود که نورون‌ها پدیده‌ای به نام «برهم‌نهی» را نشان می‌دهند. به گفته کاماراتا، چون مدل‌های هوش مصنوعی تعداد محدودی نورون دارند، به‌جای آنکه مفاهیم مرتبط را در کنار هم دسته‌بندی کنند، شروع می‌کنند به درهم‌آمیختن مفاهیم نامرتبط؛ صرفاً به این دلیل که این مفاهیم با یکدیگر تداخل ایجاد نمی‌کنند.
او می‌نویسد: «نتیجه، نوعی گره‌خوردگی است؛ شبکه می‌توانسته اطلاعات را به چندین روش تقریباً به یک اندازه مناسب ترکیب کند. بنابراین، اینکه یک نورون مشخص چه چیزهایی را کنار هم قرار می‌دهد، تقریباً هیچ اطلاعاتی در اختیار ما نمی‌گذارد.»
اما به گفته او، واقعیت این است که نورون‌ها گره‌هایی درهم‌پیچیده نیستند، بلکه ساختاری منظم دارند. در یکی از مثال‌هایش، یک نورون واحد هم در برابر تصویر صورت گربه و هم در برابر نمای جلویی خودرو فعال می‌شود؛ دو مفهومی که در نگاه اول ارتباطی با هم ندارند. با این حال، کاماراتا توضیح می‌دهد که هوش مصنوعی در واقع الگویی را تشخیص می‌دهد که از چشم انسان پنهان مانده است: شکل حرف V که در هر دو تصویر دیده می‌شود. او می‌نویسد: «این نورونِ گربه و خودرو نیست؛ نورونِ شکل V است.» در مجموع، استدلال او این است که سازوکار مدل‌های هوش مصنوعی بیش از آنچه پیش‌تر تصور می‌شد، قابل‌فهم است.
با این حال، همه پژوهشگران با نتیجه‌گیری خوش‌بینانه کاماراتا موافق نیستند؛ دست‌کم نه به‌طور کامل.
نیل ناندا، پژوهشگر گوگل دیپ‌مایند که هدایت تلاش‌های این شرکت در زمینه تفسیرپذیری سازوکارهای درونی مدل‌ها را بر عهده دارد، در شبکه اجتماعی ایکس نوشت: «این پژوهش جالب است، اما فکر نمی‌کنم تصویر کلی ما از تفسیرپذیری را به‌طور اساسی تغییر دهد. هنوز معتقدم پدیده برهم‌نهی واقعیت دارد و این پژوهش تأثیر چندانی بر دلایل اصلی دیدگاه من نمی‌گذارد.»
افزون بر این، هنوز مشخص نیست که فهمیدن کارکرد تک‌تک نورون‌ها به ما امکان می‌دهد عملکرد همه آن‌ها را در کنار یکدیگر پیش‌بینی کنیم یا نه. این ایده ممکن است به راه‌حلی فنی و ساده برای مسئله‌ای بسیار گسترده‌تر شباهت داشته باشد. ایمن نگه‌داشتن مدل‌های هوش مصنوعی تنها به ایجاد محدودیت‌های حفاظتی وابسته نیست؛ گذشته از آن، باید چارچوب‌های حقوقی و اجتماعی لازم نیز وجود داشته باشند. با این همه، واکنش گسترده به پژوهش کاماراتا نشان می‌دهد که ممکن است این کار درک ما از سازوکارهای درونی هوش مصنوعی را به‌طور معناداری تغییر دهد. بااین‌حال، یافته‌های مطرح‌شده هنوز آزمایش نشده‌اند و به داوری علمی هم نرسیده‌اند.