پژوهشگر هوش مصنوعی نظریه برهم‌نهی را به چالش کشید: کشف کارکرد ۹۰ درصد نورون‌ها
نویسنده: سونگ‌مین کیم
تاریخ انتشار: ۱۹ اکتبر ۲۰۲۶، ساعت ۰۶:۰۰
«مقاله‌ای هم‌سنگ مقاله «Attention» که زیربنای ChatGPT شد»؛ در برابر این ارزیابی، دیدگاهی دیگر قرار دارد: «جالب است، اما تصویر کلی را تغییر نمی‌دهد.»
آخر هفته گذشته، انتشار مقاله‌ای بحث‌برانگیز در سیلیکون‌ولی آمریکا اختلاف‌نظرهای گسترده‌ای برانگیخت. نیک کاماراتا، پژوهشگر شرکت نوپای هوش مصنوعی GoodFire، در مطلبی که در وب‌سایت این شرکت منتشر کرد، مدعی شد حل مسئله موسوم به «جعبه سیاه» هوش مصنوعی آسان‌تر از آن چیزی است که تصور می‌شود؛ مسئله‌ای که به دشواری درک چگونگی پاسخ‌گویی و استدلال سامانه‌های هوش مصنوعی به شیوه‌هایی مربوط می‌شود که برای انسان قابل فهم نیستند.
«کارکرد ۹۰ درصد نورون‌ها شناسایی شده است»؛ آیا می‌توان جعبه سیاه هوش مصنوعی را گشود؟
کاماراتا روز ۱۵ اکتبر، به وقت محلی، مقاله‌ای فنی با عنوان «شبکه‌های عصبی همین حالا هم ساختاری منظم دارند» را در صفحه اصلی وب‌سایت GoodFire منتشر کرد. او در این مقاله استدلال کرد که عملکرد نورون‌ها از نظم و الگوهایی قابل فهم برخوردار است.
مدل‌های زبانی بزرگ (LLM) مانند ChatGPT بر پایه ایده‌هایی برگرفته از شبکه‌های عصبی مغز ساخته شده‌اند. در این مدل‌ها، شمار زیادی گره یا نورون مصنوعی با برقراری ارتباط با یکدیگر، اطلاعات را پردازش می‌کنند و عملکردی مشابه نورون‌های مغز دارند. با این حال، تاکنون تشخیص دقیق وظیفه هر نورون در این سامانه‌ها تقریباً ناممکن بوده است. هنگامی که کاماراتا در سال ۲۰۲۳ مدل OpenAI را بررسی کرد، نقش کمتر از ۲ درصد نورون‌ها قابل توضیح بود. اما تحلیل او از Qwen3، مدل هوش مصنوعی شرکت علی‌بابا، نشان داد که می‌توان کارکرد حدود ۹۰ درصد نورون‌های آن را درک کرد.
کاماراتا همچنین استدلال کرد که نظریه «برهم‌نهی در شبکه‌های عصبی» که مدت‌ها در صنعت فناوری پذیرفته شده بود، دست‌کم در برخی موارد درست نیست. بر اساس این نظریه، شبکه‌های عصبی می‌توانند تعداد بسیار بیشتری مفهوم و ویژگی را نسبت به تعداد نورون‌ها یا ظرفیت ذخیره‌سازی خود، از طریق هم‌پوشانی آن‌ها، نگهداری کنند. به بیان دیگر، هوش مصنوعی لزوماً برای هر نورون یک مفهوم جداگانه ذخیره نمی‌کند، بلکه چندین مفهوم را در یک نورون فشرده و با یکدیگر ترکیب می‌کند. این روش به مدل اجازه می‌دهد با تعداد محدودی نورون به‌طور مؤثر یاد بگیرد، اما هم‌زمان باعث تداخل مفاهیم می‌شود و توضیح اینکه چرا مدل پاسخ مشخصی تولید کرده است دشوار می‌گردد. این مسئله یکی از دلایل اصلی تشبیه هوش مصنوعی به جعبه سیاه است.
با این حال، کاماراتا معتقد است مشکل به شیوه مشاهده و تحلیل نورون‌ها مربوط می‌شود و می‌توان با استفاده از روش‌های تازه آموزش و تحلیل آن را برطرف کرد. نمونه شاخصی که او مطرح می‌کند، نورونی است که پیش‌تر تصور می‌شد هم به چهره گربه‌ها و هم به نمای جلویی خودروها واکنش نشان می‌دهد. اما بررسی دوباره نشان داد که این نورون نه به‌دلیل ترکیب نامرتبط دو مفهوم، بلکه به ویژگی مشترکی در آن‌ها واکنش نشان می‌دهد: شکل تیز و شبیه حرف V. واکنش همین نورون به شعله‌های آتش با شکل V و چهره روباه‌ها نیز به‌عنوان شاهدی برای این توضیح مطرح شده است. به گفته کاماراتا، نورون‌ها آشفته و بی‌نظم نبودند؛ بلکه انسان‌ها عملکرد آن‌ها را اشتباه تفسیر کرده بودند.
«دستاوردی بزرگ برای ایمنی هوش مصنوعی»؛ استقبال پژوهشگران OpenAI
اگر انسان‌ها بتوانند نحوه عملکرد شبکه‌های عصبی هوش مصنوعی را درک کنند، امکان شناسایی و اصلاح عواملی را خواهند داشت که باعث رفتارهای خطرناک این سامانه‌ها می‌شوند. چنین قابلیتی می‌تواند به تحقق «هم‌ترازی هوش مصنوعی» (AI Alignment) کمک کند؛ مفهومی که به اطمینان از عملکرد ایمن هوش مصنوعی و پایبندی آن به دستورها، اهداف، ارزش‌ها و قواعد انسانی اشاره دارد. آخر هفته گذشته، در سیلیکون‌ولی شایعاتی درباره دستیابی به یک پیشرفت بزرگ در هم‌ترازی هوش مصنوعی منتشر شد و توجه‌ها را به مقاله کاماراتا جلب کرد. پستی در شبکه اجتماعی ایکس که این مقاله را معرفی می‌کرد، بیش از ۴٫۱ میلیون بازدید به دست آورد.
همکاران سابق کاماراتا در OpenAI به‌ویژه از این پژوهش استقبال کردند. سم آلتمن، مدیرعامل OpenAI، در شبکه ایکس نوشت: «از شنیدن این خبر از نیک بسیار هیجان‌زده‌ام.» دین بال، مدیر تیم آینده‌پژوهی راهبردی OpenAI، نیز گفت: «امروز شاید یکی از مهم‌ترین روزها در تاریخ یادگیری عمیق باشد؛ یا حتی مهم‌تر از آن.»
آدام مزمدار، پژوهشگر OpenAI، این دستاورد را «مهم‌ترین موفقیت پژوهشی سال» خواند و آن را با مقاله تاریخی «Attention Is All You Need» در سال ۲۰۱۷ مقایسه کرد؛ مقاله‌ای که معماری ترنسفورمر را معرفی کرد و به پایه اصلی هوش مصنوعی مولدی مانند ChatGPT تبدیل شد. سازوکار توجه (Attention) به مدل اجازه می‌دهد با بررسی ارتباط میان واژه‌های یک جمله، بر اطلاعات ضروری تمرکز کند. ترنسفورمر نیز معماری هوش مصنوعی مبتنی بر همین اصل است.
مزمدار افزود: «این دستاورد نگاه ما را از تردید درباره امکان حل مسئله هم‌ترازی هوش مصنوعی، به این انتظار تغییر می‌دهد که شاید این مسئله ظرف یک سال حل شود.»
«هنوز به بررسی بیشتری نیاز است؛ درک کلی موضوع دیگری است»؛ دیدگاه‌های محتاطانه
در کنار استقبال گسترده، دیدگاه‌های محتاطانه‌ای نیز مطرح شد. پژوهش کاماراتا در قالب یک مقاله منتشر شده و هنوز به‌عنوان یک مقاله فنی رسمی انتشار نیافته است. نیل ناندا، سرپرست تیم تفسیرپذیری مکانیکی در Google DeepMind، گفت: «این پژوهش جالب است، اما چشم‌انداز کلی مطالعات مربوط به تفسیرپذیری هوش مصنوعی را به‌طور چشمگیری تغییر نمی‌دهد. من همچنان معتقدم پدیده برهم‌نهی وجود دارد.»
جیکوب هیلتون، پژوهشگر سابق OpenAI، نیز گفت: «هرچه مدل‌ها بزرگ‌تر می‌شوند، درک هوش مصنوعی دشوارتر می‌شود. حتی درک ۰٫۰۱ درصد از مدل‌های پیشرفته مرزی هم می‌تواند مفید باشد، اما این موضوع با درک همه‌چیز برای حل مسئله هم‌ترازی کاملاً متفاوت است.» میان شناسایی وظیفه یک جزء منفرد و توضیح چگونگی همکاری شمار زیادی از اجزا برای تولید یک نتیجه، فاصله‌ای بسیار زیاد وجود دارد.
با داغ‌تر شدن بحث‌ها، کاماراتا خود برای تعدیل فضای هیجان‌زده وارد عمل شد. او گفت: «مدل‌های زبانی بزرگ امیدوارکننده‌اند، اما هنوز کاستی‌های زیادی دارند که باید برطرف شوند. هیجان بیش از حد می‌تواند مشکل‌ساز باشد. در حوزه ایمنی هوش مصنوعی که مدت‌ها با کمبود امید روبه‌رو بوده است، حتی خوش‌بینی متوسط نیز ممکن است به هیجان‌زدگی بیش از اندازه منجر شود.»