پژوهشگر سابق اوپن‌ای‌آی در باور خود درباره جعبه سیاه هوش مصنوعی تجدیدنظر کرد
نیک کاماراتا در ۱۵ اکتبر مطلبی در شبکه اجتماعی ایکس منتشر کرد. او پیش‌تر در حوزه تفسیرپذیری مکانیکی در اوپن‌ای‌آی فعالیت می‌کرد و اکنون در شرکت گودفایر مشغول به کار است. او در این مطلب به مقاله مفصلی اشاره کرد که به‌تازگی با عنوان «شبکه‌های عصبی همین حالا هم ساختاری قابل‌فهم دارند» منتشر کرده بود. استدلال اصلی مقاله این است که ساختار درونی شبکه‌های عصبی بزرگ ممکن است بسیار آسان‌تر از آنچه پژوهشگران تصور می‌کرده‌اند، قابل‌درک باشد. این ادعا توجه زیادی جلب کرد، زیرا کاماراتا سال‌ها در همین حوزه فعالیت کرده و اکنون در حال بازنگری در برخی از باورهای رایج آن است. او در ساخت ابزارهایی مشارکت داشت که از مدل‌های زبانی بزرگ برای توضیح عملکرد نورون‌ها استفاده می‌کردند. بااین‌حال، برخلاف باور پیشین خود که شبکه‌های پیچیده را درهم‌تنیده و گرفتار هم‌پوشانی ویژگی‌ها می‌دانست، اکنون به نتیجه‌ای متفاوت رسیده است.
تفسیرپذیری مکانیکی تلاش می‌کند نورون‌ها و مدارهای درون یک مدل هوش مصنوعی را شناسایی و ترسیم کند. هدف این است که بتوان مسیر تبدیل ورودی به خروجی را دنبال کرد. اگر پژوهشگران بتوانند این مسیر را ردیابی کنند، امکان شناسایی خطاها، سوگیری‌ها و رفتارهای فریبکارانه را خواهند داشت. نشریه ام‌آی‌تی تکنولوژی ریویو در اوایل سال ۲۰۲۵، تفسیرپذیری مکانیکی را در فهرست «۱۰ فناوری پیشگامانه» سال ۲۰۲۶ قرار داد. این حوزه به ایمنی و هم‌سوسازی هوش مصنوعی کمک می‌کند. بااین‌حال، پژوهشگران سال‌ها با مشکلی اساسی روبه‌رو بوده‌اند: نورون‌ها مانند کلیدهایی ساده و مستقل عمل نمی‌کنند. ممکن است یک نورون هم در برابر تصاویر گربه‌ها و خودروها واکنش نشان دهد و هم به ده‌ها محرک نامرتبط پاسخ دهد. هرچه مدل‌ها بزرگ‌تر می‌شوند، این آشفتگی نیز ظاهراً افزایش می‌یابد. برای تفکیک سیگنال‌های ترکیب‌شده، پژوهشگران ابزارهای تکمیلی ساختند. آن‌ها خودرمزگذارهای تنک را آموزش دادند تا الگوهای فعال‌سازی را به ویژگی‌های مشخص و نام‌گذاری‌شده تجزیه کنند. شرکت‌های آنتروپیک و گوگل دیپ‌مایند نیز گروه‌های پژوهشی بزرگی را به این کار اختصاص دادند.
یکی از شناخته‌شده‌ترین نمونه‌ها در سال ۲۰۲۳ در اوپن‌ای‌آی ارائه شد. گروهی از پژوهشگران از GPT-4 برای بررسی GPT-2 استفاده کردند. مدل بزرگ‌تر، توضیحاتی به زبان طبیعی درباره نورون‌های مدل کوچک‌تر تولید می‌کرد و سپس پژوهشگران می‌سنجیدند که آیا این توضیحات می‌توانند الگوی فعال‌سازی نورون‌ها را پیش‌بینی کنند یا نه. نتیجه ضعیف بود. حتی با معیارهای نسبتاً آسان‌گیرانه، این ابزار فقط می‌توانست عملکرد حدود ۱٫۷ درصد از نورون‌ها را به‌طور قابل‌اعتماد توضیح دهد. به نظر می‌رسید بیشتر نورون‌ها هم‌زمان چند مفهوم نامرتبط را پردازش می‌کنند. این نتیجه باعث شد فرضیه «برهم‌نهی» به یکی از محورهای اصلی این حوزه تبدیل شود. ایده اصلی ساده است: یک شبکه تعداد محدودی نورون فیزیکی دارد، اما باید بتواند شمار بسیار زیادی از ویژگی‌های دنیای واقعی را بازنمایی کند. برای صرفه‌جویی در ظرفیت، مفاهیم نامرتبط در جهت‌هایی هم‌پوشان ذخیره می‌شوند. در نتیجه، یک نورون به محرک‌های مختلف پاسخ می‌دهد، زیرا بار بازنمایی تعداد زیادی مفهوم را بر دوش دارد. خودرمزگذارهای تنک به راهکار استاندارد مقابله با این مشکل تبدیل شدند. پژوهشگران مدل‌های کمکی را آموزش دادند تا الگوهای فعال‌سازی ترکیب‌شده را به ویژگی‌های مجزاتر تفکیک کنند.
کاماراتا اکنون معتقد است پژوهشگران ممکن است فرضیه برهم‌نهی را خیلی زود پذیرفته باشند. تیم او در بررسی اولیه مدل Qwen3-32B برآورد کرد که جهت پاسخ حدود ۹۰ درصد از نورون‌ها با یک کارکرد غالب و مشخص مطابقت دارد. حدود ۷ درصد با دو کارکرد نزدیک به یکدیگر مرتبط بودند و تنها برای ۲ تا ۴ درصد از نورون‌ها هنوز الگوی روشنی پیدا نشده بود. به گفته این تیم، در مدل‌های دارای یک تریلیون پارامتر، از جمله Kimi K3، نیز اعدادی مشابه مشاهده شده است. البته نمی‌توان این ارقام را مستقیماً با نتیجه پژوهش سال ۲۰۲۳ مقایسه کرد، زیرا مدل‌ها، ابزارها و معیارهای ارزیابی متفاوت‌اند. تعریف «یک کارکرد واحد» نیز بر نتیجه شمارش تأثیر می‌گذارد. بااین‌حال، فاصله میان ۱٫۷ درصد و ۹۰ درصد آن‌قدر زیاد است که پرسشی اساسی را مطرح می‌کند: آیا پژوهشگران از ابتدا به سراغ نشانه اشتباهی رفته بودند؟
نمونه نورونی که هم به چهره گربه و هم به جلوی خودرو واکنش نشان می‌دهد، روشن‌ترین مثال این مسئله است. در مدل قدیمی بینایی رایانه‌ای InceptionV1، یک نورون در برابر هر دو نوع تصویر به‌شدت فعال می‌شد. پژوهشگران سال‌ها از این نورون برای نشان دادن این موضوع استفاده کردند که شبکه‌های عصبی مفاهیم نامرتبط را با یکدیگر ترکیب می‌کنند. کاماراتا نمونه‌های فعال‌سازی و ارتباط این نورون با نورون‌های لایه‌های پیشین و بعدی را دوباره بررسی کرد و به ویژگی مشترکی رسید که در پژوهش‌های قبلی نادیده مانده بود. این نورون به هندسه‌ای تیز و Vشکل حساس بود که به سمت بیرون باز می‌شد. تصاویر چهره روباه، شعله‌های آتش و فواره‌های آب نیز آن را فعال می‌کردند، درحالی‌که شکل‌های نرم و گرد باعث کاهش فعالیتش می‌شدند. بنابراین، این نورون در واقع دو مقوله معنایی «گربه» و «خودرو» را بازنمایی نمی‌کرد؛ بلکه شکل بصری پایه‌ای را تشخیص می‌داد که در مقوله‌های مختلف دیده می‌شود.
برخی از الگوهای فعال‌سازی گیج‌کننده نیز از خود ابزارهای پژوهشی ناشی می‌شدند. روش‌های اولیه تجسم گاهی بافت‌ها و آثار مصنوعی‌ای به تصاویر تولیدشده اضافه می‌کردند. این آثار باعث می‌شدند پژوهشگران درباره چیزی که نورون تشخیص می‌دهد، برداشت اشتباهی داشته باشند. پس از اصلاح روش تجسم و ردیابی ارتباطات میان نورون‌ها، می‌شد بعضی از واکنش‌های پیش‌تر معماگونه را با توجه به وضعیت قرارگیری اجسام و ویژگی‌های هندسی مشترک توضیح داد. معماری مدل نیز بر آنچه پژوهشگران مشاهده می‌کنند تأثیر می‌گذارد. کاماراتا مدل InceptionV1 را دوباره آموزش داد و آن را با ConvNeXt، یک شبکه بینایی رایانه‌ای مدرن، مقایسه کرد. در شرایطی که هر دو مدل از داده‌های آموزشی یکسان و تعداد پارامترهای مشابه استفاده می‌کردند، حدود ۹۹ درصد از نورون‌های لایه آخر ConvNeXt کارکردی نسبتاً روشن داشتند. در مقابل، لایه آخر InceptionV1 مدت‌ها به دشواری تفسیر شناخته می‌شد. بنابراین، ممکن است بخشی از مشکل به معماری قدیمی این مدل مربوط بوده باشد.
کاماراتا آزمایشی افراطی برای بررسی تأثیر محدودیت ظرفیت نیز انجام داد. او تعداد نورون‌های یکی از لایه‌های InceptionV1 را از ۴۸۰ به ۱۰ کاهش داد و مدل را دوباره آموزش داد. نورون‌ها به ترکیب‌های تصادفی از مفاهیم نامرتبط تبدیل نشدند؛ در عوض، پاسخ‌های گسترده‌تری به منحنی‌های پیوسته و حلقه‌های بسته نشان دادند. مدل همچنان توانست تعمیم دهد. کاماراتا این فرایند را «تعمیم بازگشتی» می‌نامد. وقتی ظرفیت محدود است، هر نورون دامنه وسیع‌تری از ویژگی‌ها را پوشش می‌دهد؛ اما با افزایش ظرفیت، نورون‌ها می‌توانند به مفاهیم دقیق‌تر و جزئی‌تر اختصاص پیدا کنند. الگویی مشابه در مدل‌های زبانی نیز دیده می‌شود. برای مثال، نورونی که به ترکیب حروف «iy» واکنش نشان می‌دهد، ممکن است در برابر «diy» نیز فعال شود. واکنش آن می‌تواند به عبارت «do it yourself» به معنای «خودت انجام بده» هم گسترش یابد؛ عبارتی که از نظر معنایی مرتبط است، اما همان ترکیب حروف را ندارد. اگر فقط فهرست نهایی الگوهای فعال‌سازی را بررسی کنیم، این پاسخ‌ها نامرتبط به نظر می‌رسند. اما با دنبال کردن ارتباطات میان نورون‌ها می‌توان مسیری از حروف به واژه‌ها و سپس به معنا پیدا کرد.
این پژوهش همچنین شیوه انجام تحقیقات را تغییر می‌دهد. کاماراتا برای اجرای بخشی از تحلیل‌ها از عامل‌های هوش مصنوعی استفاده می‌کند. در سال ۲۰۲۳، GPT-4 می‌توانست توضیحات متنی درباره نورون‌ها تولید کند، اما عمدتاً نمونه‌های فعال‌سازی موجود را خلاصه می‌کرد. عامل‌های جدید می‌توانند داده‌های فعال‌سازی را بررسی کنند، فرضیه‌هایی درباره کارکرد نورون‌ها ارائه دهند، ارتباط آن‌ها با نورون‌های لایه‌های قبلی و بعدی را وارسی کنند و آزمایش‌های تازه‌ای طراحی کنند. اگر فرضیه‌ای با شواهد سازگار نباشد، عامل به دنبال نمونه‌های نقض‌کننده می‌گردد. کاماراتا یک آزمون دوسوکور را توصیف می‌کند: یک عامل هوش مصنوعی بر اساس الگوهای فعال‌سازی نورون، توضیحی مفصل درباره عملکرد آن می‌نویسد. عامل مستقلی که در مرحله بعد وارد می‌شود، به پارامترها یا داده‌های فعال‌سازی آن نورون دسترسی ندارد. این عامل فقط توضیح نوشته‌شده را می‌خواند و سپس متن تازه‌ای تولید می‌کند که باید همان نورون را فعال کند. در برخی آزمایش‌ها، متن تولیدشده به‌وسیله عامل هوش مصنوعی فعالیت نورون را حتی بیشتر از هر نمونه‌ای افزایش داد که در مجموعه‌ای شامل صدها میلیارد توکن پیدا شده بود.
یک توضیح خوب باید قدرت پیش‌بینی داشته باشد؛ یعنی صرفاً توضیح ندهد که چرا نورون در گذشته فعال شده است، بلکه مشخص کند چه ورودی تازه‌ای دوباره آن را فعال خواهد کرد. در آزمایشی روی ۲۰۰ نورون که به‌صورت تصادفی انتخاب شده بودند، پژوهشگران از عامل‌های هوش مصنوعی خواستند نمونه‌های مثبتی تولید کنند که باید نورون را فعال کنند و نمونه‌های منفی‌ای بسازند که نباید باعث فعال‌شدن آن شوند. در میان توضیحاتی که امکان ارزیابی‌شان وجود داشت، ۷۶ درصد از نمونه‌های مثبت جدید موجب فعال‌سازی قوی نورون شدند. نرخ فعال‌سازی اشتباه در نمونه‌های منفی نیز ۱۱ درصد بود. تیم پژوهشی همچنین از عامل‌های هوش مصنوعی برای بررسی حداکثر ۱۰۰ هزار نمودار انتساب استفاده کرد. آن‌ها مسیرهای انتقال اطلاعات را دنبال کردند تا مشخص شود مراحل مختلف محاسبات چگونه بر خروجی مدل اثر می‌گذارند. به باور کاماراتا، این فرایند به‌تدریج دستاوردهای خود را تقویت می‌کند: هرچه نورون‌های بیشتری توضیح داده شوند، پژوهشگران می‌توانند با استفاده از ارتباطات شناخته‌شده، درباره بخش‌های ناشناخته نیز استنباط کنند. به این ترتیب، نقشه درونی مدل به‌مرور کامل‌تر می‌شود.
اگر این روند در پژوهش‌های بعدی نیز تأیید شود، ممکن است روش‌های تفسیرپذیری تغییر کنند. پژوهشگران سال‌ها زمان محاسباتی و مهندسی زیادی را صرف خودرمزگذارهای تنک و دیگر ابزارهای تجزیه سیگنال کرده‌اند. یافته‌های کاماراتا نشان می‌دهد که در برخی شبکه‌ها می‌توان کار را مستقیماً از نورون‌های خام و ارتباطات میان آن‌ها آغاز کرد. همچنین می‌توان از عامل‌های هوش مصنوعی برای اجرای تحلیل‌های نظام‌مند بهره گرفت، بدون آنکه لازم باشد برای هر مطالعه یک فرایند جداگانه تجزیه ویژگی‌ها ساخته شود. این رویکرد می‌تواند به ایمنی و هم‌سوسازی هوش مصنوعی کمک کند. اگر پژوهشگران بتوانند نورون‌ها و مدارهای مسئول یک قضاوت یا وظیفه را ردیابی کنند، قادر خواهند بود خطاهای استدلالی، اهداف غیرمعمول یا رفتارهای فریبکارانه را بررسی کنند و در نقاط مشخصی از فرایند مداخله کنند. همین روش‌ها در مرحله توسعه مدل نیز می‌توانند به مهندسان کمک کنند تا منشأ خطاها را پیدا کنند و دریابند آموزش اولیه یا تنظیم دقیق چه تغییراتی در ساختار درونی شبکه ایجاد کرده است.
بااین‌حال، هنوز نمی‌توان این نتایج را قطعی دانست. مقاله مفصل کاماراتا هنوز داوری علمی نشده و نتایج آن نیز به‌طور مستقل تکرار نشده‌اند. آمار مربوط به مدل‌های Qwen و Kimi به انتشار یک مقاله فنی کامل‌تر نیاز دارد. درک عملکرد یک نورون به معنای بازسازی کامل مدل نیست؛ رفتارهای پیچیده از رابطه‌های علّی و هماهنگی میان نورون‌ها و اجزای متعدد شکل می‌گیرند. فرضیه برهم‌نهی همچنان از پشتوانه نظری و تجربی برخوردار است و پژوهش جدید آن را رد نمی‌کند، بلکه تفسیر متفاوتی از شواهد ارائه می‌دهد. در حال حاضر، این ادعا بر یک مقاله وبلاگی، مجموعه‌ای از آزمون‌های تولیدشده به‌وسیله عامل‌های هوش مصنوعی و بازبینی نمونه‌های قدیمی استوار است. گام بعدی، تکرار مستقل آزمایش‌هاست. تا آن زمان، جعبه سیاه هوش مصنوعی همچنان جعبه‌ای سیاه باقی می‌ماند؛ هرچند ممکن است پژوهشگران تاکنون نشانه اشتباهی را بررسی کرده باشند.