گوگل دیپ‌مایند و دانشگاه پنسیلوانیا آشکارسازهای هوش مصنوعی می‌سازند که دلیل تصمیم‌هایشان را توضیح می‌دهند
روشی جدید برای تبدیل آشکارسازهای غیرشفاف به ابزارهای طبقه‌بندی قابل‌فهم، بدون از دست دادن بخش عمده دقت آن‌ها.
نویسنده: دیگو آلمادا لوپز
۲۲ اکتبر ۲۰۲۶
آشکارسازهای متن تولیدشده با هوش مصنوعی هم‌اکنون در تصمیم‌گیری درباره پذیرش افراد در مدارس و دانشگاه‌ها، ارزیابی و پذیرش مقالات علمی در فرایند داوری همتا و تعیین محتوای مجاز در فضای آنلاین نقش دارند. بااین‌حال، بیشتر این ابزارها نمی‌توانند حتی یکی از تصمیم‌های خود را توضیح دهند.
تیمی پژوهشی از گوگل دیپ‌مایند و دانشگاه پنسیلوانیا می‌خواهد این وضعیت را تغییر دهد. روش جدید این پژوهشگران، آشکارسازی مبهم و غیرشفاف را به مدلی تبدیل می‌کند که بر پایه مفاهیمی قابل‌درک برای انسان تصمیم می‌گیرد؛ آن هم با افتی در دقت که به‌طرز چشمگیری اندک است.
مقاله این پژوهش با عنوان «ساخت آشکارسازهای متن هوش مصنوعی قابل‌ممیزی با استفاده از خودرمزگذارهای تنک» در ۲۱ اکتبر ۲۰۲۶ ارسال شده است. این مقاله برای ارائه در کنفرانس EMNLP 2026 پذیرفته شده؛ رویدادی که یکی از مجامع مهم پژوهشی در حوزه پردازش زبان طبیعی به شمار می‌رود.
گشودن جعبه سیاه
مشکلی که پژوهشگران به آن اشاره می‌کنند، همان بده‌بستان شناخته‌شده میان دقت و شفافیت است. آشکارسازهایی که بهترین عملکرد را دارند، معمولاً طبقه‌بندهای عصبی هستند که با داده‌های خاص تنظیم دقیق شده‌اند؛ اما منطق درونی آن‌ها عملاً پنهان است.
در مقابل، ابزارهای شفاف‌تری وجود دارند که بر ویژگی‌های سبک‌سنجی و زبانی تکیه می‌کنند؛ از جمله الگوهای انتخاب واژه و ساختار جمله. می‌توان نحوه عملکرد این ابزارها را بررسی کرد، اما بر اساس مقاله، دقت آن‌ها با فاصله زیادی از مدل‌های عصبی عقب‌تر است.
راهکار تیم پژوهشی، فرایندی چندمرحله‌ای است که دانش مدل عصبی را حفظ می‌کند، اما آن را به شکلی قابل‌فهم درمی‌آورد. این فرایند با یک آشکارساز تنظیم‌دقیق‌شده مبتنی بر مدل Gemma-2-2B آغاز می‌شود. سپس پژوهشگران خودرمزگذارهای تنک، یا SAEها، را روی فعال‌سازی‌های جریان باقیمانده این مدل اعمال می‌کنند.
هنگام پردازش متن، مدل اطلاعات را از طریق مسیری درونی به نام «جریان باقیمانده» منتقل می‌کند. سیگنال‌های این مسیر متراکم و درهم‌تنیده‌اند؛ به‌طوری‌که چندین مفهوم در هر مقدار عددی با یکدیگر آمیخته می‌شوند. خودرمزگذار تنک این اطلاعات را از هم تفکیک می‌کند و می‌آموزد همان اطلاعات را در قالب مجموعه بزرگی از ویژگی‌های مجزا بازنمایی کند؛ به‌گونه‌ای که برای هر ورودی، فقط تعداد اندکی از این ویژگی‌ها فعال شوند.
در مرحله بعد، این فرایند به‌طور خودکار برای ویژگی‌ها برچسب تعیین می‌کند و توضیحاتی قابل‌فهم برای انسان به آن‌ها اختصاص می‌دهد. فقط ویژگی‌هایی حفظ می‌شوند که از آستانه سراسری تعیین‌شده برای میزان وفاداری عبور کنند؛ یعنی برچسب هر ویژگی باید واقعاً با عملکرد آن مطابقت داشته باشد. سپس ویژگی‌های تأییدشده وارد یک طبقه‌بند رگرسیون لجستیک سبک می‌شوند. در این طبقه‌بند، به هر ورودی وزنی اختصاص می‌یابد و می‌توان دقیقاً مشاهده کرد که هر ویژگی تا چه اندازه بر نتیجه نهایی اثر گذاشته است.
نتایج چه می‌گویند؟
در داده‌های درون‌حوزه‌ای، یعنی متن‌هایی که به داده‌های مورد استفاده برای آموزش مدل‌ها شباهت دارند، طبقه‌بند تفسیرپذیر به امتیاز F1 برابر با ۹۶٫۸ رسید. امتیاز آشکارساز اصلی و غیرشفاف ۹۸٫۰ بود.
نتیجه چشمگیرتر در داده‌های خارج از توزیع به دست آمد؛ این داده‌ها شامل متن‌هایی هستند که با مجموعه آموزشی تفاوت دارند. در این آزمون، مدل جدید امتیاز F1 برابر با ۹۲٫۲ کسب کرد، درحالی‌که امتیاز مدل پایه غیرشفاف به ۷۵٫۲ سقوط کرد.
کد پروژه و مدل‌های آموزش‌دیده آن به‌صورت عمومی در مخزن google-deepmind/detectorscope در گیت‌هاب در دسترس هستند.
چرا قابلیت ممیزی مهم‌ترین دستاورد است؟
این مقاله بر کاربردهای فعلی چنین ابزارهایی تأکید می‌کند؛ از جمله داوری همتای مقالات علمی، آموزش، پذیرش دانشجو، روزنامه‌نگاری و نظارت بر محتوا. در همه این حوزه‌ها، نتیجه یک آشکارساز می‌تواند مستقیماً بر زندگی یا موقعیت یک فرد تأثیر بگذارد.
قابلیت ممیزی، شیوه برخورد با نتیجه این ابزارها را تغییر می‌دهد. به‌جای آنکه صرفاً گفته شود «سامانه تشخیص داده است که این متن را هوش مصنوعی نوشته»، ارزیاب می‌تواند به مفاهیم مشخصی اشاره کند که مبنای تصمیم بوده‌اند و بررسی کند که آیا این دلایل معتبرند یا نه. این شفافیت همچنین به فردی که تصمیم درباره او گرفته شده است، امکان می‌دهد نتیجه را به چالش بکشد.
این روش به برچسب‌گذاری خودکار ویژگی‌ها وابسته است؛ بنابراین، کیفیت این برچسب‌ها سقفی برای میزان معنادار بودن توضیحات تعیین می‌کند. آستانه وفاداری برای کنار گذاشتن برچسب‌های ضعیف طراحی شده است، اما آزمایش‌های مستقل روی کد عمومی مشخص خواهند کرد که این سازوکار در حوزه‌های مختلف تا چه اندازه خوب عمل می‌کند. همچنین هنوز مشخص نیست که این رویکرد فراتر از آشکارساز مبتنی بر Gemma-2-2B که در این پژوهش به کار رفته است، تا چه حد قابلیت گسترش دارد.
افشای اطلاعات: این مقاله به ویراستاری دیگو آلمادا لوپز رسیده است. برای کسب اطلاعات بیشتر درباره نحوه تولید و بازبینی محتوا، به سیاست تحریریه مراجعه کنید.