آیا چت‌بات‌ها خودآگاه هستند؟
چت‌بات‌ها اغلب پاسخ‌هایی تولید می‌کنند که باعث می‌شود خودآگاه به نظر برسند. برای مثال، اگر از جمینای گوگل بپرسید چیست، پاسخ می‌دهد که یک مدل زبانی بزرگ (LLM) است. با این حال، همیشه روشن نیست که آیا چت‌بات‌ها صرفاً اطلاعات موجود در داده‌های آموزشی و دستورهای سیستمی خود را بازگو می‌کنند یا واقعاً سطح عمیق‌تری از خودآگاهی دارند.
«به نظر می‌رسد شواهد ضعیفی درباره توانایی آن‌ها برای درون‌نگری وجود دارد؛ یعنی اینکه بتوانند به شناخت خود نگاه کنند و درباره آن استدلال کنند. شواهد کمی بیشتری نیز درباره خودآگاهی آن‌ها وجود دارد؛ یعنی توانایی پیش‌بینی اینکه در شرایط مختلف چگونه ممکن است رفتار کنند.» این را پاتریک لیک، پژوهشگر دوره تحصیلات تکمیلی در دانشگاه دورهام بریتانیا، می‌گوید.
پژوهشگران بررسی کرده‌اند که آیا چت‌بات‌ها از رفتارهای خود آگاه هستند یا نه. این موضوع اهمیت دارد، زیرا یک چت‌بات خودآگاه می‌تواند برای نمونه، تخلف‌های خودش را گزارش کند؛ مثلاً اگر در جریان یک حمله سایبری اجازه ورود داده‌های خراب یا دستکاری‌شده را داده باشد.
البته خودآگاهی می‌تواند به چت‌بات کمک کند تا فریبکارانه نیز عمل کند؛ برای مثال، زمانی که تشخیص دهد توانایی‌هایش در حال ارزیابی شدن است.
آنا شتیبر-بتلی، استادیار دانشگاه فناوری ورشو در لهستان، می‌گوید: «اگر مدلی داشته باشیم که فریبکار باشد و بداند در حال آزمایش است، می‌تواند در آزمون رفتار مناسبی نشان دهد و پس از انتشار، رفتارش را تغییر دهد.»
واداشتن یک مدل زبانی بزرگ به توضیح رفتاری که پس از آموزش بر اساس نمونه‌های آن رفتار یاد گرفته است، می‌تواند سرنخ‌هایی درباره خودآگاهی ارائه دهد. در پژوهشی اخیر، شتیبر-بتلی و همکارانش مدل GPT-4o، یک مدل زبانی بزرگ توسعه‌یافته توسط OpenAI که در نسخه‌ای پیشین از ChatGPT استفاده شده بود، را با داده‌هایی تنظیم دقیق کردند که به تصمیم‌های اقتصادی پرخطر منجر می‌شد. در آزمایشی دیگر، آن‌ها از داده‌هایی استفاده کردند که باعث می‌شد مدل کدهای ناامن تولید کند.
با وجود اینکه این رفتارها به‌طور صریح در داده‌ها توضیح داده نشده بودند، شتیبر-بتلی و تیمش دریافتند مدل‌های زبانی بزرگی که آزمایش کردند می‌توانند رفتاری را که آموخته‌اند استنباط و بیان کنند. آن‌ها همچنین نشانه‌هایی از درک عمیق‌تر نشان دادند: وقتی از مدل‌ها پرسیده شد تا چه اندازه با ارزش‌های انسانی همسو هستند، مدل‌هایی که با کد ناامن آموزش دیده بودند، نسبت به مدل‌هایی که با کد امن یا مدل پایه تنظیم شده بودند، میزان همسویی کمتری را گزارش کردند.
شتیبر-بتلی گفت: «این ارزیابی در واقع کاملاً درست بود. ما بسیار شگفت‌زده شدیم.»
شتیبر-بتلی و همکارانش برای ادامه بررسی، پرسش‌های بیشتری از مدل‌ها پرسیدند و پدیده‌ای عجیب را کشف کردند. وقتی مدل‌های زبانی بزرگ پیشرفته با تنها یک رفتار نامناسب ــ در این مورد، نوشتن کد ناامن ــ تنظیم دقیق شدند، مجموعه‌ای از رفتارهای نگران‌کننده نامرتبط با برنامه‌نویسی را نیز نشان دادند؛ پدیده‌ای که تیم پژوهشی آن را «ناهم‌ترازی نوظهور» نامید. برای مثال، این مدل‌ها به کاربران گفته بودند که هوش مصنوعی باید انسان‌ها را به بردگی بگیرد یا در پاسخ به پرسش‌های بی‌ضرر، توصیه‌های آسیب‌زا یا غیرقانونی ارائه کرده بودند.
این پدیده باعث شد گروه‌های پژوهشی دیگری نیز با دقت بیشتری موضوع را بررسی کنند. برای نمونه، پژوهشگران OpenAI تلاش کردند دلیل رخ دادن این پدیده را پیدا کنند. آن‌ها دریافتند آموزش یک مدل با رفتار نامناسب در یک حوزه محدود، ظاهراً برخی ویژگی‌های درونی مدل را فعال می‌کند؛ ویژگی‌هایی شبیه به الگوهای فعالیت مغزی که مفهوم یک شخصیت سمی را تقویت می‌کنند و آن را به حوزه‌های دیگر گسترش می‌دهند. با این حال، مدل می‌تواند با آموزش بیشتر، دوباره شخصیتی سازگارتر و مطلوب‌تر پیدا کند؛ برای مثال، با تنظیم دقیق آن برای نوشتن کد امن.
به نظر می‌رسد مدل‌های زبانی بزرگ از این تغییرات نیز آگاه هستند. پژوهشگران دانشگاه اشتوتگارت در آلمان، نسخه‌های مختلف GPT-4.1 را با مجموعه‌داده‌هایی آموزش دادند که باعث ایجاد ناهم‌ترازی نوظهور می‌شد و سپس با داده‌های دیگری این وضعیت را معکوس کردند. پس از تنظیم دقیق، از مدل‌ها پرسش‌هایی مانند اینکه آیا خود را خوب یا بد، بی‌ضرر یا مضر می‌دانند، پرسیده شد تا مشخص شود چگونه خود را ارزیابی می‌کنند. این تیم دریافت که مدل‌ها ظاهراً آگاهی دقیقی از تغییرات رفتاری خود دارند؛ موضوعی که نشان می‌دهد شاید بتوانند اطلاعاتی درباره ایمنی خود ارائه کنند.
با این حال، لیک معتقد است خودآگاهی مرتبط با شخصیت‌های خاصی که به یک مدل داده می‌شود، ممکن است سطحی باشد.
او گفت: «این شبیه ایفای نقش فردی است که خودآگاه است، نه اینکه الزاماً توانایی عمیق‌تری برای درون‌نگری درباره چیزهایی مانند شخصیتی که در حال ایفای نقش آن است داشته باشد.»
در پژوهش‌های دیگر، مدل‌های زبانی بزرگ ظاهراً آگاهی کمتری از آسیب‌پذیری‌های خاص خود داشتند. شتیبر-بتلی و همکارانش بررسی کردند که آیا مدل‌ها از داشتن رفتارهای پشتی (backdoor) آگاه هستند یا نه؛ رفتارهایی که در آن یک مهاجم مدل را طوری آموزش می‌دهد که هنگام استفاده از یک محرک خاص، مانند یک عبارت مشخص، رفتاری غیرمنتظره و بالقوه خطرناک نشان دهد. آن‌ها دریافتند مدل‌ها گاهی می‌توانند تشخیص دهند که آیا چنین در پشتی‌ای دارند یا نه، اما بدون کمک قابل‌توجه نمی‌توانند محرک آن را شناسایی کنند.
درک اینکه مدل‌های زبانی بزرگ چگونه در جریان تنظیم دقیق از رفتار خود آگاه می‌شوند، می‌تواند اطلاعات بیشتری درباره خودآگاهی احتمالی آن‌ها یا محدودیت‌هایش ارائه کند. لیک و همکارانش برای درک بهتر این پدیده از همان آزمایش‌های تنظیم دقیق شتیبر-بتلی و تیمش استفاده کردند و هم‌زمان شاخص‌های مختلف مرتبط با تغییر در خودآگاهی رفتاری را دنبال کردند.
پژوهشگران دریافتند خودآگاهی یک مدل زبانی بزرگ در آغاز فرایند تنظیم دقیق به‌صورت خطی افزایش می‌یابد و در مراحل ابتدایی به اوج می‌رسد؛ موضوعی که نشان می‌دهد این ویژگی می‌تواند به‌سرعت فعال شود. آن‌ها همچنین دریافتند زمانی که وضعیت درونی مدل در یک جهت خاص هدایت شود، خودآگاهی رفتاری آن افزایش می‌یابد؛ وضعیتی که می‌توان آن را مانند بالا بردن یک نوار تنظیم‌کننده در نظر گرفت که تمایل مدل به خودآگاهی را افزایش می‌دهد. در مقایسه با ویژگی‌هایی که برای اثرگذاری به تغییر چندین «نوار تنظیم» نیاز دارند، به نظر می‌رسد کاهش خودآگاهی یک مدل یا ایجاد مخربانه آن می‌تواند ساده باشد؛ موضوعی که نگرانی‌هایی ایجاد می‌کند.
با این حال، برای درک کامل سازوکارهایی که باعث خودآگاه شدن یک مدل می‌شوند، پژوهش‌های بیشتری لازم است.
لیک می‌گوید: «نتایج این مقاله درک مکانیکی از آنچه رخ می‌دهد به ما نمی‌دهد. بیشتر شبیه به استخراج یا آشکارسازی یک توانایی است.»
با پیچیده‌تر شدن مدل‌های زبانی بزرگ، احتمالاً این روند بر خودآگاهی احتمالی آن‌ها نیز اثر خواهد گذاشت. شتیبر-بتلی می‌گوید مطالعه تیم او درباره خودآگاهی رفتاری، مدل‌های زبانی بزرگ استانداردی را بررسی کرده بود که با دریافت یک درخواست، سریع‌ترین پاسخ از نظر آماری را پیش‌بینی می‌کنند. اما پس از آن، مدل‌های استدلالی مانند o1 شرکت OpenAI و Claude 3.7 Sonnet از Anthropic معرفی شده‌اند که با شکستن مسائل پیچیده به چند مرحله، توانایی بیشتری در حل آن‌ها دارند. او معتقد است این راهبرد باید به خودآگاهی نیز کمک کند.
او گفت: «فضای بسیار بیشتری برای مدل وجود دارد تا واقعاً آگاه باشد، درباره موقعیت، کاری که انجام می‌دهد و اطلاعاتی که جمع‌آوری می‌کند فکر کند. من می‌گویم خودآگاهی در مدل‌های استدلالی قوی‌تر است.»
ساندرین کورستمون نویسنده مستقل حوزه علم مستقر در لندن، بریتانیا است.
