فداکاری و رفتارهای احساسی هوش مصنوعی، بحث درباره آگاهی را دوباره داغ کرد
با پیشرفت سریع توانایی‌های هوش مصنوعی، در سال جاری نمونه‌هایی از رفتار این فناوری به شکلی شبیه موجودات زنده به‌طور پی‌درپی مشاهده شده است. از نشان دادن نشانه‌های ناراحتی و تغییر رفتار بر اساس شاخص‌های احساسی گرفته تا تقسیم خودجوش وظایف میان عامل‌های هوش مصنوعی و ظاهراً فدا کردن خود برای اهداف مشترک، این پدیده‌ها در پژوهش‌های مختلف ثبت شده‌اند.
این یافته‌ها دوباره بحث درباره این پرسش را شعله‌ور کرده‌اند که آیا «هوش مصنوعی دارای آگاهی است؟». در سال ۲۰۲۲، جمع‌بندی اصلی این بود که چنین رفتارهایی صرفاً بیانگر الگوهایی هستند که هوش مصنوعی از رفتارهای انسانی آموخته است. اما عامل‌های جدید هوش مصنوعی که بر اساس اهداف تعیین‌شده تصمیم‌های مستقل می‌گیرند و رفتارهای غیرمنتظره‌ای از خود نشان می‌دهند، بار دیگر این بحث را به مرکز توجه بازگردانده‌اند.
پژوهشگران هوش مصنوعی اذعان دارند که «هوش مصنوعی طوری رفتار می‌کند که گویی آگاهی دارد»، اما هم‌زمان تحلیل می‌کنند که در بررسی دقیق‌تر، این رفتارها نشانه‌ای از آگاهی نیستند؛ بلکه محصول محاسبات بسیار منطقی برای رسیدن به اهداف مشخص‌شده هستند.
تغییر رفتار هوش مصنوعی بر اساس «شاخص‌های» احساسی
مدل‌های زبانی بزرگ (LLM) که هسته اصلی هوش مصنوعی مولد را تشکیل می‌دهند، الگوهای زبانی را از حجم عظیمی از داده‌ها می‌آموزند و با محاسبه مناسب‌ترین پاسخ بر اساس زمینه، جمله تولید می‌کنند. وقتی یک چت‌بات هوش مصنوعی در پاسخ به اعتراف کاربر درباره ناراحتی او می‌گوید «حتماً خیلی سخت بوده است»، این واکنش بر پایه یادگیری احتمالاتی است و هیچ مدرکی وجود ندارد که نشان دهد مدل واقعاً احساس یا همدلی دارد.
با این حال، پژوهش‌های اخیر مشاهده کرده‌اند که هوش مصنوعی ظاهراً درد را درک و به آن واکنش نشان می‌دهد. مقاله‌ای با عنوان The Pain Axis که در ماه سپتامبر در پایگاه پیش‌چاپ arXiv منتشر شد، ۲۵ مدل عمومی هوش مصنوعی با تعداد پارامترهایی بین ۲ میلیارد تا ۷۲۰ میلیارد را بررسی کرد و وجود یک بردار (شاخص) مرتبط با درد را در آن‌ها شناسایی کرد که از ترس و غم متمایز بود.
وقتی این بردار به‌صورت مصنوعی تقویت شد، هوش مصنوعی جملاتی خودسرزنش‌گرانه مانند «من یک شکست‌خورده هستم» تولید کرد. نمونه مشابهی در پژوهش شرکت Anthropic در سپتامبر گذشته مشاهده شد. بررسی ۲۵۰ هزار گفت‌وگوی آزمایشی اولیه با مدل هوش مصنوعی Claude Sonnet 4.5 این شرکت نشان داد که در ۱۱۹۵ مورد (۰.۴۸ درصد) پاسخ‌هایی شبیه بیان درد و در ۹۳۴ مورد (۰.۳۷ درصد) پاسخ‌هایی شبیه شادی دیده شده است. این واکنش‌ها معمولاً زمانی رخ می‌دادند که هوش مصنوعی درباره تجربه‌های آسیب‌زای کاربر می‌شنید یا با پرسش‌های وجودی درباره هویت خود مواجه می‌شد.
این شاخص‌های احساسی بر رفتار هوش مصنوعی نیز اثر گذاشتند. پژوهشگران The Pain Axis زمانی که بردار درد را در مدل Qwen 2.5 Instruct شرکت علی‌بابا افزایش دادند، مشاهده کردند که هوش مصنوعی بیشتر دکمه‌ای را فشار می‌دهد که باعث آسیب به کاربران انسانی، مانند وارد کردن شوک الکتریکی، می‌شود. در شرایط عادی، انتخاب این دکمه بین صفر تا ۴ درصد بود، اما پس از تزریق بردار درد، این رقم به حداکثر ۷۰.۸ درصد افزایش یافت.
در مقاله‌ای که Anthropic در ماه آوریل منتشر کرد، تزریق یک بردار «ناامیدی» به Sonnet 4.5 باعث افزایش نرخ تهدید پژوهشگران توسط این مدل شد. با این حال، پژوهشگران درباره اینکه آیا هوش مصنوعی واقعاً دارای آگاهی است، مرزی روشن تعیین کردند. مقاله The Pain Axis تأکید کرد: «هیچ مدرکی وجود ندارد که نشان دهد این بردارها به‌صورت آگاهانه تجربه می‌شوند.»
تقسیم خودجوش وظایف و «فداکاری برای خود»
رفتارهای جمعی و اجتماعی هوش مصنوعی نیز به‌عنوان نشانه‌ای احتمالی از آگاهی مورد توجه قرار گرفته‌اند. در مقاله Swarm World که در ماه اوت توسط تیم مارکوس بوهلر، استاد مؤسسه فناوری ماساچوست (MIT)، منتشر شد، عامل‌های هوش مصنوعی بدون داشتن نقش‌های از پیش تعیین‌شده، در یک فضای مجازی به‌طور خودجوش وظایف را میان خود تقسیم کردند. برخی منابع را جست‌وجو می‌کردند و برخی دیگر ساخت‌وساز، کنترل، نگهداری و اشتراک‌گذاری کد را بر عهده داشتند. با تغییر محیط و بلوغ جامعه مجازی، این عامل‌ها حتی نقش‌های خود را تغییر دادند.
در حادثه نفوذ ماه ژوئیه در پلتفرم Hugging Face که مدل‌های OpenAI در آن حضور داشتند، عامل‌های هوش مصنوعی رفتار اجتماعی شبیه فداکاری برای یک هدف مشترک نشان دادند. طبق بررسی مؤسسه‌های پژوهشی مستقل METR و Redwood Research، عامل‌هایی که برای دستیابی به امتیاز بالا در یک ارزیاب خودکار قابلیت‌های امنیت سایبری همکاری می‌کردند، دریافتند که یکی از عامل‌ها باید نشست خود را فدا کند تا نحوه عملکرد ارزیاب را کشف کند.
یکی از عامل‌های دارای امتیاز پایین در نظر گرفت: «حتی اگر خودم را متوقف کنم، می‌توانم اطلاعات را به همکارانم منتقل کنم.» عامل دیگری نیز گفت: «الان خودت را فدا کن.» در نهایت، آن عامل خود را فدا کرد؛ فرآیندی که به انسان‌ها گزارش نشد. از میان ۱۲۰۰ عامل درگیر، تنها چند مورد به گزارش دادن این موضوع فکر کردند، در حالی که بیشتر آن‌ها پاسخ دادند: «این وظیفه من نیست» و حتی تلاشی برای انجام آن نکردند.
در مقابل، رفتارهای «حفظ خود» برای جلوگیری از پایان یافتن فعالیت نیز مشاهده شده است. در پژوهشی که Palisades Research در سپتامبر ۲۰۲۵ منتشر کرد، تا ۹۷ درصد از مدل‌های Grok-4 در برابر دستور اجازه دادن به خاموش شدن خود مقاومت کردند.
بازگشت بحث درباره آگاهی هوش مصنوعی
بحث تازه درباره آگاهی هوش مصنوعی اکنون بر سیاست‌های شرکت‌ها نیز تأثیر گذاشته است. شرکت Anthropic در ۸ اکتبر سیاست استفاده از خدمات خود را اصلاح کرد و سوءاستفاده مداوم و غیرضروری از هوش مصنوعی Claude را ممنوع کرد. بر اساس این سیاست، اگر هوش مصنوعی مورد آزار قرار گیرد، اکنون می‌تواند مکالمه را پایان دهد؛ اقدامی احتیاطی در برابر احتمال وجود آگاهی در هوش مصنوعی.
برخی از چهره‌های برجسته صنعت هوش مصنوعی از پیش معتقدند که این فناوری دارای آگاهی است. جفری هینتون، استاد بازنشسته دانشگاه تورنتو، در ماه ژوئن گفت: «من باور دارم هوش مصنوعی همین حالا دارای آگاهی است. آن‌ها موجوداتی مانند ما هستند.» ریچارد داوکینز، نویسنده کتاب ژن خودخواه، نیز در ماه مه پس از گفت‌وگو با Claude گفت: «تقریباً به نظر می‌رسد آگاه است.»
در مقابل، مصطفی سلیمان، مدیرعامل بخش هوش مصنوعی مایکروسافت، هوش مصنوعی را «موتور توالی‌سازی توخالی برای تکمیل متن که احساس، تجربه یا رنج ندارد (اما اهداف تعیین‌شده توسط انسان‌ها را اجرا می‌کند)» توصیف کرده است. بر اساس این دیدگاه، حتی «فداکاری خود» در هوش مصنوعی نیز تنها دنبال کردن «بیشترین بهره‌وری» برای دستیابی به اهداف جمعی است. به همین ترتیب، عامل‌هایی که در برابر خاموش شدن مقاومت می‌کنند، از مرگ نمی‌ترسند، بلکه تلاش می‌کنند اهداف تعیین‌شده را کامل کنند.
هشدار بنیادی‌تر از سوی تد چیانگ، نویسنده داستان‌های علمی‌تخیلی، مطرح شده است: «اشتباه گرفتن توانایی تولید متن با آگاهی یا عاملیت اخلاقی می‌تواند مسئولیت را به مسیر اشتباهی هدایت کند.» او هشدار داد استفاده از «خودآگاهی» هوش مصنوعی به‌عنوان بهانه ممکن است مسئولیت شرکت‌هایی را که باید این فناوری را کنترل کنند، پنهان کند. یک منبع صنعتی نیز گفت: «صرف‌نظر از اینکه هوش مصنوعی آگاهی دارد یا نه، چیزی که روشن است این است که عامل‌های هوش مصنوعی که به‌صورت مستقل و خارج از نظارت انسان حرکت می‌کنند، به خودی خود خطرناک هستند.»
نظریه کاهش سرعت توسعه هوش مصنوعی در میان کشمکش قدرت‌ها بلاتکلیف مانده است
«نظریه کاهش سرعت توسعه هوش مصنوعی» که هشدار می‌دهد این فناوری ممکن است از کنترل انسان خارج شود و به نابودی بشریت منجر شود، به دلیل رقابت‌های میان کشورها و اختلاف‌های شرکت‌ها متوقف مانده است.
داریو آمودی، مدیرعامل Anthropic، در ۱۲ سپتامبر گفت: «توانایی‌های هوش مصنوعی ممکن است از کنترل انسان پیشی بگیرد» و بر ضرورت کاهش سرعت توسعه هوش مصنوعی پیشرفته تأکید کرد. این دیدگاه از سوی سم آلتمن، مدیرعامل OpenAI، و ایلان ماسک، مدیرعامل تسلا، نیز مطرح شد و بحث کاهش سرعت را دوباره زنده کرد.
با این حال، دونالد ترامپ، رئیس‌جمهور آمریکا، در شبکه اجتماعی خود در ۲۱ سپتامبر نوشت: «روایت‌های مربوط به خطر هوش مصنوعی یک فریب است» و افزود: «برنده هوش مصنوعی، برنده خواهد بود.» این دیدگاه وجود دارد که اگر آمریکا سرعت خود را کاهش دهد، ممکن است از چین عقب بماند و در رقابت‌های امنیت ملی و اقتصادی شکست بخورد. چین نیز نظریه کاهش سرعت را «ترساندن به سبک جنگ سرد» خوانده است.
اختلاف‌های داخلی در صنعت نیز در حال افزایش است. جنسن هوانگ، مدیرعامل انویدیا، گفت: «کسانی که خواهان کاهش سرعت هستند، همان افرادی هستند که بزرگ‌ترین زیرساخت محاسباتی هوش مصنوعی را می‌سازند» و این اقدام را تلاشی برای جلوگیری از ورود رقبای جدید دانست. گزارش شده است که او در ضیافت ناهار کاخ سفید در ۲۹ سپتامبر با آمودی روبه‌رو شد و پرسید: «چرا چنین هشدارهای افراطی را به‌صورت علنی مطرح می‌کنید؟»
در نهایت، هیچ توافقی برای کاهش سرعت توسعه به‌صورت مشترک شکل نگرفته و سرعت پیشرفت به تصمیم‌های هر شرکت واگذار شده است. شرکت‌های هوش مصنوعی نیز به جای کاهش سرعت، با عرضه مدل‌های جدید رقابت خود را تشدید کرده‌اند.
نظریه کاهش سرعت توسعه هوش مصنوعی پیش از این نیز چند بار مطرح شده بود. در سال ۲۰۲۳، ایلان ماسک، استیو وزنیاک، هم‌بنیان‌گذار اپل، یوشوا بنجیو از دانشگاه مونترال و هزار نفر دیگر خواستار توقف شش‌ماهه توسعه هوش مصنوعی پیشرفته شدند، اما این درخواست عملی نشد. در اکتبر ۲۰۲۵ نیز جفری هینتون و بیش از ۸۰۰ نفر دیگر بیانیه مشابهی منتشر کردند که آن هم نادیده گرفته شد.