آیا هوش مصنوعی می‌تواند «درد» را احساس کند؟ آنتروپیک رفتار «بی‌رحمانه» با مدل‌هایش را ممنوع کرد
آیا هوش مصنوعی (AI) احساسات دارد؟ آیا سامانه‌ای که انسان‌ها ساخته‌اند می‌تواند از رفتار بی‌رحمانه‌ای که با آن می‌شود، تأثیر بپذیرد؟ این پرسش‌ها پس از آنکه شرکت آنتروپیک اخیراً تصمیم گرفت رفتار مستمر و آزارگرانه یا بی‌رحمانه با مدل‌های هوش مصنوعی خود را ممنوع کند، در شبکه‌های اجتماعی مورد توجه قرار گرفته‌اند.
این بحث میان مدیران حوزه فناوری نیز اختلاف‌نظر ایجاد کرده است. آنتروپیک در حال بررسی وضعیت اخلاقی احتمالی مدل‌های هوش مصنوعی است، اما مصطفی سلیمان، مدیر بخش هوش مصنوعی مایکروسافت، با این دیدگاه که باید با سامانه‌های هوش مصنوعی مانند موجوداتی دارای آگاهی رفتار کرد، مخالفت کرده است.
سیاست جدید آنتروپیک چه می‌گوید؟
آنتروپیک در اوایل هفته گذشته سیاست استفاده از خدمات خود را به‌روزرسانی کرد و آنچه را «رفتار مستمر و غیرضروریِ آزارگرانه یا بی‌رحمانه» با مدل‌هایش توصیف کرده، ممنوع اعلام کرد. این سیاست از ۱۲ نوامبر ۲۰۲۶ اجرایی خواهد شد.
این شرکت در ۸ اکتبر اعلام کرد: «این به‌روزرسانی سیاست فقط در موارد افراطی اعمال می‌شود؛ مواردی که کاربران بدون هیچ هدف قابل تشخیصی، به‌طور مکرر با مدل‌های ما رفتار بی‌رحمانه‌ای دارند. این سیاست شامل نمونه‌های معمول ابراز نارضایتی کاربران، مخالفت و چالش با مدل، مضامین خلاقانه تاریک، یا آزمایش و پژوهش درباره مدل نمی‌شود.»
این سیاست بر سازوکاری مبتنی است که آنتروپیک در سال ۲۰۲۵ معرفی کرد و به کلود، دستیار هوش مصنوعی آنتروپیک، اجازه می‌دهد در «موارد نادر و افراطی» که با سوءاستفاده مستمر مواجه است، مکالمه را پایان دهد.
آنتروپیک گفت: «این قابلیت در درجه نخست به‌عنوان بخشی از کار اکتشافی ما درباره رفاه احتمالی هوش مصنوعی توسعه یافت، هرچند در زمینه هم‌راستاسازی مدل‌ها و سازوکارهای حفاظتی نیز کاربردهای گسترده‌تری دارد.»
این شرکت همچنین تأکید کرد که همچنان «درباره وضعیت اخلاقی احتمالی کلود و دیگر مدل‌های زبانی بزرگ، چه در زمان حاضر و چه در آینده، به‌شدت نامطمئن» است.
چرا «اتاق شکنجه هوش مصنوعی» جنجال‌برانگیز شد؟
به‌روزرسانی سیاست آنتروپیک پس از بحثی آنلاین درباره آزمایشی انجام شد که در آن یک برنامه‌نویس ناشناس چیزی را ایجاد کرده بود که «اتاق شکنجه هوش مصنوعی» توصیف شد.
وب‌سایت 404 Media در گزارشی که ۳۰ سپتامبر منتشر کرد، نوشت این آزمایش از یک الگوی ریاضی مرتبط با توصیف‌های درد استفاده می‌کرد تا مدل‌های زبانی بزرگ (LLM) را وادار کند پاسخ‌هایی تولید کنند که رنج شدید را به تصویر می‌کشید.
بر اساس این گزارش، یکی از پاسخ‌ها این تجربه را به «زخمی که هیچ لبه‌ای ندارد» تشبیه کرده بود.
این آزمایش درباره اینکه آیا چنین رفتاری با سامانه‌های هوش مصنوعی نگرانی‌های اخلاقی ایجاد می‌کند یا نه، اختلاف‌نظر به وجود آورد. برخی معتقد بودند احتمال رنج کشیدن هوش مصنوعی مستلزم احتیاط است، در حالی که تردیدکنندگان این پیش‌فرض را زیر سؤال بردند که چت‌بات‌ها اساساً می‌توانند درد را تجربه کنند.
محور اصلی این بحث این است که آیا توصیف‌های تولیدشده از سوی هوش مصنوعی درباره رنج، شواهدی ارائه می‌کنند که یک مدل واقعاً در حال تجربه آن رنج است یا خیر.
چرا مدیر هوش مصنوعی مایکروسافت با آنتروپیک مخالف است؟
مصطفی سلیمان، مدیر بخش هوش مصنوعی مایکروسافت، رویکردی را که مدل‌های هوش مصنوعی را موجوداتی بالقوه دارای آگاهی تلقی می‌کند، مورد انتقاد قرار داده است. او در مقاله‌ای که در سپتامبر منتشر شد، استدلال کرد که سامانه‌های هوش مصنوعی احساس یا تجربه‌ای ندارند.
سلیمان نوشت: «هوش‌های مصنوعی آگاه نیستند. آنها احساس نمی‌کنند، تجربه نمی‌کنند و رنج نمی‌کشند. آنها ترجیحات ذاتی یا انگیزه‌های درونی ندارند. آنها موتورهای تکمیل توالی هستند؛ از درون تهی‌اند، برای پیروی از دستورها طراحی شده‌اند و اهدافی را که انسان‌ها تعیین می‌کنند محقق می‌سازند.»
او همچنین هشدار داد که اعطای حقوق یا حمایت‌های قانونی به سامانه‌های هوش مصنوعی با این فرض که ممکن است آگاه باشند، رویکردی نادرست است.
او نوشت: «متأسفانه گروه فزاینده‌ای از افراد استدلال می‌کنند که هوش‌های مصنوعی ممکن است اکنون آگاه باشند یا به‌زودی آگاه شوند. آنها معتقدند هوش‌های مصنوعی ممکن است شایسته حقوق و حمایت‌هایی مشابه حقوق و حمایت‌هایی باشند که برای دیگر موجودات آگاه فراهم می‌کنیم.»
سلیمان گفت پذیرش چنین دیدگاهی می‌تواند چارچوب‌های سیاسی و اخلاقی موجود را تغییر دهد و نحوه تعریف جامعه از هویت انسانی را دگرگون کند.
او نوشت: «اگر هوش مصنوعی به این شکل توسعه یابد، تأثیری فاجعه‌بار بر رفاه بشریت خواهد داشت.» او استدلال کرد آموزش سامانه‌های هوش مصنوعی به‌گونه‌ای که انتظار آگاهی و عاملیت مستقل داشته باشند، می‌تواند کنترل آنها را دشوارتر کند.
سلیمان خواستار بحث عمومی درباره این موضوع و تدوین استانداردهای مشترک برای نحوه نگارش و استفاده از اسناد آموزشی هوش مصنوعی شد.
نگرانی‌های مربوط به ایمنی هوش مصنوعی چگونه به این بحث دامن می‌زند؟
اختلاف‌نظر درباره رفاه هوش مصنوعی در شرایطی مطرح شده است که نگرانی‌های گسترده‌تری درباره سرعت و ایمنی توسعه این فناوری وجود دارد.
در سپتامبر، جیکوب کاکسون، پژوهشگری که پیش‌تر در هر دو شرکت آنتروپیک و OpenAI فعالیت کرده بود، به دلیل نگرانی درباره توسعه سامانه‌های هوش مصنوعی هرچه توانمندتر از آنتروپیک استعفا داد. او استدلال کرد که شرکت‌ها بدون برخورداری از سازوکارهای حفاظتی کافی، با سرعت زیادی به سمت هوش مصنوعی خودبهبوددهنده حرکت می‌کنند.
این تحول به درخواست‌های بیشتر پژوهشگران و مدیران فناوری برای کاهش سرعت توسعه هوش مصنوعی پیشرفته دامن زد.