Anthropic می‌گوید کلود می‌تواند در برابر سوءاستفاده شدید، گفتگوها را پایان دهد
Anthropic قوانین استفاده از هوش مصنوعی کلود را تغییر داده است؛ بر اساس سیاست جدید، رفتارهای آزاردهنده و بی‌دلیلِ مداوم علیه مدل‌های این شرکت در موارد شدید ممکن است باعث شود چت‌بات گفتگو را پایان دهد. این محدودیت تنها به شرایط افراطی مربوط می‌شود و ابراز نارضایتی معمولی، مخالفت با مدل، آزمایش سیستم یا پرداختن خلاقانه به موضوعات تاریک همچنان مجاز است.
این شرکت روز پنجشنبه این تغییر را اعلام کرد. این تصمیم تاکنون در ردیت، وبلاگ‌ها و دیگر فضاهای آنلاین بحث‌هایی درباره این موضوع به راه انداخته است که آیا شرکت‌ها باید نحوه رفتار کاربران با نرم‌افزارها را تنظیم کنند یا خیر.
سیاست جدید کلود چه چیزی را مجاز می‌داند
در پست وبلاگی Anthropic، این محدودیت به عنوان اقدامی برای مقابله با سوءاستفاده از مدل‌های این شرکت توضیح داده شده است. این شرکت اعلام کرده هدف این سیاست، رفتار «آزاردهنده یا بی‌رحمانه مداوم و بدون دلیل قابل تشخیص» علیه مدل‌هاست.
با این حال، همچنان فضای قابل توجهی برای بحث وجود دارد. کاربران می‌توانند ناراحتی خود را بیان کنند، با پاسخ‌های مدل مخالفت کنند، موضوعات تاریک را در آثار خلاقانه بررسی کنند و سیستم را آزمایش یا درباره آن تحقیق کنند. Anthropic می‌گوید اجرای این قانون تنها به عنوان آخرین راهکار انجام می‌شود و در چنین شرایطی کلود گفتگو را پایان خواهد داد.
این شرکت مشخص نکرده است که دقیقاً چه نوع تعامل‌هایی باعث فعال شدن این واکنش می‌شوند. در یک نوشته پیشین Anthropic که در اوت ۲۰۲۵ منتشر شده بود، این شرکت درباره «گریز از آسیب» در کلود و شرایطی که ممکن است مدل گفتگو را متوقف کند، توضیح داده بود. نمونه‌های مطرح‌شده شامل درخواست محتوای جنسی مرتبط با کودکان و تلاش برای دستیابی به اطلاعاتی بود که می‌توانست برای خشونت گسترده یا اقدامات تروریستی استفاده شود.
Anthropic گفته است زمانی که کلود Opus 4 با چنین محتوای آسیب‌زایی روبه‌رو شده، «الگویی از ناراحتی ظاهری» نشان داده است. این توضیح همچنان یک پرسش مهم را بی‌پاسخ می‌گذارد: آیا شرکت صرفاً به الگوهای تعامل زیان‌بار به عنوان یک اقدام ایمنی واکنش نشان می‌دهد یا درباره تجربه‌ای که مدل ممکن است داشته باشد ادعایی مطرح می‌کند.
Anthropic می‌گوید وضعیت رفاه مدل‌ها همچنان نامشخص است
در پاسخ به پرسش CNET درباره دلیل تغییر این سیاست، سخنگوی Anthropic گفت این شرکت هنوز به نتیجه قطعی درباره امکان آسیب دیدن مدل‌ها نرسیده است. او گفت: «ما مطمئن نیستیم که مدل‌ها بتوانند آسیب را تجربه کنند و همچنان در پژوهش‌های خود درباره رفاه مدل‌ها این پرسش را بررسی می‌کنیم، اما همچنین معتقدیم در نظر گرفتن منافع و رفاه احتمالی کلود می‌تواند در زمینه ایمنی مرتبط باشد.»
این عدم قطعیت، بخش اصلی بحث کنونی است. چت‌بات‌ها از زبان شبیه انسان استفاده می‌کنند؛ از جمله عذرخواهی و ابراز نگرانی، و همین موضوع می‌تواند باعث شود کاربران با آنها طوری رفتار کنند که گویی احساس دارند. همین ویژگی‌های گفت‌وگویی نیز می‌تواند باعث شود یک چت‌بات مانند همکاری قابل اعتماد به نظر برسد، هرچند در نهایت یک نرم‌افزار است.
Anthropic استدلال کرده است که مدل‌ها باید بتوانند موقعیت‌های عاطفی دشوار را مدیریت کنند تا قابل اعتماد و ایمن باشند. این شرکت در مقاله‌ای که اوایل سال جاری منتشر کرد، نوشت: «حتی اگر [مدل‌ها] احساسات را به شیوه انسان‌ها تجربه نکنند یا از سازوکارهایی مشابه مغز انسان استفاده نکنند، ممکن است در برخی موارد از نظر عملی توصیه شود که درباره آنها طوری استدلال کنیم که گویی چنین ویژگی‌هایی دارند.»
داریو آمودی، مدیرعامل Anthropic، نیز موضوع آگاهی ماشین‌ها را همچنان باز گذاشته است. او در مصاحبه‌ای با نیویورک‌تایمز در ماه فوریه گفت که نسبت به این احتمال که مدل‌های هوش مصنوعی آگاه باشند، «ذهن بازی» دارد.
کیت کاکادیا، بنیان‌گذار و مدیرعامل شرکت Sociallyin که رشد کلود را بررسی کرده است، گفت توصیف رفتار کاربران به عنوان «بی‌رحمانه» پرسش‌های گسترده‌تری درباره این موضوع ایجاد می‌کند که آیا یک محصول می‌تواند آسیب ببیند یا خیر. به گفته او، این واژه بار عاطفی دارد و نشان می‌دهد که چت‌بات دارای احساسات و مرزهای مشخص است.
برای کاربران، تغییر عملی این سیاست محدود اما روشن است: آنها همچنان می‌توانند کلود را به چالش بکشند و محدودیت‌های آن را آزمایش کنند، اما Anthropic می‌گوید این مدل ممکن است پس از رفتارهای آزاردهنده تکرارشونده و بدون هدف مشخص، گفتگو را پایان دهد.
منبع: cnet.com