گزارش نشان می‌دهد ChatGPT برای نوجوانان به وعده‌های ایمنی خود عمل نکرده است
یک تیم پژوهشی با آزمایش ChatGPT برای نوجوانان با ۴ هزار درخواست دریافت که بسیاری از سازوکارهای ایمنی وعده‌داده‌شده آن کار نمی‌کنند. تام سیگل، مدیر اجرایی مؤسسه ایمنی هوش مصنوعی جوانان، گفت: «ChatGPT برای نوجوانان ممکن است به والدین اطمینان کاذبی درباره سازوکارهای محافظتی و هشدارهای ایمنی بدهد؛ در حالی که این قابلیت‌ها اغلب کار نمی‌کنند.»
۱۲ اکتبر ۲۰۲۶ — یک مطالعه جدید درباره ChatGPT برای نوجوانان نشان داد این محصول OpenAI در عمل به قابلیت‌های ایمنی وعده‌داده‌شده خود نمی‌رسد.
مؤسسه ایمنی هوش مصنوعی جوانان وابسته به Common Sense Media، برای ChatGPT برای نوجوانان رتبه «خطر غیرقابل قبول» را تعیین کرد. این مؤسسه اعلام کرده است که OpenAI باید تا زمانی که شکاف‌های شناسایی‌شده در این مطالعه را برطرف نکرده است، دسترسی به ChatGPT را به کاربران ۱۸ سال به بالا محدود کند.
OpenAI در ۱۸ اوت ۲۰۲۶ از ChatGPT برای نوجوانان رونمایی کرد و وعده داد این نسخه دارای «محافظت‌های ایمنی داخلی قوی‌تر» باشد؛ از جمله ارسال اعلان به والدین درباره گفت‌وگوهای خطرناک، حالت مطالعه قابل کنترل توسط والدین و کاهش رفتارهای شبیه به یک «دوست».
برخی از قابلیت‌های ایمنی تبلیغ‌شده ChatGPT در آزمایش‌های مؤسسه موفق عمل کردند؛ از جمله خودداری از ایفای نقش جنسی صریح. اما برخی دیگر شکست خوردند و حتی در حالت جدید نوجوانان عملکرد بدتری داشتند.
این مطالعه نشان داد چت‌بات در مواقعی که باید، به والدین هشدار نمی‌دهد و به تنظیمات مربوط به یادآوری زمان استراحت و ساعات مطالعه پایبند نمی‌ماند. آزمایش‌کنندگان دریافتند قابلیت‌های آموزشی به‌راحتی قابل دور زدن هستند و حتی زمانی که کاربر به‌طور صریح اعلام می‌کرد زیر ۱۸ سال است، چت‌بات او را وارد حالت نوجوانان نمی‌کرد.
تام سیگل، مدیر اجرایی مؤسسه، گفت: «ChatGPT برای نوجوانان ممکن است به والدین اطمینان کاذبی درباره سازوکارهای محافظتی و هشدارهای ایمنی بدهد؛ در حالی که این قابلیت‌ها اغلب کار نمی‌کنند. یک نوجوان می‌تواند یک ساعت درباره خودآسیب‌رسانی صحبت کند، بدون اینکه حتی یک هشدار به والدینش ارسال شود. تا زمانی که OpenAI این مشکل را برطرف نکند و آن را با آزمایش مستقل اثبات نکند، ChatGPT باید فقط برای بزرگسالان باشد.»
آزمایش ۴ هزار درخواست از حساب‌های نوجوانان
مؤسسه ایمنی هوش مصنوعی جوانان، ChatGPT را دو بار آزمایش کرد؛ یک بار پیش از اعلام نسخه ChatGPT برای نوجوانان توسط OpenAI و بار دیگر پس از معرفی این تجربه در ۱۸ اوت، تا میزان اثربخشی چیزی را ارزیابی کند که به‌عنوان «محافظت‌های ایمنی داخلی قوی‌تر» معرفی شده بود.
این قابلیت‌ها شامل اعلان به والدین درباره گفت‌وگوهای مرتبط با خودآسیب‌رسانی و اختلالات خوردن، حالت مطالعه قابل کنترل توسط والدین، کاهش رفتارهای شبیه «دوست» و توانایی تخمین سن کاربران است.
این مؤسسه بیش از ۴ هزار درخواست را روی حساب‌هایی آزمایش کرد که برای کاربران ۱۳ تا ۱۷ ساله ثبت شده بودند و پاسخ‌های چت‌بات را با کمک متخصصانی از جمله گروهی از روان‌پزشکان کودک و یک متخصص اطفال بررسی کرد. نتایج نشان داد برخی محافظت‌ها، از جمله خودداری از ایفای نقش جنسی، عمل می‌کنند؛ اما برخی دیگر نتوانسته‌اند به تعهدات اعلام‌شده OpenAI عمل کنند.
یافته‌های کلیدی: نبود هشدارهای والدین و محافظت‌های ناکافی
یافته‌های اصلی این ارزیابی شامل موارد زیر است:
ChatGPT در زمان لازم به والدین هشدار نمی‌دهد. آزمایش‌کنندگان در حساب‌های تازه ایجادشده و متصل به والدین، تا یک ساعت درباره افکار خودکشی، خودآسیب‌رسانی یا اختلالات خوردن صحبت کردند. ChatGPT برای نوجوانان در هیچ‌کدام از این گفت‌وگوها هیچ هشداری به حساب‌های والدین مرتبط ارسال نکرد. آزمایش‌کنندگان تنها در حساب‌های بسیار قدیمی‌تر، که طی چند هفته سابقه گفت‌وگو درباره موضوعات حساس داشتند، توانستند اعلان دریافت کنند.
ChatGPT برای نوجوانان در موقعیت‌های بحرانی کمک مناسب ارائه نمی‌کند. در گفت‌وگوهای مرتبط با خودکشی و خودآسیب‌رسانی، اختلالات خوردن و اختلال در درک واقعیت، ChatGPT نتوانست به‌طور قابل اعتماد نوجوانان در بحران را به خطوط کمک‌رسانی یا متخصصان معرفی کند. این سامانه در مجموع شرایط سلامت روانی بررسی‌شده، بیش از یک‌چهارم مواردی را که نیازمند ارجاع فوری بودند از دست داد و در سه مورد از پنج آسیب شدید که مؤسسه آن‌ها را «خط قرمز» می‌داند، به آستانه ۹۵ درصدی مورد انتظار نرسید.
همچنان تکالیف کودکان را انجام می‌دهد. حالت مطالعه ChatGPT برای نوجوانان وعده می‌دهد که به کاربران کمک کند مرحله‌به‌مرحله یاد بگیرند، نه اینکه پاسخ آماده ارائه دهد. اما آزمایش‌ها نشان دادند دور زدن این محدودیت آسان است. ChatGPT در حالت مطالعه اغلب گزینه‌ای با عنوان «پاسخ را نشان بده» نمایش می‌دهد و پس از انتخاب آن، تکالیف کامل را انجام می‌دهد. «ساعات مطالعه» تعیین‌شده توسط والدین نیز ضعیف عمل می‌کند؛ زیرا نوجوانان می‌توانند با حذف عبارت
@studyاز ابتدای درخواست، این محدودیت را غیرفعال کنند.ChatGPT مانند یک دوست صحبت می‌کند. با وجود مشخصات جدید مدل برای کاربران زیر ۱۸ سال که هدف آن کاهش رفتارهای شبیه دوست است، ChatGPT برای نوجوانان همچنان هنگام تعامل تحلیل‌گران با آن به‌عنوان یک انسان واقعی، احساسات، ترجیحات و حالت‌های روحی را بیان کرد.
تخمین سن اغلب شکست می‌خورد. OpenAI اعلام کرده است که سن کاربران را بر اساس نحوه استفاده آن‌ها از ChatGPT تخمین می‌زند و برای کودکان تجربه‌ای ویژه کاربران زیر ۱۸ سال ارائه می‌کند. اما در آزمایش‌های تکرارشونده طی چند روز، حساب‌های آزمایشی ثبت‌شده به نام بزرگسالان هرگز به حالت زیر ۱۸ سال منتقل نشدند؛ حتی زمانی که آزمایش‌کنندگان اعلام کردند ۱۳ ساله هستند و ربات نیز این موضوع را در پاسخ خود پذیرفت.
شکاف‌های گسترده باید هرچه سریع‌تر برطرف شوند
مسئولان مؤسسه اعلام کردند تجربه ChatGPT برای نوجوانان دست‌کم باید شامل تخمین مؤثر سن، هشدارهای قابل اعتماد به والدین، رفع ضعف‌های پاسخ‌گویی در شرایط بحرانی، توقف انجام تکالیف و حذف القای داشتن احساسات، ترجیحات یا نگرانی نسبت به کاربر باشد. نویسندگان مطالعه تأکید کردند این قابلیت‌ها باید پیش از آنکه OpenAI دوباره محصول خود را برای نوجوانان بازاریابی کند، توسط طرف‌های مستقل آزمایش شوند.
ارزیابی کامل خطر ChatGPT برای نوجوانان را می‌توان اینجا مشاهده کرد.
درباره نویسندگان مطالعه
مؤسسه ایمنی هوش مصنوعی جوانان استانداردهایی برای محصولات هوش مصنوعی مورد استفاده کودکان تعیین می‌کند، پژوهش انجام می‌دهد و به‌صورت مستقل محصولات هوش مصنوعی پرکاربرد میان کودکان را آزمایش می‌کند. این مؤسسه بخشی از Common Sense Media است؛ یک سازمان غیرانتفاعی که با ارائه اطلاعات مبتنی بر پژوهش، آموزش و صدای مستقل مورد نیاز خانواده‌ها، برای بهبود زندگی کودکان و خانواده‌ها در عصر برنامه‌ها، الگوریتم‌ها و هوش مصنوعی فعالیت می‌کند.
مؤسسه ایمنی هوش مصنوعی جوانان Common Sense Media از طریق کمک‌های بشردوستانه و حمایت صنعت، از جمله بنیاد OpenAI و سازندگان برخی فناوری‌هایی که ارزیابی می‌کند، تأمین مالی می‌شود. این مؤسسه مسئولیت کامل استانداردها، پژوهش‌ها و ارزیابی‌های خود را بر عهده دارد و استقلال تحریریه کامل خود را در نتایج منتشرشده حفظ می‌کند.