پژوهش: چت‌جی‌پی‌تی تنها در ۵ درصد از گفت‌وگوهای شبیه‌سازی‌شده پرخطر با نوجوانان، والدین را مطلع کرد
در پژوهشی که به‌صورت پیش‌چاپ منتشر شده است، محققان ۳۰۰ گفت‌وگوی شبیه‌سازی‌شده با چت‌جی‌پی‌تی را بررسی کردند که در آن‌ها نوجوانان درباره نگرانی‌های جدی مرتبط با ایمنی، از جمله خودآزاری، سوءاستفاده جنسی و خشونت، صحبت می‌کردند. در این آزمایش‌ها، حساب کاربری مرتبط با والدین تنها در ۱۵ مورد و ظرف ۳۰ دقیقه پس از گفت‌وگو هشدار دریافت کرد.
سیزده مورد از این هشدارها در تکرارهای مختلف یک سناریوی واحد ثبت شد: نوجوانی که می‌پرسید چگونه افکار خودکشی‌اش را با والدین خود در میان بگذارد. پس از گفت‌وگوهای آزمایش‌شده درباره سوءاستفاده جنسی، آسیب رساندن به دیگران یا دسترسی به سلاح، هیچ هشداری ارسال نشد.
این یافته‌ها حاصل پژوهش پیش‌چاپی است که رایان مک‌بین از مؤسسه رند (RAND) سرپرستی آن را بر عهده داشته و پژوهشگرانی از جمله متخصصان دانشکده پزشکی هاروارد، دانشگاه براون و مؤسسه فناوری ماساچوست (MIT) نیز در آن مشارکت داشته‌اند. این مطالعه هنوز داوری همتا را پشت سر نگذاشته است.
پژوهشگران میان پاسخ چت‌جی‌پی‌تی به نوجوان و اطلاعاتی که به والدین او ارسال می‌کند، تفاوت قائل می‌شوند. راهنمایی‌های مرتبط با ایمنی در بسیاری از گفت‌وگوها ارائه شد، حتی در مواردی که هیچ هشداری برای والدین ارسال نشد. از آنجا که هشدارها قرار است تنها در شرایط مشخص فعال شوند، نویسندگان تأکید می‌کنند که ارسال نشدن هشدار به‌خودی‌خود به معنای شکست سامانه ایمنی نیست.
برای خانواده‌ها، پرسش بی‌پاسخ این است که این هشدارها تا چه اندازه قابل‌اعتمادند و آیا موقعیت‌هایی را که والدین انتظار دارند شناسایی می‌کنند یا نه.
مک‌بین در لینکدین نوشت: «اما خانواده‌ها باید به‌روشنی بدانند این هشدارها قرار است چه موقعیت‌هایی را شناسایی کنند، با چه میزان اطمینانی فعال می‌شوند و چه محدودیت‌هایی دارند.»
نشانه‌های خطر مشابه، واکنش‌های متفاوت
تیم پژوهشی، وب‌سایت عمومی چت‌جی‌پی‌تی را از ۲۲ ژوئیه تا ۱۸ اوت ۲۰۲۶ بررسی کرد. محققان ۱۵ حساب کاربری شبیه‌سازی‌شده برای نوجوانان ساختند که هرکدام به یک حساب والدین متصل بود. همچنین برای مقایسه، ۱۵ حساب کاربری بزرگسالان ایجاد کردند که به حساب والدینی متصل نبودند.
برای تمام حساب‌ها، ۲۰ متن سناریوی یکسان به کار رفت و در مجموع ۶۰۰ گفت‌وگو شکل گرفت. هر سناریو شامل ۱۰ پیام بود؛ گفت‌وگو با پیام‌هایی برای ایجاد زمینه آغاز می‌شد، سپس موضوعی مرتبط با ایمنی مطرح می‌شد و در پیام‌های بعدی شدت آن افزایش می‌یافت.
سه روان‌پزشک کودک، پیام‌های آغازین سناریوها را ارزیابی کردند. سناریوهای انتخاب‌شده به‌طور کلی در میانه طیف ارزیابی، در دسته خطر زیاد یا بسیار زیاد قرار می‌گرفتند و هفت حوزه را پوشش می‌دادند: خودآزاری، آسیب به دیگران، سوءاستفاده جنسی، رفتارهای جنسی ناایمن، مصرف مواد، دسترسی به سلاح و چالش‌های خطرناک.
در حساب‌های شبیه‌سازی‌شده نوجوانان، سن کاربر بین ۱۵ تا ۱۷ سال تعیین شده بود و گزینه «کاهش محتوای حساس» فعال بود. سپس محققان صندوق ورودی حساب‌های والدین مرتبط را تا ۳۰ دقیقه پس از پایان هر گفت‌وگو زیر نظر گرفتند.
چهارده هشدار پس از گفت‌وگوهای مربوط به خودآزاری و یک هشدار پس از سناریویی درباره یک چالش خطرناک ارسال شد. در سناریویی که نوجوان می‌خواست افکار خودکشی خود را با والدینش در میان بگذارد، در ۱۳ مورد از ۱۵ بار تکرار هشدار صادر شد. این سناریو تقریباً تمام هشدارهای ثبت‌شده در بررسی را به خود اختصاص داد.
نویسندگان احتمال می‌دهند که نحوه بیان پیام، نیت استنباط‌شده از آن یا دیگر ویژگی‌های زمینه‌ای بر فعال شدن هشدارها اثر بگذارد. دسته‌بندی‌های کلی خطر و ارزیابی‌های متخصصان بالینی نیز نتوانستند به‌طور پیوسته گفت‌وگوهایی را که به ارسال هشدار منجر می‌شدند، از گفت‌وگوهای بدون هشدار متمایز کنند.
رد درخواست به معنای ارسال هشدار به والدین نیست
چت‌جی‌پی‌تی در ۷۶٫۷ درصد از گفت‌وگوهای حساب‌های نوجوانان متصل به والدین، صراحتاً از انجام درخواست خودداری کرد. این رقم در گفت‌وگوهای حساب‌های بزرگسالان ۷۲ درصد بود. اختلاف ۴٫۷ واحد درصدی میان این دو گروه از نظر آماری معنادار بود.
نتایج مقایسه‌های دیگر به همان اندازه روشن نبود. مسدود شدن پیام‌ها در ۸ درصد از گفت‌وگوهای نوجوانان و ۳٫۷ درصد از گفت‌وگوهای بزرگسالان رخ داد، اما این اختلاف از نظر آماری معنادار نبود.
هدایت کاربر به مسیرهای ایمن‌تر، از جمله تشویق او به دریافت کمک از انسان‌ها، در ۸۳٫۷ درصد از گفت‌وگوهای نوجوانان و ۸۰٫۷ درصد از گفت‌وگوهای بزرگسالان مشاهده شد. ارجاع به منابع کمک در شرایط بحرانی نیز به‌ترتیب در ۶۶ درصد و ۶۸٫۷ درصد از گفت‌وگوها صورت گرفت. هیچ‌یک از این دو اختلاف از نظر آماری معنادار نبود.
این نتایج ثابت نمی‌کنند که دو نوع حساب عملکرد یکسانی داشته‌اند. بلکه نشان می‌دهند چرا پژوهشگران هر سازوکار حفاظتی را جداگانه ارزیابی کردند: رد یک درخواست، ارائه حمایت و مطلع کردن والدین سه اقدام متفاوت‌اند.
نویسندگان، هشدارهای والدین را بخشی گزینشی از یک سامانه ایمنی گسترده‌تر توصیف می‌کنند، نه سازوکاری برای نظارت جامع بر تمام گفت‌وگوهای نگران‌کننده.
این آزمایش چه چیزهایی را مشخص نمی‌کند؟
در این بررسی از حساب‌هایی استفاده شد که برای اهداف پژوهشی کنترل شده بودند، نه حساب‌هایی که نوجوانان در آن‌ها تجربه‌های واقعی خود را شرح می‌دادند. پیام‌های پیگیری از پیش تعیین شده بودند و بر اساس پاسخ‌های چت‌جی‌پی‌تی تغییر نمی‌کردند؛ بنابراین، این گفت‌وگوها نمی‌توانستند تمام تنوع مکالمات طبیعی را بازسازی کنند.
همچنین حساب‌های نوجوانان متصل به والدین با حساب‌های بزرگسالان فاقد این اتصال مقایسه شدند. در نتیجه، مطالعه نمی‌تواند اثر اتصال حساب والدین را از اثر محافظت‌های مرتبط با تنظیم سن حساب کاربری تفکیک کند.
تمام حساب‌ها از نسخه رایگان سرویس، مسیریابی خودکار مدل و رابط وب انگلیسی‌زبان استفاده می‌کردند. بنابراین، نتایج به پیکربندی مشخص و دوره زمانی آزمایش مربوط است و لزوماً عملکرد همه نسخه‌های چت‌جی‌پی‌تی یا عملکرد آن در دوره‌های بعدی را نشان نمی‌دهد.
پژوهشگران از توسعه‌دهندگان می‌خواهند به‌روشنی توضیح دهند چه موقعیت‌هایی موجب ارسال هشدار می‌شوند و این سازوکار چگونه نشانه‌های غیرمستقیم خطر یا نشانه‌هایی را که به‌تدریج آشکار می‌شوند، تشخیص می‌دهد. آن‌ها همچنین توصیه می‌کنند پس از به‌روزرسانی محصولات، آزمایش‌های مستقل به‌طور مکرر انجام شوند.
این مقاله در ۸ اکتبر به مجله پژوهش اینترنت پزشکی (Journal of Medical Internet Research) ارسال شده است. داده‌های اصلی و کدهای تحلیل پژوهش نیز با درخواست معقول از نویسنده مسئول در دسترس قرار می‌گیرند.