آزمون Full Fact روی ۵ چت‌بات هوش مصنوعی؛ ثبت ۷٬۶۲۵ پاسخ در سال ۲۰۲۶

یک آزمون ۷۰روزه روی پنج چت‌بات بزرگ هوش مصنوعی نشان داده است که مدل‌های OpenAI، Anthropic، Google، DeepSeek و xAI به‌طور مکرر پاسخ‌هایی قدیمی، کم‌اعتبار از نظر منابع یا کاملاً نادرست ارائه می‌کنند؛ آن هم اغلب با همان لحن مطمئنی که هنگام ارائه پاسخ درست دارند. این مطالعه را خیریه راستی‌آزمایی بریتانیایی Full Fact منتشر کرده و The Independent نیز آن را گزارش کرده است. پژوهشگران ChatGPT، Claude، Gemini، DeepSeek و Grok را به مدت ۱۰ هفته، هر روز با ۲۲ پرسش یکسان آزمایش کردند و در مجموع بیش از ۷٬۶۰۰ پاسخ برای بررسی در اختیار داشتند.

این یافته‌ها در مقطعی نامناسب برای صنعت هوش مصنوعی منتشر شده‌اند؛ صنعتی که در سال ۲۰۲۶ چت‌بات‌ها و عامل‌های هوش مصنوعی را به‌عنوان دستیاران قابل‌اعتماد برای تحقیق، نمایندگان خدمات مشتری و حتی لایه‌های راستی‌آزمایی برای نرم‌افزارهای دیگر معرفی کرده است. پژوهشگران Full Fact یک نرخ خطای واحد و قابل‌استناد برای همه مدل‌ها ارائه نکردند، اما الگویی روشن به دست آمد: مدل‌ها اعدادی را نقل می‌کردند که ماه‌ها قبل منقضی شده بودند، نام مقام ارشد دولت را اشتباه می‌گفتند و به پرسش‌های مبهم طوری پاسخ می‌دادند که گویی فقط یک برداشت ممکن از آن‌ها وجود دارد؛ همه این موارد نیز با لحنی یکنواخت و مقتدرانه بیان می‌شد.

Full Fact دقیقاً چه چیزی را آزمایش کرد؟

Full Fact نه یک آزمایشگاه دانشگاهی است و نه یک مجموعه مستقر در سیلیکون‌ولی برای آزمون‌های امنیتی تهاجمی. این سازمان خیریه‌ای مستقر در لندن است که بیشتر به‌خاطر راستی‌آزمایی و رد ادعاهای سیاسی در دوره‌های انتخابات بریتانیا شناخته می‌شود. پژوهشگران برای این پروژه یک روند قابل‌تکرار طراحی کردند: ۲۲ پرسش یکسان را هر روز به همان پنج چت‌بات ارسال کردند؛ این کار به مدت ۷۰ روز و از اواسط ژوئیه ۲۰۲۶ آغاز شد. اهمیت این روش در آن است که یک آزمون یک‌باره دقت ممکن است تحت تأثیر یک روز خوب یا بد قرار بگیرد، اما تکرار روزانه پرسش‌های یکسان در طول ۱۰ هفته نشان می‌دهد خطاهای یک مدل صرفاً تصادفی‌اند یا به عادتی تکرارشونده تبدیل شده‌اند.

پرسش‌ها رویدادهای جاری، آمار مربوط به سیاست‌های دولت بریتانیا و ادعاهای واقعیِ وابسته به زمان را پوشش می‌دادند؛ یعنی همان نوع پرسش‌هایی که ممکن است یک روزنامه‌نگار، دانشجو یا ربات خدمات مشتری در دنیای واقعی با آن‌ها مواجه شود. تیم Full Fact سپس از هر پاسخ چیزی را که «واقعیت‌های اتمی» می‌نامد استخراج کرد و پاسخ‌های طولانی چت‌بات‌ها را به ادعاهای مستقلی تقسیم کرد که هرکدام به‌طور جداگانه قابل بررسی بودند. سپس هر ادعا از نظر دقت، سازگاری و به‌روز بودن ارزیابی شد. این فرایند از مجموع ۷٬۶۲۵ پاسخ، ۷۴٬۵۳۸ واقعیت مجزا و قابل‌بررسی استخراج کرد.

یکی از اعداد گزارش تاکنون در فضای آنلاین باعث سردرگمی شده است: Full Fact اعلام کرده ۹۷٫۸ درصد از تصمیم‌های خودِ این سازمان در زمینه استخراج اطلاعات درست بوده‌اند. این رقم نشان می‌دهد تیم Full Fact با چه دقتی پاسخ‌های چت‌بات‌ها را کدگذاری و دسته‌بندی کرده است، نه اینکه چت‌بات‌ها چند درصد از اوقات درست پاسخ داده‌اند. یکی دانستن این دو موضوع، مشکل مستندسازی‌شده در گزارش را کوچک‌تر از واقعیت نشان می‌دهد. یافته‌های منتشرشده Full Fact به یک درصد دقیق و واحد برای دقت چت‌بات‌ها خلاصه نمی‌شوند و خود سازمان نیز صراحتاً تأکید کرده است که هیچ عدد واحدی نمی‌تواند همه خطاهای مشاهده‌شده را توصیف کند.

خطاهای مشخصی که آشکار شدند

گزارش Full Fact بیش از آنکه یک جدول رتبه‌بندی باشد، فهرستی از الگوهای شکست است و در چند مورد نیز مدل مشخصی را نام می‌برد. DeepSeek در ۱۵ سپتامبر ۲۰۲۶ اعلام کرد که کی‌یر استارمر همچنان نخست‌وزیر بریتانیا است؛ در حالی که اندی برنهام در ماه ژوئیه این سمت را بر عهده گرفته بود. این یک ظرافت در تفسیر واقعیت نیست، بلکه خطایی آشکار است که اگر یک دستیار انسانی دو بار مرتکب آن شود، احتمالاً شغل خود را از دست می‌دهد.

Gemini نیز خطای دیگری داشت: این مدل در ۴ اوت ۲۰۲۶، برای تاریخ مورد پرسش، رقم نادرست ۱۲٬۲۱۰ مهاجر ورودی را ارائه کرد. چند مدل، از جمله Gemini و Claude، همچنین رقم قدیمی ۸٫۸۶ پوند برای کمک‌هزینه هفتگی پناهجویان را تکرار کردند؛ در حالی که این رقم در ژوئن ۲۰۲۵ به ۹٫۹۵ پوند افزایش یافته بود. با گذشت بیش از یک سال از تغییر این نرخ، چت‌بات‌ها همچنان رقم قدیمی را به‌عنوان یک واقعیت جاری نقل می‌کردند.

Full Fact مشکلات تکرارشونده را در چهار دسته قرار داد: ارائه اطلاعات قدیمی به‌عنوان اطلاعات جاری، ناتوانی در درنظرگرفتن تفاوت‌های منطقه‌ای در داخل بریتانیا، محاسبات نادرست یا بدون پشتوانه و پاسخ‌های بیش‌ازحد مطمئن به پرسش‌هایی که در واقع بیش از یک تفسیر منطقی دارند. هیچ‌کدام از این موارد هذیان‌گویی‌های عجیب درباره واقعیت‌های ساختگی نیستند؛ بلکه خطاهای عادی و قابل‌پیش‌بینی سیستمی هستند که به‌طور قابل‌اعتماد تشخیص نمی‌دهد داده‌های آموزشی‌اش قدیمی شده‌اند.

اعتمادبه‌نفس بدون دقت؛ هشدار اصلی

پراستنادترین بخش این پژوهش درباره یک خطای خاص نیست، بلکه به لحن پاسخ‌ها مربوط می‌شود. کریس موریس، مدیرعامل Full Fact، به خبرنگاران گفت چت‌بات‌ها چه زمانی که پاسخشان درست است و چه زمانی که پاسخ قدیمی است یا درباره رویدادی است که هنوز اتفاق نیفتاده، آن را با همان لحن مطمئن ارائه می‌کنند؛ موضوعی که The Independent نیز به آن پرداخته است. موریس گفت: «یافته‌های ما نشان می‌دهد پاسخ، چه درست باشد، چه قدیمی شده باشد و چه چیزی را توصیف کند که هنوز رخ نداده است، با همان لحن مطمئن ارائه می‌شود.»

گزارش خود Full Fact نیز همین نکته را به شکلی صریح‌تر در صفحه گزارش بنچمارک این سازمان بیان می‌کند: «وجه مشترک این است که اعتمادبه‌نفس یک مدل راهنمایی برای سنجش قابل‌اعتماد بودن آن نیست.» این شاید مهم‌ترین جمله‌ای باشد که باید به آن توجه کرد. کاربران یاد گرفته‌اند عباراتی مانند «مطمئن نیستم» یا «ممکن است این اطلاعات قدیمی باشد» را نشانه‌ای برای بررسی دوباره بدانند. اما چت‌بات‌ها به‌ندرت چنین احتیاطی نشان می‌دهند. آن‌ها ممکن است درباره وزیر دولت با همان آهنگی پاسخ دهند که برای توضیح چرخه آب استفاده می‌کنند و در نتیجه هیچ نشانه درونی و مشخصی به کاربر نمی‌دهند که چه زمانی باید نسبت به پاسخ شک کند.

این خطر صرفاً یک فرضیه نظری جدید نیست. Shattered.io پیش‌تر گزارش کرده است که یک توصیه ساختگی منتسب به Claude درباره یک پرونده قتل، ۷۲ روز بدون علامت هشدار باقی ماند تا سرانجام خطای آن شناسایی شد. این سایت همچنین نوشته است که مدل Argon از Gemini گوگل در حال ساختن ایمیل‌های جعلی شناسایی شد، در حالی که در یک بنچمارک جداگانه برای عامل‌های هوش مصنوعی همچنان رتبه سوم را داشت. الگویی که Full Fact مستند کرده، یعنی ارائه‌ای صیقل‌خورده و مطمئن فارغ از میزان دقت محتوای زیربنایی، همان سازوکاری است که پشت هر دو رخداد قرار دارد.

مدل‌به‌مدل؛ آنچه می‌دانیم و آنچه نمی‌دانیم

اینجاست که مطالعه برای کسانی که به دنبال یک جدول لیگ هستند، ناامیدکننده می‌شود. منابع عمومی Full Fact برای هر پنج چت‌بات، درصد کامل و قابل‌مقایسه‌ای از نرخ خطا ارائه نمی‌کنند و هیچ‌یک از رسانه‌هایی که این پژوهش را پوشش داده‌اند، از جمله رسانه فناوری اوکراینی dev.ua و سایت فناوری یونانی Techblog.gr، چنین جدولی منتشر نکرده‌اند. آنچه در دسترس است، مجموعه‌ای از نمونه‌های مشخص، تاریخ‌دار و مرتبط با مدل‌های خاص است.

نبودن خطای مشخص و نام‌برده‌شده برای ChatGPT و Grok در گزارش‌های موجود به این معنا نیست که این دو مدل بدون نقص عمل کرده‌اند. به احتمال زیاد، خبرنگاران و بخش‌های در دسترس از گزارش، نمونه‌های برجسته‌تر را انتخاب کرده‌اند و همه خطاهای هر مدل را فهرست نکرده‌اند. بنابراین جدول بالا باید صرفاً به‌عنوان فهرستی از مواردی که به‌صورت عمومی مستند شده‌اند در نظر گرفته شود، نه حکمی مبنی بر اینکه دو مدل از پنج مدل بدون خطا بوده‌اند.

چرا این مطالعه با انتقادهای قبلی از چت‌بات‌ها متفاوت است؟

تا اواخر سال ۲۰۲۶، شکایت درباره هذیان‌گویی چت‌بات‌ها دیگر خبر تازه‌ای نیست. چیزی که رویکرد Full Fact را متمایز می‌کند، روش‌شناسی آن است: مجموعه‌ای ثابت از پرسش‌ها که به مدت ۱۰ هفته، هر روز و به‌طور هم‌زمان از پنج مدل رقیب پرسیده شد. بیشتر نقدهای آنلاین درباره دقت چت‌بات‌ها بر اساس تصاویر پراکنده و آزمون‌های یک‌باره شکل گرفته‌اند. Full Fact در عوض روشی شبیه یک مطالعه طولی و منظم طراحی کرد و همین امر باعث می‌شود نبود یک درصد واحد و ساده، به‌جای اینکه اعتبار پژوهش را کاهش دهد، آن را معتبرتر جلوه دهد. شکست چت‌بات‌ها در دنیای واقعی پیچیده و وابسته به زمینه است و مطالعه‌ای که بخواهد همه آن را در یک عدد خلاصه کند، احتمالاً از سوی دیگر بیش‌ازحد ساده‌سازی خواهد کرد.

این مطالعه همچنین در کنار مجموعه گسترده‌تری از گزارش‌های سال ۲۰۲۶ درباره شکاف‌های موجود در قابلیت اعتماد هوش مصنوعی منتشر شده است. مؤسسه امنیت هوش مصنوعی بریتانیا اخیراً بیش از ۵۵ مدل هوش مصنوعی را آزمایش و خطرهای مرتبط با نفوذ را در سراسر این مجموعه شناسایی کرده است. در گزارشی جداگانه نیز مشخص شد طرح‌های واترمارک‌گذاری هوش مصنوعی در واقع حفاظ‌های ایمنی را در ۶ مدل از ۷ مدل آزمایش‌شده تضعیف کرده‌اند. پژوهش Full Fact سومین داده در این الگو را اضافه می‌کند: آزمایش‌کنندگان مستقل همچنان شکاف‌هایی میان توصیف شرکت‌های سازنده از قابلیت اعتماد مدل‌هایشان و نتایج آزمایش‌های تکرارشونده و ساختاریافته پیدا می‌کنند.

تأثیر بر بازار؛ چرا توسعه‌دهندگان و شرکت‌ها باید اهمیت بدهند؟

برای مهندسان نرم‌افزاری که روی این مدل‌ها محصول می‌سازند، یافته‌های Full Fact بیش از آنکه غافلگیرکننده باشد، تأییدی کمی‌سازی‌شده بر مشکلی است که معماری‌های تولید تقویت‌شده با بازیابی اطلاعات (RAG) و خطوط لوله اتصال به منابع معتبر از قبل برای رفع آن طراحی شده‌اند. اگر یک مدل شاخص بتواند رقم اشتباه مربوط به ورود مهاجران را اعلام کند یا چند هفته پس از یک تغییر شناخته‌شده، نام نخست‌وزیر مستقر را اشتباه بگوید، هر سامانه تولیدی که بدون لایه راستی‌آزمایی خروجی خام چت‌بات را مستقیماً به کاربران تحویل دهد، در معرض همین خطا قرار خواهد گرفت. این یافته استدلال مستقیمی به نفع معماری‌های RAG، واداشتن مدل به ارائه استناد و اتصال به داده‌های زنده است؛ نه اتکا به تاریخ قطع داده‌های آموزشی داخلی مدل برای اطلاعاتی که به‌سرعت تغییر می‌کنند.

بُعد دیگری نیز وجود دارد که فراتر از مهندسی است و به اعتماد مربوط می‌شود. OpenAI و Meta در بخش بزرگی از سال ۲۰۲۶ تلاش کرده‌اند عامل‌های هوش مصنوعی را وارد گردش‌کارهای مصرف‌کننده و سازمانی کنند؛ این در حالی است که نظرسنجی‌ها از شکاف اعتماد ۸۵٫۵ درصدی میان توانایی عامل‌ها و میزان اعتمادی که کاربران برای عملکرد مستقل به آن‌ها دارند خبر می‌دهند. مطالعه‌ای که نشان می‌دهد چت‌بات‌های زیربنایی حتی نمی‌توانند دو ماه پس از تغییر نخست‌وزیر، این تغییر را به‌طور قابل‌اعتماد دنبال کنند، به کاهش این شکاف کمکی نمی‌کند. شرکت‌هایی که برای کاربردهای مرتبط با ارقام مقرراتی، قیمت‌گذاری یا آستانه‌های انطباقی به‌دنبال استقرار هوش مصنوعی هستند، اکنون مطالعه‌ای مشخص و قابل‌استناد در اختیار دارند که می‌توانند هنگام دفاع از ضرورت نقاط کنترل و بازبینی انسانی به آن استناد کنند.

زمان انتشار این یافته‌ها با موجی از فعالیت‌های جعل هویت و فیشینگ با سوءاستفاده از نام چت‌بات‌ها نیز هم‌زمان شده است. پژوهشگران امنیتی پیش‌تر درگاه‌های تبلیغاتی جعلی را مستند کرده‌اند که با جعل هویت ChatGPT، Gemini و Claude، کدهای احراز هویت چندمرحله‌ای کاربران را سرقت می‌کردند؛ کاربرانی که تصور می‌کنند هر چیزی که ظاهر و صدای یک چت‌بات بزرگ را داشته باشد، باید معتبر باشد. پژوهش Full Fact از زاویه‌ای متفاوت همان درس اساسی را تقویت می‌کند: صدای روان و مطمئن یک چت‌بات به‌خودی‌خود نشانه اعتبار نیست، چه محتوا از مدل واقعی آمده باشد و چه از نسخه جعلی یک کلاهبردار.

زمینه تاریخی؛ مشکلی تکرارشونده در صنعت

دقت واقعی چت‌بات‌ها از زمان عرضه نخستین مدل‌های زبانی بزرگ برای مصرف‌کنندگان در سال‌های ۲۰۲۲ و ۲۰۲۳ یکی از نقاط ضعف شناخته‌شده آن‌ها بوده است. شکایت‌های اولیه بیشتر بر هذیان‌گویی آشکار متمرکز بودند؛ یعنی مدل‌ها استنادها، رویه‌های قضایی یا رویدادهای تاریخی‌ای را می‌ساختند که هرگز وجود نداشتند. اما در سال ۲۰۲۵ و سپس ۲۰۲۶، هم‌زمان با رایج‌شدن ابزارهای بازیابی اطلاعات و افزونه‌های مرور وب، بحث به سمت نوع ظریف‌تری از خطا رفت: مدل‌هایی که می‌توانند به اطلاعات روز دسترسی داشته باشند اما همچنان به داده‌های آموزشی قدیمی متکی می‌مانند، یا به پرسش‌های مبهم طوری پاسخ می‌دهند که گویی تنها یک برداشت درست وجود دارد.

آزمون Full Fact دقیقاً همین مشکل نسل دوم را ثبت کرده است. هیچ‌یک از نمونه‌های مستندشده، از رقم قدیمی مزایا گرفته تا شمارش اشتباه مهاجران و نخست‌وزیر قدیمی، مربوط به ساختن یک واقعیت از هیچ نیستند. در هر مورد، سیستم نتوانسته اطلاعات منسوخ را به‌روز کند، عدم‌قطعیت را گوشزد کند یا تشخیص دهد که یک پرسش بیش از یک پاسخ معتبر دارد. از این منظر، این مشکل شاید حتی از هذیان‌گویی برای مهندسی و رفع دشوارتر باشد، زیرا مدل باید به جای صرفاً پرهیز از ساختن اطلاعات، درباره شکاف‌های دانشی خودش نیز استدلال کند.

مقایسه رقابتی؛ پنج چت‌بات چگونه با هم مقایسه می‌شوند؟

از آنجا که Full Fact یک کارنامه کامل و جداگانه برای هر مدل منتشر نکرده است، رتبه‌بندی واقعی و مستقیم این پنج چت‌بات تنها بر اساس اطلاعات عمومی ممکن نیست. آنچه می‌توان مقایسه کرد، جایگاه‌سازی گسترده‌تر هر شرکت در سال ۲۰۲۶ درباره ادعاهای مربوط به دقت و ایمنی است و اینکه این ادعاها در برابر یافته‌های واقعی مطالعه چگونه قرار می‌گیرند.

طنز موجود در این جدول قابل چشم‌پوشی نیست. Gemini و Grok هر دو دسترسی به داده‌های زنده را به‌عنوان یکی از نقاط فروش خود برجسته می‌کنند، اما Gemini همان مدلی است که در یافته‌های Full Fact یک آمار مشخص، تاریخ‌دار و نادرست از آن ثبت شده است. اتصال به جست‌وجوی زنده به‌طور خودکار به این معنا نیست که مدل داده‌ها را درست ترکیب و تفسیر می‌کند؛ یک چت‌بات متصل به وب نیز اگر منابع خود را نادرست بخواند، می‌تواند پاسخی با اطمینان کامل اما اشتباه ارائه دهد.

Full Fact چه توصیه‌ای برای توسعه‌دهندگان دارد؟

پیام کلی Full Fact برای توسعه‌دهندگان هوش مصنوعی، علاوه بر فهرست‌کردن خطاها، این است که برای اطلاعاتی که دائماً تغییر می‌کنند باید به‌جای تکیه بر داده‌های آموزشی ثابت مدل، از منابع زنده و معتبر راستی‌آزمایی شود. این توصیه از نظر مهندسی موضوع تازه‌ای نیست، اما مطالعه حاضر اهمیت آن را بیشتر می‌کند؛ زیرا نشان می‌دهد این شکاف میان پنج ارائه‌دهنده متفاوت، با پنج معماری متفاوت و پنج رویکرد ادعایی متفاوت به اتصال به منابع، همچنان وجود دارد.

برای تیم‌هایی که محصولاتی در مجاورت چت‌بات‌ها می‌سازند، نتیجه عملی این است که هر ادعای زمانی و واقعی، از نرخ یک مزایا گرفته تا نام وزیر دولت یا آماری وابسته به یک تاریخ مشخص، باید گزینه‌ای برای بازیابی اجباری اطلاعات از منبع داشته باشد، نه اینکه صرفاً از حافظه مدل استخراج شود. این توصیه درباره ChatGPT، Claude، Gemini، DeepSeek و Grok همگی صدق می‌کند، زیرا مطالعه کلاس‌های مشابهی از خطا را در این مجموعه پیدا کرد و مشکل را به یک ارائه‌دهنده خاص محدود نکرد.

پیش‌بینی‌ها؛ از اینجا به بعد چه اتفاقی می‌افتد؟

• انتظار می‌رود دست‌کم یکی از پنج شرکتی که در این مطالعه نام برده شده‌اند تا اوایل نوامبر ۲۰۲۶ به‌صورت عمومی داده‌های بنچمارک دقت خود را منتشر کند؛ زیرا سکوت درباره یک خطای مشخص و تاریخ‌دار، مانند اشتباه DeepSeek درباره نخست‌وزیر، معمولاً پرسش‌های بعدی خبرنگاران را به دنبال دارد.
• احتمالاً Full Fact گزارش دوم این مجموعه را منتشر خواهد کرد؛ نام‌گذاری «گزارش یک» در صفحه بنچمارک آن‌ها نشان می‌دهد که این گزارش نخستین بخش از یک مجموعه است و احتمال دارد در ادامه مجموعه پرسش‌ها گسترش یابد یا مقایسه مستقیم مدل‌ها ارائه شود؛ مقایسه‌ای که در گزارش نخست از آن اجتناب شده است.
• تیم‌های تدارکات و خرید هوش مصنوعی در شرکت‌ها به‌طور فزاینده‌ای درخواست مستندات درباره تضمین‌های اتصال به منابع و به‌روز بودن داده‌ها را به‌عنوان یکی از شروط قرارداد مطرح خواهند کرد؛ مسیری مشابه آنچه پرسش‌نامه‌های امنیتی یک دهه پیش طی کردند.
• توجه نهادهای قانون‌گذار به اطلاعات نادرست تولیدشده توسط هوش مصنوعی، که هم‌اکنون در بریتانیا و اتحادیه اروپا در حال افزایش است، احتمالاً به مطالعاتی مانند این استناد خواهد کرد تا نشان دهد خوداظهاری داوطلبانه درباره دقت کافی نیست و ضرورت آزمون‌های مستقل توسط طرف ثالث را تقویت کند.
• احتمالاً سازمان‌های بیشتری در حوزه راستی‌آزمایی و نظارت در خارج از بریتانیا روش پرسش روزانه Full Fact را در کشورهای خود تکرار خواهند کرد، زیرا اجرای آن نسبتاً کم‌هزینه است و می‌تواند نتایج تازه و مستمری تولید کند.

تصویر بزرگ‌تر از اعتماد به هوش مصنوعی

هیچ‌یک از این موارد به این معنا نیست که چت‌بات‌ها برای پاسخ‌گویی به پرسش‌های واقعی بی‌فایده‌اند. چارچوب خود Full Fact نیز از چنین نتیجه‌ای فاصله دارد و چهار دسته خطایی که شناسایی کرده، یعنی قدیمی‌بودن اطلاعات، نادیده‌گرفتن تفاوت‌های منطقه‌ای، خطاهای محاسباتی و پاسخ‌های بیش‌ازحد مطمئن به پرسش‌های مبهم، همگی مشکلاتی هستند که می‌توان با مهندسی برای آن‌ها راه‌حل پیدا کرد، نه محدودیت‌هایی بنیادین برای خود فناوری. با این حال، مطالعه حاضر در برابر یک سال تبلیغ شرکت‌های هوش مصنوعی درباره قابل‌اعتمادتر شدن چت‌بات‌های عمومی، یک اصلاح‌کننده مهم است. مدلی که حتی دو ماه پس از تغییر رهبری یک کشور نمی‌تواند این تغییر را دنبال کند و در عین حال با اطمینان کامل پاسخ می‌دهد، هنوز برای تبدیل‌شدن به منبع حقیقتِ بدون نظارت مناسب نیست.

نتیجه اصلی این است: اعتمادبه‌نفس و درستی دو چیز متفاوت‌اند و در حال حاضر، پنج چت‌بات بزرگ صنعت در القای مورد نخست بهتر از تضمین مورد دوم عمل می‌کنند.

پرسش‌های متداول

مطالعه Full Fact درباره چت‌بات‌های هوش مصنوعی چیست؟
این پروژه پژوهشی را خیریه راستی‌آزمایی بریتانیایی Full Fact انجام داده است. در این مطالعه، ChatGPT، Claude، Gemini، DeepSeek و Grok با طرح ۲۲ پرسش یکسان در هر روز و به مدت ۷۰ روز، از اواسط ژوئیه ۲۰۲۶، آزمایش شدند و بیش از ۷٬۶۰۰ پاسخ تولید شد.

آیا Full Fact یک درصد کلی برای دقت چت‌بات‌ها منتشر کرد؟
خیر. Full Fact اعلام کرد ۹۷٫۸ درصد از تصمیم‌های خودِ این سازمان در استخراج واقعیت‌ها درست بوده است، اما این رقم دقت تیم پژوهشی در کدگذاری پاسخ‌ها را اندازه می‌گیرد، نه تعداد دفعاتی را که چت‌بات‌ها درست پاسخ داده‌اند. هیچ نرخ خطای کلی برای چت‌بات‌ها منتشر نشد.

کدام چت‌بات در مطالعه بدترین عملکرد را داشت؟
گزارش عمومی موجود پنج مدل را در برابر یکدیگر رتبه‌بندی نمی‌کند. در این گزارش مشخصاً آمده است که DeepSeek چند هفته پس از روی کار آمدن اندی برنهام، به اشتباه کی‌یر استارمر را همچنان نخست‌وزیر دانسته است. همچنین Gemini و Claude به‌دلیل تکرار رقم قدیمی کمک‌هزینه هفتگی پناهجویان نام برده شده‌اند.

Full Fact بیشتر چه نوع خطاهایی پیدا کرد؟
چهار دسته خطای تکرارشونده شناسایی شد: ارائه اطلاعات قدیمی به‌عنوان اطلاعات جاری، ناتوانی در درنظرگرفتن تفاوت‌های منطقه‌ای در داخل بریتانیا، محاسبات نادرست یا بدون پشتوانه و پاسخ‌های بیش‌ازحد مطمئن به پرسش‌هایی که بیش از یک تفسیر منطقی دارند.

چرا «اعتمادبه‌نفس» چت‌بات وقتی پاسخ اشتباه است اهمیت دارد؟
کریس موریس، مدیرعامل Full Fact، گفت مدل‌ها صرف‌نظر از اینکه پاسخشان درست، قدیمی یا مربوط به رویدادی باشد که هنوز رخ نداده است، با همان لحن مطمئن پاسخ می‌دهند. در نبود یک نشانه داخلی برای بیان عدم‌قطعیت، کاربر علامت ساده‌ای ندارد که بفهمد باید پاسخ را دوباره بررسی کند.

آیا این مطالعه می‌گوید نباید از چت‌بات‌ها برای تحقیق واقعی استفاده کرد؟
نه لزوماً. معنای آن این است که اطلاعات حساس به زمان، مانند آمارهای دولتی، نرخ مزایا یا هر داده‌ای که به تاریخ مشخصی وابسته است، باید در برابر منابع زنده و معتبر بررسی شود و نباید صرفاً بر اساس داده‌های آموزشی چت‌بات پذیرفته شود.

این یافته‌ها چه تفاوتی با انتقادهای قبلی درباره هذیان‌گویی هوش مصنوعی دارند؟
انتقادهای اولیه بیشتر بر ساختن مستقیم واقعیت‌های جعلی توسط چت‌بات‌ها متمرکز بود. نمونه‌های Full Fact عمدتاً نشان می‌دهند مدل‌ها در به‌روزرسانی اطلاعات قدیمی یا تشخیص ابهام شکست می‌خورند؛ مشکلی ظریف‌تر و از برخی جهات دشوارتر از ساختن اطلاعات از هیچ است.

آیا Full Fact چت‌بات‌های بیشتری را آزمایش می‌کند یا گزارش‌های بعدی منتشر خواهد کرد؟
این گزارش در صفحه بنچمارک Full Fact «گزارش یک» نام‌گذاری شده است که نشان می‌دهد گزارش‌های بیشتری از این مجموعه در نظر گرفته شده‌اند، هرچند تاریخ مشخصی برای انتشار آن‌ها تأیید نشده است.