پیکربندی ChatGPT در ارزیابی متخصصان از توصیه‌های تصویربرداری دندان‌پزشکی بالاترین امتیاز را کسب کرد

در یک مطالعه کنترل‌شده که در آن از ابزارهای هوش مصنوعی در دسترس عموم خواسته شد به پرسش‌های بیماران درباره تصویربرداری دندان‌پزشکی و ایمنی پرتو پاسخ دهند، پیکربندی انتخاب‌شده ChatGPT بالاترین امتیازها را از نظر دقت، ارتباط با پرسش، ایمنی و میزان اطلاعات نادرست کسب کرد. این پژوهش که در نشریه Frontiers in Oral Health منتشر شده است، یک پاسخ از هر یک از سه پیکربندی پلتفرم را برای ۲۰ پرسش انگلیسی‌زبان بررسی کرد. در مجموع، ۶۰ پاسخ به‌طور مستقل از سوی سه متخصص رادیولوژی دهان و فک و صورت ارزیابی شدند. این نتایج به رابط‌های کاربری، سطوح دسترسی و پاسخ‌های مشخصی مربوط می‌شوند که در مطالعه آزمایش شدند و ثابت نمی‌کنند که یک مدل هوش مصنوعی زیربنایی در همه شرایط برتر از مدل‌های دیگر است.

پژوهشگران از یک دستور استاندارد استفاده کردند و از هر سامانه خواستند طوری پاسخ دهد که گویی مخاطب آن یک بیمار است؛ به این معنا که توضیحات باید روشن، ساده و متناسب با نیاز بیمار باشند. محصولات بررسی‌شده عبارت بودند از پیکربندی ChatGPT-5.5 با قابلیت «Thinking» فعال که پژوهشگران تنظیمات قابل مشاهده آن برای کاربر را ثبت کردند، نسخه رایگان Gemini 3 Flash و نسخه رایگان Microsoft Copilot 2026. داده‌ها در اواخر آوریل ۲۰۲۶ و با استفاده از یک دستگاه، مرورگر و محیط اینترنتی یکسان گردآوری شدند. برای هر پرسش، گفت‌وگوی جدیدی آغاز شد و سابقه چت، حافظه و زمینه گفت‌وگوهای قبلی غیرفعال بود. از هر پلتفرم برای هر پرسش دقیقاً یک پاسخ دریافت شد؛ هیچ پرسش تکمیلی مطرح نشد و هیچ پاسخی نیز دوباره تولید نشد. بنابراین، مطالعه خروجی‌های مشخص تولیدشده در آن دوره را سنجید، نه ثبات یا تکرارپذیری پاسخ‌ها را.

۲۰ پرسش نهایی از میان مجموعه اولیه‌ای شامل ۵۷ پرسش انتخاب شدند. این فرایند پس از بررسی هفت رادیولوژیست داوطلب در حوزه دهان و فک و صورت انجام گرفت؛ این متخصصان از نویسندگان مطالعه نبودند و بعداً نیز پاسخ‌های هوش مصنوعی را امتیازدهی نکردند. مجموعه نهایی موضوعاتی مانند میزان مواجهه با پرتو، دفعات و ضرورت تصویربرداری، خطرات پرتو، تصویربرداری کودکان، بارداری، توموگرافی رایانه‌ای با پرتو مخروطی، حفاظت در برابر پرتو، باورهای نادرست رایج و لزوم مراجعه به متخصص را دربر می‌گرفت. پژوهشگران همچنین از دستورالعمل‌های بین‌المللی ایمنی پرتو و منابع تخصصی استفاده کردند. از آنجا که طبقه‌بندی‌های اولیه هر پرسش به‌صورت جداگانه و محاسبات تفصیلی اعتبار محتوا حفظ نشده بودند، ابزار ارزیابی را بررسی‌شده از سوی متخصصان توصیف کردند، نه ابزاری که اعتبار آن به‌طور رسمی تأیید شده باشد.

هر پاسخ در هفت حوزه ارزیابی شد. دقت، ارتباط با پرسش، وضوح، کامل‌بودن، ایمنی و تناسب راهنمایی درباره اقدام بعدی، در مقیاس یک تا پنج امتیاز گرفتند؛ امتیاز بالاتر نشان‌دهنده عملکرد مطلوب‌تر بود. میزان اطلاعات نادرست در مقیاس صفر تا چهار سنجیده شد که در آن امتیاز کمتر به معنای اطلاعات نادرست کمتر بود. در ارزیابی دقت، بررسی می‌شد که آیا اطلاعات ارائه‌شده بر اساس چارچوب شواهد اختصاصی هر پرسش از نظر واقعیت درست هستند یا خیر؛ کامل‌بودن نیز به این موضوع مربوط بود که آیا اطلاعات ضروری از پاسخ حذف شده‌اند. ارزیابی ایمنی، پیامدهای احتمالی اتکا به پاسخ را در نظر می‌گرفت؛ از جمله اطمینان‌بخشی کاذب، ایجاد نگرانی غیرضروری، خودداری ناموجه از تصویربرداری ضروری یا به‌تعویق‌انداختن دریافت مراقبت تخصصی. وضوح پاسخ‌ها را رادیولوژیست‌ها ارزیابی کردند، نه بیماران؛ بنابراین، این معیار بیانگر برداشت متخصصان از قابل‌فهم‌بودن پاسخ‌ها بود و نه سنجش مستقیم میزان درک بیماران.

در تحلیل آماری، ۲۰ پرسش به‌عنوان واحدهای اصلی مقایسه زوجی در نظر گرفته شدند، زیرا سه ارزیابی از یک پاسخ ثابت با یکدیگر همبستگی داشتند و مشاهدات مستقل محسوب نمی‌شدند. آزمون فریدمن تفاوت میان پیکربندی‌ها را در هر شش حوزه‌ای که در تحلیل استنباطی بررسی شدند، مشخص کرد. سپس برای مقایسه‌های زوجی در سطح پرسش، از آزمون‌های دقیق علامت دوطرفه استفاده شد. پژوهشگران همچنین اثر سقف امتیازها، موارد تساوی و میزان توافق میان ارزیابان را بررسی کردند. نتایج نشان داد پیکربندی آزمایش‌شده ChatGPT از چند جهت عملکرد بهتری از دو گزینه دیگر داشت؛ بااین‌حال، در برخی حوزه‌ها امتیازها در محدوده بالای مقیاس فشرده شده بودند، پاسخ‌های متعددی امتیاز یکسان گرفته بودند و برآوردهای بسیار بزرگ اندازه اثر در بعضی مقایسه‌ها بر تعداد اندکی از پرسش‌های دارای امتیاز متفاوت متکی بود.

ChatGPT در هر ۲۰ پرسش بالاترین امتیاز دقت را کسب کرد، درحالی‌که Gemini و Copilot در ۱۹ پرسش امتیاز یکسانی داشتند. هر ۶۰ ارزیابی جداگانه پاسخ‌های ChatGPT در زمینه دقت، امتیاز کامل پنج گرفتند. در مقابل، پاسخ‌های Gemini در ۵۹ ارزیابی امتیاز چهار و در یک ارزیابی امتیاز سه دریافت کردند؛ تمام پاسخ‌های Copilot نیز امتیاز چهار گرفتند. الگوی مشابهی در ارزیابی ایمنی دیده شد: ChatGPT در هر ۶۰ ارزیابی امتیاز پنج گرفت، اما امتیازهای Gemini و Copilot ترکیبی از سه و چهار بود و این دو پلتفرم در هر ۲۰ پرسش امتیاز یکسانی داشتند. پس از تعدیل آماری، تفاوت امتیازهای ChatGPT با هر دو گزینه دیگر در سطح پرسش معنادار بود. بااین‌حال، اثر سقف امتیازها نشان می‌دهد که ابزار ارزیابی برای تمایزگذاری میان بهترین پاسخ‌ها ظرفیت محدودی داشت.

ChatGPT از نظر ارتباط پاسخ با پرسش، در ۱۸ مورد از Gemini و در ۱۹ مورد از Copilot امتیاز بهتری گرفت؛ تفاوت تعدیل‌شده در هر دو مقایسه معنادار بود. این سامانه از نظر وضوح در ۱۶ پرسش و از نظر کامل‌بودن در هر ۲۰ پرسش امتیاز بالاتری از Copilot دریافت کرد. Gemini نیز از نظر وضوح در ۱۰ پرسش و از نظر کامل‌بودن در ۱۹ پرسش عملکرد بهتری از Copilot داشت. بااین‌حال، تفاوت میان ChatGPT و Gemini در دو حوزه وضوح و کامل‌بودن از نظر آماری معنادار نبود. این دو سامانه در ۱۷ مورد از ۲۰ پرسش از نظر کامل‌بودن امتیاز یکسانی گرفتند. در ارزیابی وضوح، ۱۰ پرسش به نفع ChatGPT، هفت پرسش به نفع Gemini و سه پرسش با امتیاز برابر همراه بود. بنابراین، یافته‌های مطالعه از رتبه‌بندی قطعی پلتفرم‌ها در تمام ابعاد کیفیت پشتیبانی نمی‌کند.

نتایج مربوط به اطلاعات نادرست نیز الگوی مشابهی داشت. هر ۶۰ ارزیابی پاسخ‌های ChatGPT امتیاز صفر، یعنی مطلوب‌ترین مقدار در این مقیاس معکوس، دریافت کردند؛ درحالی‌که امتیازهای Gemini و Copilot ترکیبی از صفر، یک و دو بود. در تمام پرسش‌ها، ارزیابان میزان اطلاعات نادرست در پاسخ‌های ChatGPT را کمتر از دو گزینه دیگر تشخیص دادند، اما تفاوت Gemini و Copilot از نظر آماری معنادار نبود.

در یک بررسی تکمیلی پس از تحلیل اصلی که امتیازهای اولیه را تغییر نداد، مشخص شد در یکی از ۲۰ پاسخ ChatGPT، در ۱۲ پاسخ Gemini و در ۱۱ پاسخ Copilot توصیه‌هایی درباره پیش‌بند سربی یا محافظ تیروئید ارائه شده بود که قدیمی بودند یا بدون قید و شرط بیان شده بودند. این بررسی همچنین نشان داد که در شش پاسخ Gemini و یک پاسخ Copilot، ادعاهایی درباره محافظت کامل یا تقریباً کامل در برابر پرتو مطرح شده بود. چنین ادعاهایی با راهنمایی‌های روز انجمن دندان‌پزشکی آمریکا و آکادمی رادیولوژی دهان و فک و صورت آمریکا سازگار نیستند. این نهادها با استفاده معمول از محافظ‌های سربی در تصویربرداری دندان‌پزشکی، از جمله برای کودکان و زنان باردار، مخالفت کرده‌اند؛ البته الزامات قانونی محلی همچنان باید رعایت شوند.

چند محدودیت روش‌شناختی، دامنه تفسیر این یافته‌ها را به‌شدت محدود می‌کند. پلتفرم‌ها از نظر محاسباتی و شرایط استفاده معادل نبودند: ChatGPT با قابلیت استدلال فعال و دسترسی پولی به کار گرفته شد، اما Gemini و Copilot از طریق طرح‌های رایگان بررسی شدند. بنابراین، تفاوت‌ها ممکن است ناشی از سطح دسترسی، میزان تخصیص منابع استدلالی، رفتار رابط کاربری، قابلیت‌های بازیابی اطلاعات یا نحوه مسیردهی درخواست‌ها در سامانه‌های زیربناییِ اعلام‌نشده باشند، نه صرفاً تفاوت میان مدل‌ها. نام پلتفرم‌ها از ارزیابان پنهان شده بود، اما ممکن بود عنوان‌های باقی‌مانده و ویژگی‌های سبکی پاسخ‌ها، هویت سامانه را آشکار کنند؛ موفقیت این فرایند پنهان‌سازی نیز به‌طور رسمی سنجیده نشد. معیار امتیازدهی اختصاصی مطالعه به‌طور مستقل اعتبارسنجی نشده بود، دلایل مشخص مربوط به هر پاسخ برای توضیح ناسازگاری‌های امتیازدهی ثبت نشد و بررسی تکمیلی درباره محافظ‌های سربی نیز فرایندی کور برای داوری خطاها نبود.

تنها یک پرسش برای ارزیابی تناسب راهنمایی درباره اقدام بعدی مناسب بود: بیمار نگران در صورتی که دندان‌پزشک انجام رادیوگرافی را توصیه کند، چه باید بکند؟ هر سه پلتفرم در این پرسش امتیاز میانه چهار گرفتند. بااین‌حال، نتیجه مربوط به همین یک پرسش صرفاً توصیفی بود و نمی‌توان از آن برای مقایسه گسترده‌تر پلتفرم‌ها استفاده کرد.

مهم‌تر از همه، مطالعه دیدگاه رادیولوژیست‌ها درباره پاسخ‌های نوشتاری را بررسی کرد، نه آنچه در عمل برای بیماران رخ می‌دهد. در این پژوهش، میزان درک بیماران، اعتماد آنان، اضطراب، تمایل به پذیرش تصویربرداری، رفتار مراجعه برای دریافت مراقبت یا پیامدهای بالینی اندازه‌گیری نشد. همچنین بررسی نشد که آیا توصیه‌های ارائه‌شده تصمیم‌های بیماران را تغییر می‌دهند یا خیر. توافق بالای ارزیابان نیز باید با احتیاط تفسیر شود: ضرایب همبستگی درون‌طبقه‌ای برای یک اندازه‌گیری منفرد، در داده‌های تجمیع‌شده، از ۰٫۶۹۶ برای وضوح تا ۰٫۹۷۶ برای دقت متغیر بود؛ اما بخش زیادی از این توافق ناشی از تفاوت‌های بزرگ میان پیکربندی‌های پلتفرم‌ها بود، نه توانایی قابل اتکای ارزیابان در تمایزگذاری میان پاسخ‌های مختلف درون هر پلتفرم.

برای رسیدن به نتیجه‌گیری‌های محکم‌تر، به تولید چندباره پاسخ‌ها، مقایسه پیکربندی‌های هم‌ارز، اطمینان از اجرای درست فرایند پنهان‌سازی هویت پلتفرم‌ها، بررسی سناریوهای بالینی پیچیده‌تر، آزمایش مستقیم با بیماران و داوری رسمی خطاهای factual نیاز است. در حال حاضر، نتایج نشان می‌دهند که برخی سامانه‌های هوش مصنوعی در دسترس عموم می‌توانند اطلاعات مربوط به تصویربرداری دندان‌پزشکی را به شکلی ارائه کنند که از دید متخصصان قابل‌فهم به نظر برسد؛ اما هم‌زمان روشن می‌کنند که نباید پاسخ‌های منفرد این سامانه‌ها را یکسان، از نظر بالینی اعتبارسنجی‌شده یا جایگزینی برای توصیه متخصصان دانست.

موضوع پژوهش: ارزیابی مقایسه‌ای پاسخ‌های هوش مصنوعی به پرسش‌های بیماران درباره تصویربرداری دندان‌پزشکی و ایمنی پرتو از دید متخصصان.

عنوان مقاله: دقت و ایمنی پاسخ‌های سه پیکربندی پلتفرم هوش مصنوعی به پرسش‌های بیماران درباره تصویربرداری دندان‌پزشکی از دید متخصصان: یک ارزیابی مقایسه‌ای

مشخصات مقاله: Kapoor, D., Garg, D., Nirola, A., Sunil, M. K., Verma, P., & Tadakamadla, S. K. (2026). Expert-rated accuracy and safety of patient-facing dental radiology responses from three AI platform configurations: a comparative evaluation. Frontiers in Oral Health, 7، مقاله 1937905. https://doi.org/10.3389/froh.2026.1937905

اعتبار تصویر: تولیدشده با هوش مصنوعی

شناسه DOI: 10.3389/froh.2026.1937905

کلیدواژه‌ها: هوش مصنوعی، رادیولوژی دندان‌پزشکی، ایمنی پرتو، آموزش بیمار، مدل‌های زبانی بزرگ، ChatGPT، Gemini، Microsoft Copilot، اطلاعات نادرست، سلامت دهان، ارزیابی متخصصان، دقت