راهنمای سه‌مرحله‌ای برای ارزیابی و خرید راهکارهای هوش مصنوعی در رادیولوژی
مارتی استمپنی‌اک | ۱۵ اکتبر ۲۰۲۶ | رادیولوژی بیزینس | هوش مصنوعی
متخصصان تصویربرداری پزشکی راهنمایی سه‌مرحله‌ای برای ارزیابی راهکارهای مبتنی بر هوش مصنوعی در رادیولوژی ارائه کرده‌اند.
توسعه و عرضه تجاری مدل‌های هوش مصنوعی ویژه رادیولوژی در سال‌های اخیر رشدی انفجاری داشته است. در حالی که شرکت‌های عرضه‌کننده از نظر اقتصادی انگیزه دارند تا حد امکان محصولات بیشتری بفروشند، به گفته کارشناسان، مسئولیت انتخاب نرم‌افزاری با بهترین عملکرد تشخیصی و قابلیت ادغام مناسب در فرایندهای کاری بر عهده مراکز و گروه‌های تصویربرداری پزشکی است.
گریسون ال. بیرد، دارای مدرک دکتری، دانشیار و معاون پژوهشی گروه رادیولوژی دانشگاه براون، به همراه دیگر نویسندگان مقاله‌ای در نشریه Journal of Imaging Informatics in Medicine نوشته است: «در نتیجه، شرکت‌های عرضه‌کننده ممکن است برای اثبات عملکرد الگوریتم خود، تصویری بسیار قانع‌کننده ارائه دهند. این وظیفه رادیولوژیست‌ها و مراکز محل فعالیت آن‌هاست که شاخص‌های عملکردی تبلیغ‌شده را با نگاهی انتقادی بررسی کنند. این ارزیابی باید گزینه‌های موجود برای ادغام مؤثر الگوریتم در فرایندهای کاری را نیز در بر بگیرد؛ موضوعی که اهمیت زیادی دارد.»
به باور نویسندگان، تاکنون هیچ تحلیل مستقل و مقایسه‌ای از عملکرد مدل‌های هوش مصنوعی در تشخیص یافته‌های تصویربرداری، مشابه ارزیابی‌هایی که مؤسسه کانسیومر ریپورتس از محصولات منتشر می‌کند، ارائه نشده است. بیرد و همکارانش تلاش کرده‌اند با تحلیل جدید خود که ماه گذشته به‌صورت دسترسی آزاد منتشر شد، به این نیاز پاسخ دهند. پژوهشگران برای نشان دادن نحوه استفاده از راهنمای خرید پیشنهادی خود، مطالعه موردی‌ای را بررسی کرده‌اند که پیش‌تر در سال ۲۰۲۴ در نشریه European Radiology منتشر شده بود.
این مطالعه موردی به استقرار یک مدل هوش مصنوعی برای تشخیص انسداد عروق بزرگ مغزی (LVO) در بخش رادیولوژی اورژانس می‌پردازد. در آن زمان، شرکت سازنده اعلام کرده بود که حساسیت مدل در شناسایی صحیح این موارد سکته مغزی ۹۷ درصد و ویژگی آن در تشخیص افرادی که به این عارضه مبتلا نیستند، نزدیک به ۹۶ درصد است. همچنین ارزش اخباری مثبت مدل، یعنی احتمال اینکه فرد دارای نتیجه مثبت واقعاً به بیماری مبتلا باشد، ۹۵ درصد و ارزش اخباری منفی آن ۹۸ درصد گزارش شده بود.
نویسندگان توضیح داده‌اند: «در نگاه نخست، این ارقام ظاهراً از عملکرد بسیار خوب یک سامانه هوش مصنوعی حکایت دارند. دقت تشخیصی بالاست و حساسیت و ویژگی هر دو از ۹۵ درصد فراتر می‌روند. همچنین ارزش اخباری مثبت و منفی نشان می‌دهند که تنها ۵ درصد از هشدارهای سامانه کاذب خواهند بود و فقط ۲ درصد از مواردی که الگوریتم درباره آن‌ها هشدار نمی‌دهد، در واقع دچار انسداد عروق بزرگ مغزی هستند.»
با این حال، تنها حدود سه هفته از استقرار این الگوریتم گذشته بود که مرکز درمانی به دلیل برداشت کاربران از نادرست بودن نتایج، ناچار شد استفاده از آن را متوقف کند. ارزش اخباری مثبت الگوریتم در عمل به ۳۳ درصد رسیده بود؛ به این معنا که ۶۷ درصد از مواردی که سامانه درباره آن‌ها هشدار می‌داد، هشدار کاذب بودند. این رقم بسیار بالاتر از نرخ ۵ درصدی اعلام‌شده از سوی شرکت سازنده بود. بررسی‌های بیشتر نشان داد که علت اصلی این اختلاف، تفاوت چشمگیر شیوع بیماری در جمعیت بیماران مرکز استفاده‌کننده از الگوریتم با جمعیتی بود که مدل در محیط آزمایش روی آن ارزیابی شده بود. عامل دوم نیز تفاوت‌های جزئی در میزان حساسیت و ویژگی الگوریتم هنگام استفاده روی بیماران واقعی، در مقایسه با عملکرد ثبت‌شده آن در آزمایش‌ها بود.
نویسندگان تأکید کرده‌اند: «درسی که می‌توان از پژوهش اسکارینجی و همکارانش گرفت این است که اتکا به شاخص‌های عملکردی اعلام‌شده از سوی شرکت سازنده، ممکن است برای پیش‌بینی عملکرد و رفتار مدل در محیط واقعی یک مرکز درمانی کافی نباشد.»
بیرد و همکارانش برای کمک به سایر مراکز رادیولوژی در پیشگیری از چنین مشکلاتی، سه مرحله را پیشنهاد کرده‌اند که به‌طور خلاصه عبارت‌اند از:
۱. ارزیابی اینکه یک مدل هوش مصنوعی در جمعیت بیماران مرکز درمانی چگونه و با چه میزان دقت عمل خواهد کرد: در این مرحله باید مشخص شود پزشکان و سایر متخصصان بالینی انتظار مواجهه با چه میزان خطا را از سامانه هوش مصنوعی داشته باشند. بیرد و همکارانش فهرستی از پرسش‌های نمونه ارائه کرده‌اند که مراکز درمانی می‌توانند از شرکت‌های عرضه‌کننده بپرسند. برای مثال، الگوریتم با استفاده از داده‌های چه جمعیتی آموزش دیده، آزمایش شده و اعتبارسنجی شده است؟ شاخص‌های دقت حاصل از این فرایندها چه بوده‌اند؟ هدف این است که مشخص شود داده‌های مورد استفاده برای آموزش و آزمایش مدل تا چه اندازه با جمعیت بیماران و شرایط بالینی محیطی که قرار است الگوریتم در آن به کار گرفته شود، شباهت دارند.
۲. بررسی اینکه خطاهای الگوریتم با چه فراوانی بر تصمیم‌گیری‌های بالینی در مرکز درمانی تأثیر می‌گذارند: این ارزیابی باید پیامدهای بعدی خطاها را از جنبه‌های پزشکی، حقوقی، مالی، روان‌شناختی، فرایندهای کاری و اعتبار حرفه‌ای نیز در بر بگیرد. بیرد و همکارانش برای کمک به بررسی این عوامل، ماتریسی با عنوان «ارزیابی ریسک تصمیم‌گیری و پیامدهای متعاقب آن» یا RADDE ارائه کرده‌اند. برای نمونه، در مورد الگوریتم تشخیص سکته مغزی، این ماتریس سناریوی زیر را مطرح می‌کند: «اگر هوش مصنوعی وجود انسداد عروق بزرگ مغزی را به‌درستی تشخیص دهد، بیمار درمان ضروری را دریافت خواهد کرد. در نتیجه، احتمال زنده ماندن بیمار افزایش می‌یابد (پیامد پزشکی)، بیمار از عملکرد رادیولوژیست رضایت خواهد داشت (پیامد مربوط به اعتبار حرفه‌ای) و رادیولوژیست نیز به وظیفه قانونی خود در ارائه مراقبت مناسب عمل کرده است (پیامد حقوقی).»
۳. سنجش فراوانی خطاها در برابر هزینه و پیامدهای آن‌ها: نویسندگان خاطرنشان کرده‌اند: «تنها پس از پاسخ دادن به این پرسش‌هاست که یک مرکز درمانی می‌تواند آگاهانه تصمیم بگیرد آیا استفاده از یک سامانه هوش مصنوعی مشخص در شرایط کاری آن مرکز توجیه‌پذیر است یا خیر.» مراکز درمانی با تکمیل ماتریس RADDE می‌توانند سه موضوع را مشخص کنند: نخست، احتمال وقوع خطاها؛ دوم، چگونگی تأثیر این اشتباهات بر تصمیم‌گیری‌ها؛ و سوم، پیامدهای احتمالی بعدی آن‌ها.
نویسندگان در پایان نتیجه گرفته‌اند: «طبیعی است که مراکز درمانی ممکن است چندین سامانه هوش مصنوعی برای انتخاب در اختیار داشته باشند. نتایج ارزیابی سه‌مرحله‌ای پیشنهادی ما می‌تواند کمک قابل‌توجهی به حرکت به سوی روشی مبتنی بر داده برای مقایسه و انتخاب این سامانه‌ها کند.»
جزئیات بیشتر این پژوهش در نشریه رسمی انجمن انفورماتیک تصویربرداری در پزشکی (SIIM) در دسترس است. از دیگر نویسندگان این مقاله می‌توان به کریستوف والد، دارای مدارک پزشکی، دکتری و کارشناسی ارشد مدیریت کسب‌وکار، از کلینیک مایو اشاره کرد که در حال حاضر ریاست هیئت‌مدیره کالج رادیولوژی آمریکا را بر عهده دارد. مایکل ای. برونو، دارای مدارک پزشکی و کارشناسی ارشد، معاون کیفیت و رئیس بخش رادیولوژی اورژانس در دانشگاه ایالتی پنسیلوانیا نیز از دیگر نویسندگان این پژوهش بوده است.