مدل‌های یادگیری ماشین ممکن است تفاوت‌های فرهنگی در سبک زندگی و سلامت را بازنمایی نکنند
وقتی مدل‌های یادگیری ماشین که با داده‌های مربوط به سبک زندگی دانشجویان هندی و ژاپنی آموزش دیده بودند، ظاهراً الگوهای بسیار متفاوتی از عوامل خطر سلامت را نشان دادند، این یافته در نگاه نخست روایتی را تأیید می‌کرد که در پژوهش‌های سلامت دیجیتال به‌تدریج رواج یافته است: یادگیری ماشین می‌تواند الگوهای مختص هر فرهنگ را در چگونگی تأثیر عوامل سبک زندگی بر بیماری شناسایی کند. اما بازتحلیلی دقیق و عاری از نشت اطلاعات که در مجله Frontiers in Digital Health منتشر شده، به نتیجه‌ای کاملاً متفاوت رسیده است. پژوهشگران پس از برطرف کردن سه مشکل اساسی روش‌شناختی در تحلیل اولیه دریافتند که اختلاف مشاهده‌شده در اهمیت ویژگی‌ها میان هند و ژاپن، از نظر آماری با اختلافی که صرفاً بر اثر هشت برابر بودن حجم یکی از نمونه‌ها ایجاد می‌شود، قابل تمایز نیست.
این پژوهش در ابتدا با هدف مقایسه اهمیت ویژگی‌های مرتبط با سبک زندگی و بیماری‌های غیرواگیر در میان دانشجویان هندی (۵۲۸ نفر) و ژاپنی (۷۰ نفر) انجام شد. داده‌ها به‌صورت مقطعی و در فاصله ژوئن تا اوت ۲۰۲۴ گردآوری شده بودند. تفاوت‌های همه‌گیرشناختی و الگوهای غذایی هند و ژاپن، این مقایسه را جذاب می‌کرد. هند با گذار سریع تغذیه‌ای روبه‌رو است و رفتار کم‌تحرک، مستقل از سایر عوامل، با خطر چاقی در بزرگسالان ساکن مناطق شهری این کشور ارتباط دارد. در ژاپن نیز طی چند دهه، الگوهای غذایی پیوسته به سمت غربی‌شدن حرکت کرده‌اند و تغییر رفتارهای مرتبط با سبک زندگی، پیوند فرهنگی نیرومندی با بهزیستی ذهنی دارد. افزون بر این، شاخص توده بدنی (BMI) در جمعیت‌های جنوب آسیا پیامدهای متابولیکی متفاوتی نسبت به جمعیت‌های غربی دارد. بنابراین، آستانه‌های مبتنی بر BMI معیارهایی وابسته به جمعیت برای برآورد چربی بدن هستند و نمی‌توان آن‌ها را استانداردی جهان‌شمول دانست.
بااین‌حال، تحلیل اولیه سه ایراد مشخص و قابل بررسی داشت که نویسندگان در بازبینی پژوهش خود شناسایی کردند. نخست، چاقی با شاخص توده بدنی برابر یا بیشتر از ۲۵ کیلوگرم بر مترمربع تعریف شده بود، اما خود BMI نیز به‌عنوان ورودی مدل استفاده می‌شد؛ در نتیجه، مدل عملاً با استفاده از همان متغیری که تعریف‌کننده پیامد بود، چاقی را پیش‌بینی می‌کرد. دوم، ارزیابی مدل‌ها بدون مجموعه آزمون مستقل انجام شده بود؛ یعنی مدل‌ها با همان داده‌هایی ارزیابی می‌شدند که برای آموزش آن‌ها به کار رفته بود. سوم، هنگام مقایسه اهمیت ویژگی‌ها، تغییرپذیری ناشی از اختلاف هشت‌برابری حجم نمونه دو گروه در نظر گرفته نشده بود. پژوهشگران برای رفع این مشکلات، از رگرسیون لجستیک با جریمه، جنگل تصادفی و درخت‌های تقویت‌شده با گرادیان استفاده کردند و ارزیابی را با جداسازی صحیح داده‌های آموزش و آزمون، محاسبه اهمیت ویژگی‌ها از طریق جایگشت روی داده‌های آزمون مستقل و برآورد فاصله‌های اطمینان با روش بوت‌استرپ انجام دادند.
چشمگیرترین نتیجه، میزان اثر دوری و تعریف‌محور بودن رابطه BMI و چاقی را آشکار کرد. هنگامی که BMI در میان متغیرهای پیش‌بینی‌کننده قرار داشت، هر سه مدل مربوط به چاقی در هند، روی مجموعه آزمون مستقل، قدرت تفکیک بی‌نقصی نشان دادند. مقدار سطح زیر منحنی مشخصه عملکرد گیرنده (AUC) برای رگرسیون لجستیک، جنگل تصادفی و XGBoost در هر سه مورد برابر با ۱٫۰۰۰ بود. اهمیت جینی BMI برابر با ۰٫۹۱ بود و فاصله اطمینان ۹۵ درصد آن بر اساس بوت‌استرپ از ۰٫۸۴ تا ۰٫۹۲ به دست آمد. اهمیت این متغیر بر اساس جایگشت در مجموعه آزمون نیز ۰٫۵۰ بود؛ یعنی جابه‌جایی مقادیر BMI به‌تنهایی نیمی از توان تفکیک مدل را از بین می‌برد.
این نتیجه حاصل کشف یک رابطه تجربی نبود، بلکه از تعریف خود پیامد ناشی می‌شد: چاقی در این مطالعه اساساً با BMI برابر یا بیشتر از ۲۵ تعریف شده بود. هنگامی که BMI از مجموعه متغیرهای پیش‌بینی‌کننده حذف شد، مقدار AUC در مجموعه آزمون برای رگرسیون لجستیک به ۰٫۵۶۸، برای جنگل تصادفی به ۰٫۵۲۶ و برای XGBoost به ۰٫۵۰۳ کاهش یافت؛ مقادیری که تفاوت معناداری با عملکرد تصادفی نداشتند. بنابراین، پس از حذف متغیری که به‌صورت دوری در تعریف پیامد به کار رفته بود، ویژگی‌های سبک زندگی عملاً اطلاعات مستقلی برای تفکیک افراد مبتلا به چاقی فراهم نمی‌کردند.
برای پیامد دیگری که همچنان قابل بررسی بود، یعنی استرس بالا بر اساس ارزیابی شخصی افراد، عملکرد پیش‌بینی مدل‌ها در بهترین حالت متوسط بود. در هند، مقدار AUC مجموعه آزمون برای رگرسیون لجستیک ۰٫۶۷، برای جنگل تصادفی ۰٫۶۷ و برای XGBoost برابر با ۰٫۷۱ بود. فاصله اطمینان ۹۵ درصد این برآورد بر اساس بوت‌استرپ از ۰٫۴۹ تا ۰٫۷۲ محاسبه شد. در ژاپن، مدل‌ها برتری روشنی نسبت به شانس نشان ندادند: مقادیر AUC به‌ترتیب ۰٫۵۷، ۰٫۵۷ و ۰٫۴۹ بود. فاصله اطمینان بوت‌استرپ نیز بسیار گسترده و برابر با ۰٫۲۹ تا ۰٫۸۲ بود که بازتاب‌دهنده کوچک بودن مجموعه آزمون ژاپن با تنها ۱۴ مشاهده است. هیچ‌یک از مقادیر AUC در محدوده ۰٫۹۲ تا ۰٫۹۸ که در ارزیابی اولیه و بدون مجموعه آزمون مستقل گزارش شده بودند، پس از استفاده از یک مجموعه آزمون واقعی تکرار نشدند.
بازتحلیل همچنین اختلاف مهمی را در شیوه اندازه‌گیری اهمیت ویژگی‌ها آشکار کرد. اهمیت جینی که بر اساس مدل برازش‌شده روی داده‌های آموزش محاسبه می‌شود، نشان می‌دهد هر متغیر تا چه اندازه به کاهش ناخالصی گره‌ها هنگام ساخت درخت‌ها کمک کرده است. در مقابل، اهمیت جایگشتی در داده‌های آزمون مستقل مشخص می‌کند که حذف اطلاعات یک متغیر از طریق جابه‌جایی مقادیر آن، چه میزان از توان پیش‌بینی واقعی مدل می‌کاهد. این دو معیار در موارد متعددی با یکدیگر همخوانی نداشتند.
نمونه برجسته این اختلاف، مدت خواب در گروه ژاپنی بود. اهمیت جینی این متغیر ۰٫۲۲ به دست آمد؛ مقداری که در نگاه نخست به رقم ۰٫۴۷ گزارش‌شده در تحلیل اولیه و مطرح‌شده به‌عنوان شاهد اصلی وجود الگویی روانی‌اجتماعی در ژاپن نزدیک به نظر می‌رسید. اما اهمیت جایگشتی آن در مجموعه آزمون مستقل منفی ۰٫۰۰۴ بود؛ نتیجه‌ای که نشان می‌داد این متغیر هیچ سهم قابل اندازه‌گیری در قدرت تفکیک مدل روی داده‌های خارج از نمونه ندارد. در مقابل، BMI با اهمیت جایگشتی ۰٫۰۶۷ و دفعات ورزش با مقدار ۰٫۰۴۰، سهم بیشتری از مدت خواب در عملکرد پیش‌بینی واقعی مدل داشتند. بنابراین، پس از ارزیابی اهمیت ویژگی‌ها روی داده‌های خارج از نمونه، شواهد از این ادعا که مدت خواب مهم‌ترین عامل پیش‌بینی استرس در ژاپن است، پشتیبانی نمی‌کنند.
مهم‌ترین دستاورد این پژوهش، تحلیل حساسیت نسبت به حجم نمونه است؛ تحلیلی که مستقیماً بررسی می‌کند آیا اختلاف اهمیت ویژگی‌ها میان هند و ژاپن از تفاوتی که صرفاً به دلیل نابرابری تعداد شرکت‌کنندگان انتظار می‌رود، فراتر می‌رود یا خیر. پژوهشگران بارها و بدون جایگذاری، از میان شرکت‌کنندگان هندی نمونه‌گیری کردند تا حجم هر نمونه به ۷۰ نفر، برابر با حجم نمونه تحلیلی ژاپن، کاهش یابد. آن‌ها در هر یک از ۳۰۰ بار نمونه‌گیری، فرایند مدل‌سازی جنگل تصادفی را از نو اجرا کردند و توزیع حاصل از مقادیر اهمیت ویژگی‌ها را ثبت کردند.
برای تمام ویژگی‌های بررسی‌شده، از جمله سن، جنسیت، BMI، مدت خواب، دفعات ورزش، میزان مصرف آب و همه شاخص‌های ترجیح غذایی به‌جز یک دسته با اهمیت تقریباً صفر، مقدار واقعی اهمیت جینی مشاهده‌شده در ژاپن در محدوده ۹۵ درصدی حاصل از این نمونه‌گیری مجدد قرار داشت. به بیان دیگر، اگر پژوهشگران به‌طور تصادفی ۷۰ نفر از شرکت‌کنندگان هندی را انتخاب و همان فرایند مدل‌سازی را اجرا می‌کردند، معمولاً با مقادیر اهمیتی روبه‌رو می‌شدند که به همان اندازه از برآورد حاصل از کل نمونه هند فاصله داشتند که مقادیر واقعی ژاپن از آن فاصله داشتند. بنابراین، اختلاف مشاهده‌شده را می‌توان با اثر تفاوت حجم نمونه توضیح داد و برای نسبت دادن آن به تفاوت‌های فرهنگی، شواهد مستقلی در دست نیست.
بازتحلیل همچنین خطایی در نام‌گذاری ابزار اندازه‌گیری را آشکار کرد که نویسندگان آن را به‌صراحت گزارش داده‌اند. قرار بود استرس ادراک‌شده با استفاده از مقیاس استرس ادراک‌شده (PSS-10)، ابزاری معتبر شامل ۱۰ پرسش، سنجیده شود. اما بررسی خروجی‌های خام نظرسنجی نشان داد که هیچ‌یک از پرسش‌های این مقیاس در داده‌های هیچ‌کدام از دو گروه وجود ندارد. در واقع، ابزار به‌کاررفته در هر دو محل پژوهش تنها شامل یک پرسش خودارزیابی بود که از شرکت‌کنندگان می‌خواست سطح استرس یا اضطراب خود را در مقیاسی از صفر تا ۱۰ مشخص کنند. سپس امتیازهای ۵ و بالاتر به‌عنوان استرس بالا طبقه‌بندی شدند.
اعتبار یک پرسش منفرد درباره استرس برای اندازه‌گیری معادل این مفهوم در فرهنگ‌های مختلف تأیید نشده است؛ ازاین‌رو، نویسندگان همه نتایج مربوط به استرس را اکتشافی تلقی می‌کنند. به همین ترتیب، هنگامی که معیار حذف افراد مبتلا به بیماری مزمن مطابق تعریف خود پژوهش به‌درستی اعمال شد، تعداد موارد مثبت دیابت در هر دو گروه به صفر رسید. همچنین، پرسش‌نامه مورد استفاده در ژاپن اساساً هیچ پرسشی درباره پرفشاری خون نداشت.
نویسندگان تأکید می‌کنند که هر دو گروه نمونه‌هایی در دسترس بودند که از یک مؤسسه در هر کشور جذب شده بودند و الگوهای پاسخ‌گویی آن‌ها تفاوت چشمگیری داشت. در هند، ۵۴٫۰ درصد از پاسخ‌دهندگان اولیه پس از اعمال محدودیت سنی و معیارهای حذف در مطالعه باقی ماندند؛ درحالی‌که این نسبت در ژاپن تنها ۲۰٫۲ درصد بود. در نتیجه، تفاوت‌های مشاهده‌شده ممکن است به همان اندازه که به فرهنگ ملی مربوط هستند، از ویژگی‌های مؤسسه‌ها، رشته‌های تحصیلی یا خودگزینی شرکت‌کنندگان ناشی شده باشند.
پژوهشگران همچنین خاطرنشان می‌کنند که برای هیچ‌یک از ابزارهای استفاده‌شده، آزمون رسمی هم‌ارزی اندازه‌گیری میان‌فرهنگی انجام نداده‌اند. بنابراین، فرض اینکه سازه‌های مورد سنجش در دو محل معنای قابل مقایسه‌ای دارند، هنوز یک فرض کاری است و نه واقعیتی که به‌طور تجربی اثبات شده باشد. افزون بر این، افراد معمولاً قد و وزن خود را کمتر از مقادیر واقعی گزارش می‌کنند؛ موضوعی که عدم قطعیت بیشتری در اندازه‌گیری BMI به وجود می‌آورد.
با وجود نتایج منفی، نویسندگان این بازتحلیل را به‌خودی‌خود پژوهشی معتبر و سودمند می‌دانند. الگویی که در این مطالعه آشکار شده است، از جمله استفاده از دو نمونه کوچک و همتاسازی‌نشده، نبود ارزیابی روی مجموعه آزمون مستقل، تعریف دوری پیامدها، تلقی اهمیت جینی به‌عنوان معیار قطعی و اشاره به مرحله بیش‌نمونه‌گیری بدون اجرای واقعی آن، به این مجموعه داده محدود نیست.
نویسندگان می‌گویند بررسی‌هایی که در این پژوهش انجام داده‌اند، عمومی هستند و اجرای آن‌ها هزینه چندانی ندارد. این بررسی‌ها شامل اندازه‌گیری میزان وابستگی دوری مدل با حذف متغیر مسئله‌ساز، محاسبه اهمیت جایگشتی روی داده‌های آزمون مستقل در کنار اهمیت جینی و اجرای تحلیل حساسیت با نمونه‌گیری مجدد و حجم نمونه برابر است. انجام چنین آزمون‌هایی پیش از انتشار ادعاهایی درباره تفاوت اهمیت ویژگی‌ها میان فرهنگ‌ها می‌تواند به شناسایی نتایج گمراه‌کننده کمک کند.
آن‌ها پیشنهاد می‌کنند پژوهش‌های آینده به‌طور معمول، فهرستی صریح از متغیرهای تعریف‌کننده پیامد را که از مجموعه پیش‌بینی‌کننده‌ها کنار گذاشته شده‌اند، گزارش کنند؛ اهمیت جایگشتی محاسبه‌شده روی داده‌های آزمون مستقل را در کنار هر معیار مبتنی بر ناخالصی ارائه دهند؛ و پیش از تفسیر تفاوت‌های میان جمعیت‌ها به‌عنوان تفاوت‌هایی واقعی و معنادار، آزمون حساسیت با حجم نمونه همسان انجام دهند.
برای سنجش واقعی قابلیت انتقال مدل‌های یادگیری ماشین میان فرهنگ‌ها، رویکرد مناسب این است که مدل با داده‌های یک گروه آموزش داده شود و سپس قدرت تفکیک و کالیبراسیون آن روی گروه دیگر ارزیابی شود. این روش، عملکرد انتقال مدل را مستقیماً اندازه‌گیری می‌کند و به‌جای مقایسه اهمیت ویژگی‌های دو مدل که جداگانه آموزش دیده‌اند، نشان می‌دهد مدل تا چه اندازه در جمعیتی متفاوت قابل استفاده است.
نویسندگان کد کامل و قابل اجرای پژوهش را نیز همراه مقاله منتشر کرده‌اند تا همه اعداد و نتایج به‌طور مستقل بررسی‌پذیر باشند. آن‌ها امیدوارند این سطح از شفافیت به پژوهش‌های سلامت دیجیتال کمک کند تا آثار مصنوعی ناشی از روش‌های آماری را با بینش‌های واقعی درباره تفاوت‌های فرهنگی اشتباه نگیرند.
موضوع پژوهش: آیا مدل‌های یادگیری ماشین واقعاً تفاوت‌های فرهنگی در سبک زندگی و سلامت را بازنمایی می‌کنند؟ بازتحلیلی عاری از نشت اطلاعات روی دو گروه دانشجویی در هند و ژاپن.
عنوان مقاله: آیا مدل‌های یادگیری ماشین واقعاً تفاوت‌های فرهنگی در سبک زندگی و سلامت را بازنمایی می‌کنند؟ بازتحلیلی عاری از نشت اطلاعات روی دو گروه دانشجویی در هند و ژاپن.
مشخصات مقاله: Takaoka, E., Ruban, S., Mohammed Siraj, B., Vinay, V., Shanthini, H., & Dias, A. (2026). Do machine learning models really encode cross-cultural lifestyle-health differences? A leakage-free reanalysis of two university cohorts in India and Japan. Frontiers in Digital Health, 8, مقاله 1791066. https://doi.org/10.3389/fdgth.2026.1791066
شناسه دیجیتال مقاله (DOI): 10.3389/fdgth.2026.1791066
منبع خبری: ترزا اودوم، ۱۶ اکتبر ۲۰۲۶، «مدل‌های یادگیری ماشین ممکن است تفاوت‌های فرهنگی در سبک زندگی و سلامت را بازنمایی نکنند»، Scienmag.