گزارش پژوهشی: تحلیل رسانه‌های دیجیتال با استفاده از هوش مصنوعی

این پژوهش چارچوبی با نام «مدل یادگیری ترکیبی برای تحلیل احساسات و تعامل متنی» (HTSELM) معرفی می‌کند؛ معماری‌ای که خروجی دو شاخه متفاوت را در مرحله نهایی با یکدیگر ترکیب می‌کند. شاخه نخست، متن را با استفاده از بازنمایی TF-IDF پردازش می‌کند و آن را به یک ماشین بردار پشتیبان خطی می‌دهد. این ترکیب یکی از روش‌های رایج طبقه‌بندی اسناد است و همچنان در مجموعه‌داده‌های با اندازه متوسط عملکرد رقابتی دارد. شاخه دوم اطلاعات ساختاریافته، از جمله پلتفرم، موقعیت جغرافیایی، زبان، شناسه‌های کمپین، متغیرهای زمانی و شمارنده‌های تعامل را با استفاده از روش تقویت گرادیانی مبتنی بر هیستوگرام (HistGradientBoosting) تحلیل می‌کند؛ روشی که برای شناسایی روابط غیرخطی میان ویژگی‌های دسته‌ای و عددی مناسب است.

این مدل به‌جای ادغام همه ویژگی‌ها در یک فضای برداری واحد، هر شاخه را جداگانه آموزش می‌دهد، خروجی آن‌ها را به احتمال‌های قابل مقایسه برای هر طبقه تبدیل می‌کند و سپس با میانگین‌گیری وزنی، نتایج را ترکیب می‌کند. ضریب ترکیب نیز بر اساس عملکرد مدل روی مجموعه اعتبارسنجی تنظیم می‌شود. نتایج نشان داد که اختصاص وزن یکسان به دو شاخه، عملکرد را کاهش می‌دهد؛ ترکیب تنها زمانی سودمند بود که شاخه متنیِ بسیار قوی‌تر سهم غالب را داشته باشد. مدل HTSELM در مجموعه آزمون مستقل به دقت ۰٫۹۳۹۲، امتیاز F1 کلان ۰٫۹۳۹۸، ضریب همبستگی متیوز ۰٫۹۰۴۳ و مساحت کلان زیر منحنی ROC برابر با ۰٫۹۹۲۳ دست یافت.

اعتبارسنجی متقاطع دقیق پنج‌لایه، میانگین امتیاز F1 کلان ۰٫۹۳۹۸ و انحراف معیار تنها ۰٫۰۰۶۹ را به همراه داشت. این نتیجه نشان می‌دهد که عملکرد مدل پایدار بوده و صرفاً حاصل یک تقسیم‌بندی تصادفی داده‌ها نیست. بهبود مدل نسبت به ماشین بردار پشتیبان مبتنی بر متن به‌تنهایی، در معیار F1 کلان، اندک و برابر با ۰٫۰۰۴۸ بود؛ بااین‌حال، این بهبود در هر پنج بخش اعتبارسنجی متقاطع مشاهده شد. با وجود این، مهم‌ترین بخش پژوهش نه اعداد عملکرد، بلکه ممیزی داده‌هایی است که پیش از ارزیابی مدل انجام شد.

وانگ مجموعه‌داده «تعامل در شبکه‌های اجتماعی» را بررسی کرد؛ مجموعه‌ای مصنوعی و تولیدشده به‌وسیله ماشین که شامل ۱۲ هزار رکورد و ۲۸ ستون خام است. او دریافت که متغیر sentiment_score به‌صورت قطعی برچسب هدف sentiment_label را تعیین می‌کند: برچسب‌های منفی با امتیازهای کمتر از حدود ۰٫۲۰- مطابقت دارند، برچسب‌های خنثی در بازه‌ای محدود پیرامون صفر قرار می‌گیرند و برچسب‌های مثبت از حدود ۰٫۲۰+ آغاز می‌شوند. همچنین، ستون engagement_rate، با در نظر گرفتن خطای ناشی از گرد کردن اعداد، کاملاً با فرمولی مطابقت داشت که بر اساس تعداد پسندها، اشتراک‌گذاری‌ها، دیدگاه‌ها و دفعات نمایش محاسبه می‌شود. بنابراین، مدلی که با استفاده از این متغیرها آموزش ببیند، در واقع چیزی را پیش‌بینی نمی‌کند، بلکه صرفاً پاسخ ازپیش‌تعیین‌شده را بازسازی می‌کند.

پژوهش برای آموزش طبقه‌بند احساسات، متغیرهای sentiment_score، emotion_type، user_past_sentiment_avg و toxicity_score را حذف کرد. در آزمایش پیش‌بینی تعامل نیز متغیر engagement_rate و تمام متغیرهای مربوط به واکنش پس از انتشار کنار گذاشته شدند. به این ترتیب، مطالعه آنچه را نویسنده «خط مبنای کنترل‌شده از نظر نشت اطلاعات» می‌نامد، به دست می‌دهد؛ معیاری واقع‌بینانه از عملکرد مدل، نه نتیجه‌ای که به‌واسطه اطلاعات افشاکننده پاسخ به‌طور مصنوعی بالا رفته باشد.

آزمایش‌های حذف ویژگی نیز نشان می‌دهند که بخش عمده اطلاعات پیش‌بینی‌کننده در خود واژه‌ها و عبارت‌ها نهفته است. تحلیل تبیین‌پذیری همین نتیجه را تأیید می‌کند: عبارت‌هایی مانند «بد نیست»، «توصیه نمی‌کنم» و «شدیداً توصیه می‌کنم» از جمله مهم‌ترین ویژگی‌های TF-IDF بودند و نقش برجسته‌ای در تعیین طبقه احساسات داشتند. در مقابل، اهمیت ویژگی‌ها در آزمون جایگشت برای داده‌های ساختاریافته اندک بود و میان متغیرهایی مانند برند، محصول، زبان، کمپین و موقعیت مکانی پراکنده می‌شد.

به بیان دیگر، وقتی متغیرهای جانشینِ احساسات حذف می‌شوند، اطلاعات فراداده‌ای در این مجموعه‌داده سهم شگفت‌آوری اندکی در تشخیص احساسات دارند. آزمون‌های پایداری نیز تصویر دقیق‌تری از عملکرد مدل ارائه کردند. افزودن نویز به ویژگی‌های عددی تقریباً تأثیری بر عملکرد نداشت و امتیاز F1 کلان، در سطوح مختلف اختلال، بین ۰٫۹۳۹۰ تا ۰٫۹۴۲۳ باقی ماند.

در مقابل، حذف ویژگی‌ها و مخدوش‌کردن متن باعث افت تدریجی اما معنادار عملکرد شد. در سطح اختلال ۲۰ درصدی، آزمون‌های مربوط به ویژگی‌های ازدست‌رفته امتیاز F1 کلان را به ۰٫۸۴۴۱ رساندند و نویز در سطح توکن‌های متن این امتیاز را به ۰٫۸۵۹۹ کاهش داد. نتیجه عملی روشن است: قابلیت اتکای این سامانه‌ها در محیط واقعی، بیش از دقت مقادیر عددی همراه متن، به در دسترس بودن متن و حفظ صحت آن وابسته است. ماتریس درهم‌ریختگی نیز نشان داد که مدل طبقه خنثی را با عملکرد نسبتاً مناسبی تشخیص می‌دهد و مقدار یادآوری این طبقه ۰٫۹۰۶۹ بود. خطاهای باقی‌مانده عمدتاً به اشتباه‌گرفتن قطبیت پست‌های منفی و مثبت مربوط می‌شدند.

شاید نگران‌کننده‌ترین یافته پژوهش به آزمایش دوم آن مربوط باشد. هنگامی که چارچوب برای پیش‌بینی دسته‌های میزان تعامل، تنها از اطلاعات در دسترس پیش از واکنش مخاطبان استفاده کرد ــ شامل متن، پلتفرم، زمان انتشار و فراداده‌های کمپین، بدون هیچ‌یک از شمارنده‌های حاصل از واکنش کاربران ــ عملکرد همه مدل‌ها نزدیک به سطح تصادفی برای مسئله‌ای با سه طبقه، یعنی یک‌سوم، بود. بهترین پیکربندی، رگرسیون لجستیک مبتنی بر ویژگی‌های ساختاریافته، تنها به دقت ۰٫۳۴۷۹ دست یافت. دقت مدل HTSELM نیز فقط ۰٫۳۴۱۳ بود و ضریب همبستگی متیوز آن به ۰٫۰۱۱۸ رسید؛ مقداری که عملاً نزدیک به صفر است.

وانگ معتقد است این نتیجه منفی از نظر علمی ارزشمند است، زیرا نشان می‌دهد متغیرهای موجود پیش از واکنش کاربران در این مجموعه‌داده، سیگنال قابل اتکایی برای پیش‌بینی ندارند. همچنین، مانع از آن می‌شود که پژوهش‌های آینده بازسازی یک رابطه فرمولی را با توانایی واقعی پیش‌بینی اشتباه بگیرند. نویسنده در عین حال درباره محدودیت‌های نتایج محتاط است. مجموعه‌داده مصنوعی و ماشینی است؛ بنابراین، الگوهای زبانی، توزیع پلتفرم‌ها و رفتارهای ثبت‌شده در آن ممکن است با آنچه در شبکه‌های اجتماعی واقعی رخ می‌دهد، مطابقت نداشته باشند.

در مجموعه مدل‌های پایه این پژوهش، مدل‌های مبتنی بر ترنسفورمر، مانند BERT و RoBERTa، عمداً گنجانده نشده‌اند. این مدل‌ها ممکن است بتوانند بازنمایی‌های بافتی غنی‌تری از طعنه، نفی و آمیختگی زبان‌ها ارائه کنند. بااین‌حال، پژوهش تأکید می‌کند که هرگونه مقایسه با این مدل‌ها باید ابتدا تحت همان کنترل‌های مربوط به نشت اطلاعات انجام شود. آزمون‌های آماری نیز محدودیت‌های ارزیابی با نمونه‌ای کوچک را آشکار کردند: آزمون تی زوجی روی پنج بخش اعتبارسنجی، برتری HTSELM را نسبت به مدل‌های پایه صرفاً متنی تأیید کرد، اما آزمون‌های ویلکاکسون و مک‌نمار به سطح معناداری آماری نرسیدند. این تفاوت بازتاب توان آماری محدود ارزیابی است، نه لزوماً تناقض میان شواهد.

این مطالعه، تبیین‌پذیری را اقدامی تکمیلی پس از آموزش مدل نمی‌داند، بلکه آن را بخشی از پروتکل آزمایش در نظر می‌گیرد. ازاین‌رو، در کنار معیارهای عملکرد، تحلیل ضرایب، اهمیت ویژگی‌ها بر اساس جایگشت و سهم انواع خطا نیز گزارش شده‌اند. این رویکرد با اصول هوش مصنوعی انسان‌محور همسو است؛ اصولی که بر شفافیت درباره منشأ داده‌ها، محدودیت‌های مدل و مرزهای استفاده از آن در محیط واقعی تأکید دارند.

موضوع پژوهش: تحلیل احساسات و تعامل در شبکه‌های اجتماعی با استفاده از یادگیری ماشین و کنترل نشت اطلاعات.

عنوان مقاله: تحلیل تعامل در رسانه‌های دیجیتال و احساسات کاربران مبتنی بر هوش مصنوعی با استفاده از روش‌های یادگیری ماشین.

منبع مقاله: وانگ، اکس. (۲۰۲۶). «تحلیل تعامل در رسانه‌های دیجیتال و احساسات کاربران مبتنی بر هوش مصنوعی با استفاده از روش‌های یادگیری ماشین». Discover Artificial Intelligence، جلد ۶، شماره ۱، مقاله ۱۴۴۸. https://doi.org/10.1007/s44163-026-02430-6

شناسه دیجیتال مقاله (DOI): 10.1007/s44163-026-02430-6

کلیدواژه‌ها: هوش مصنوعی، یادگیری ماشین، تحلیل احساسات، شبکه‌های اجتماعی، نشت اطلاعات هدف، پیش‌بینی تعامل، ترکیب در مرحله نهایی، هوش مصنوعی تبیین‌پذیر، TF-IDF، تقویت گرادیانی، تحلیل رسانه‌های دیجیتال، نشت داده‌ها.