با افزایش استفاده از هوش مصنوعی در خریدهای جشنواره‌ای هند، شکاف پنهان دقت در پاسخ‌های هندی آشکار می‌شود
کاربری که به زبان هندی می‌پرسد کدام طرح بیمه برای والدینش مناسب‌تر است، ممکن است پاسخی بر پایه منابعی متفاوت از منابع مورد استفاده برای پاسخ به همان پرسش به زبان انگلیسی دریافت کند.
با افزایش خریدهای مربوط به جشن دیوالی، مصرف‌کنندگان هندی بیش از گذشته به چت‌بات‌های هوش مصنوعی روی آورده‌اند. داده‌های گوگل ترندز نشان می‌دهد ۵۱ درصد از خریداران در آستانه این جشن گفته‌اند هوش مصنوعی به آن‌ها در تصمیم‌گیری برای خرید کمک کرده است. این افراد در طول فرایند خرید، به‌طور متوسط ۷٫۵ بار از چت‌بات‌ها پرس‌وجو کرده‌اند. گزارش جداگانه‌ای از شرکت InMobi نیز نشان می‌دهد ۸۰ درصد از خریداران هندی آماده‌اند از دستیارهای خرید مبتنی بر هوش مصنوعی استفاده کنند.
با این حال، بسیاری از این خریداران پرسش‌های خود را به زبان هندی مطرح می‌کنند. پژوهشی از دانشگاه استنفورد نشان می‌دهد پاسخ‌های هوش مصنوعی به این زبان ممکن است به اندازه پاسخ‌های انگلیسی قابل اعتماد نباشند. مؤسسه هوش مصنوعی انسان‌محور دانشگاه استنفورد (HAI) عملکرد شش چت‌بات تجاری را در پاسخ‌گویی به پرسش‌هایی درباره اخبار روز، در شش منطقه زبانی بررسی کرد. زبان هندی در این ارزیابی در رتبه آخر قرار گرفت.
میانگین دقت پاسخ‌ها به زبان هندی ۷۹٫۳ درصد بود؛ رقمی که تقریباً ۱۰ واحد درصد از منطقه زبانی بعدی با کمترین عملکرد پایین‌تر است.
- عملکرد تمام چت‌بات‌های بررسی‌شده در زبان هندی از سایر زبان‌های مورد آزمایش ضعیف‌تر بود.
- تعداد خطاها تقریباً دو برابر هر یک از مناطق زبانی دیگر بود.
مشکل در بازیابی اطلاعات است، نه درک زبان
چت‌بات‌ها در درک زبان هندی مشکل نداشتند؛ مسئله این بود که نمی‌توانستند شواهد درست را پیدا کنند. دو نوع خطا بیش از ۷۰ درصد پاسخ‌های نادرست را توضیح می‌داد:
- ناتوانی در بازیابی اطلاعات (۳۸٫۸ درصد): چت‌بات نمی‌توانست اطلاعاتی به‌اندازه کافی مرتبط با پرسش پیدا کند.
- ناهمخوانی منابع (۳۲٫۷ درصد): چت‌بات اطلاعاتی درباره موضوعی مشابه پیدا می‌کرد، اما واقعیت‌های ارائه‌شده در آن با اطلاعات مورد نیاز تفاوت داشت.
هرگاه منبع درست بازیابی می‌شد، چت‌بات‌ها تقریباً همیشه پاسخ صحیح را استخراج می‌کردند. منابع مورد استناد نشان می‌دادند که شکاف از کجا آغاز می‌شود. ویکی‌پدیای انگلیسی، در میان پرسش‌های هندی، بیش از هر وب‌سایت خبری هندی دیگری که در شاخص این پژوهش بررسی شده بود، مورد استناد قرار گرفت. همچنین، ۹ مورد از ۱۰ دامنه‌ای که در مجموع پاسخ‌ها بیشترین استناد را دریافت کردند، عمدتاً انگلیسی‌زبان بودند.
کارتیک شارما، مدیرعامل و بنیان‌گذار RankinLLM.ai، گفت این یافته از وجود نقصی ساختاری حکایت دارد. او به شبکه خبری NDTV گفت: «مدل‌ها زبان هندی را کاملاً خوب می‌فهمند، اما بعد برای پیدا کردن پاسخ به سراغ منابع انگلیسی می‌روند.» به گفته او، مشاهده این الگو در هر شش چت‌بات نشان می‌دهد که «این مشکل نقطه کور یک شرکت خاص نیست».
این مسئله برای خریداران و برندها چه معنایی دارد؟
در این پژوهش، پرسش‌های خبری بررسی شدند، نه پرسش‌های مربوط به خرید؛ بنابراین، پرس‌وجو درباره محصولات یا خدمات در محدوده مطالعه قرار نداشت. با این حال، شارما گفت همین رفتار می‌تواند بر پاسخ‌های تجاری نیز تأثیر بگذارد. برای مثال، ممکن است کاربری که به زبان هندی می‌پرسد کدام طرح بیمه برای والدینش مناسب است یا برای تحصیل فرزندش کدام دانشگاه را انتخاب کند، پاسخی دریافت کند که بر منابعی متفاوت از منابع مورد استفاده برای پاسخ به همان پرسش به زبان انگلیسی متکی است.
برای برندها، خطر اصلی به میزان دیده‌شدن مربوط می‌شود. شارما توضیح داد که ممکن است نام یک شرکت در پاسخ انگلیسی هوش مصنوعی جایگاه برجسته‌ای داشته باشد، اما در پاسخ هندی تقریباً اصلاً دیده نشود؛ زیرا این دو پاسخ بر شواهد متفاوتی تکیه دارند. او گفت: «یک برند فقط یک اعتبار در دنیای هوش مصنوعی ندارد؛ حتی برای هر زبان هم صرفاً یک اعتبار واحد وجود ندارد.»
توصیه او این است که شرکت‌ها این مسئله را صرفاً یک کار ترجمه‌ای تلقی نکنند. شارما گفت: «اگر هیچ منبع معتبر هندی در جای دیگری ادعاهای شما را تأیید نکند، انتشار صفحات هندی در وب‌سایت خودتان مشکل را حل نخواهد کرد.» به گفته او، برندها باید در رسانه‌ها و منابع معتبر هندی، فراتر از وب‌سایت‌های خود، پوشش و حضور قابل اتکایی ایجاد کنند و بررسی کنند که آیا ابزارهای هوش مصنوعی واقعاً این اطلاعات را بازیابی می‌کنند یا خیر.
محدودیت‌های یافته‌های پژوهش
پژوهشگران همچنین دریافتند که وقتی پرسش‌ها حاوی خطاهای ظریف در بیان واقعیت‌ها یا پیش‌فرض‌های گمراه‌کننده بودند، دقت پاسخ‌ها به‌شدت کاهش می‌یافت. در یک آزمون جداگانه که در آن مدل‌ها باید بدون قالب پاسخ از پیش تعیین‌شده جواب می‌دادند، دقت مطلق ۱۶ تا ۱۷ درصد افت کرد. همه پرسش‌ها از سرورهایی در ایالات متحده ارسال شده بودند؛ عاملی که ممکن است چت‌بات‌ها را به سمت منابع انگلیسی سوق داده باشد.
این یافته‌ها به این معنا نیست که تمام پاسخ‌های هندی نادرست‌اند. با این حال، نشان می‌دهند که امتیاز کلی بالای دقت می‌تواند تفاوت‌های چشمگیر میان زبان‌ها را پنهان کند.
در اوج خریدهای مناسبتی، پیش از اقدام بر اساس اطلاعات مهمی مانند قیمت‌ها، مشخصات محصولات، خدمات مالی و جزئیات پذیرش دانشگاهی، ادعاهای مطرح‌شده را با منابع معتبر بررسی کنید. این احتیاط به‌ویژه زمانی اهمیت دارد که پرسش به زبان هندی مطرح شده باشد.