پژوهش فرانک ویتتا: احتمال نام بردن از برندها در پاسخ‌های ChatGPT به پرسش‌های طولانی، هفت برابر کمتر از پرسش‌های کوتاه است
پژوهشی جدید درباره جست‌وجو با هوش مصنوعی که ۸۵۵۵ پاسخ ChatGPT به پرسش‌های خرید را بررسی کرده است، نشان می‌دهد طول پرسش تأثیر چشمگیری بر دیده‌شدن برندها در پاسخ‌های تولیدشده توسط هوش مصنوعی دارد.
لندن، بریتانیا، ۱۹ اکتبر ۲۰۲۶ ــ پژوهش جدید فرانک ویتتا، مشاور هوش مصنوعی مستقر در لندن، نشان می‌دهد طول پرسش جست‌وجو تأثیر قابل‌توجهی بر این دارد که آیا ChatGPT در پاسخ خود نام برندی را ذکر می‌کند یا خیر. این مطالعه بر پایه ۸۵۵۵ پاسخ ChatGPT به پرسش‌های مربوط به خرید و انتخاب محصولات انجام شده است. این پاسخ‌ها طی ۹ ماه و با استفاده از سامانه LLM Scout گردآوری شده‌اند. نتایج نشان می‌دهد در نزدیک به نیمی از پاسخ‌های مربوط به پرسش‌های کوتاه نام یک برند آمده است، در حالی که این اتفاق در کمتر از یک پاسخ از هر ۱۵ پاسخ به پرسش‌های طولانی رخ می‌دهد.
پرسش‌های کوتاه، در حد تقریباً یک سطر و با الگوی رایج «بهترین X برای Y»، در ۴۶٫۷ درصد پاسخ‌ها به ذکر نام برند منجر شدند. در مقابل، در پرسش‌های ۱۲۰ نویسه‌ای یا طولانی‌تر، تنها ۶٫۵ درصد پاسخ‌ها شامل نام برند بودند. بنابراین، احتمال ذکر نام یک برند در پاسخ به پرسش طولانی تقریباً هفت برابر کمتر از پرسش کوتاه است.
کاهش تدریجی دیده‌شدن برندها
این پژوهش روندی مشخص را نشان می‌دهد. در پرسش‌های ۳۵ تا ۶۹ نویسه‌ای، در ۴۴ تا ۴۷ درصد پاسخ‌ها نام یک برند ذکر شده است. این بازه بهترین عملکرد را داشته و پرسش‌های آن کمی بیش از نیمی از کل پاسخ‌های بررسی‌شده را تشکیل می‌دهند. از ۷۰ نویسه به بعد، نرخ ذکر نام برند کاهش می‌یابد: این میزان برای پرسش‌های ۷۰ تا ۸۹ نویسه‌ای ۳۵ درصد و برای پرسش‌های ۹۰ تا ۱۱۹ نویسه‌ای ۲۸ درصد است. در پرسش‌های ۱۲۰ نویسه‌ای یا طولانی‌تر، تنها ۷۵ مورد از ۱۱۴۷ پاسخ شامل نام یک برند بود.
این الگو تفاوت نحوه پاسخ‌گویی ChatGPT به انواع پرسش‌ها را نشان می‌دهد. پرسش‌های کوتاه با الگوی «بهترین X» معمولاً فهرستی از نام برندها را به دست می‌دهند. در مقابل، پرسش‌های طولانی‌تری که موقعیتی مشخص را شرح می‌دهند و خواستار راهنمایی هستند، بیشتر به ارائه توصیه منجر می‌شوند تا معرفی برندهای مشخص.
پیامدها برای سنجش میزان دیده‌شدن در هوش مصنوعی
این یافته برای برندهایی که شاخص‌های دیده‌شدن خود در هوش مصنوعی را رصد می‌کنند، کاربرد عملی دارد. این شاخص‌ها اندازه می‌گیرند که یک برند با چه فراوانی در پاسخ‌های تولیدشده توسط هوش مصنوعی ظاهر می‌شود. به گفته ویتتا، این امتیازها ممکن است صرفاً بر اساس ترکیب پرسش‌های کوتاه و بلند در مجموعه آزمون تغییر کنند، بی‌آنکه رفتار زیربنایی دستیار هوش مصنوعی تغییری کرده باشد.
ویتتا در این پژوهش می‌نویسد: «هیچ‌چیزی در دستیار تغییر نکرده است؛ فقط ترکیب پرسش‌ها تغییر کرده است.»
او اضافه می‌کند: «اگر مجموعه‌ای از پرسش‌های آزمایشی برای سنجش نحوه پاسخ‌گویی دستیارها تهیه کنید، نسبت پرسش‌های کوتاه و بلند در آن مجموعه بر نتیجه تأثیر می‌گذارد.»
با حذف طولانی‌ترین پرسش‌ها از مجموعه داده‌ها، نرخ کلی ذکر نام برند از ۳۶ درصد به ۴۰٫۵ درصد افزایش یافت. این تغییر قابل‌توجه صرفاً ناشی از ترکیب مجموعه آزمون بود، نه تغییر در رفتار ChatGPT.
اهمیت پژوهش برای برندها
این مطالعه به حوزه رو‌به‌رشد بهینه‌سازی برای موتورهای مولد (GEO)، بهینه‌سازی هوش مصنوعی (AIO) و بهینه‌سازی موتورهای پاسخ‌گو (AEO) مربوط می‌شود. این حوزه‌ها بر روش‌هایی تمرکز دارند که به برندها کمک می‌کنند در پاسخ‌های تولیدشده توسط هوش مصنوعی ظاهر شوند؛ زیرا مصرف‌کنندگان برای تصمیم‌گیری درباره خرید، بیش از گذشته به ابزارهایی مانند ChatGPT و Gemini روی می‌آورند و به‌جای موتورهای جست‌وجوی سنتی از آن‌ها استفاده می‌کنند.
ویتتا توصیه می‌کند برندها درخواست کنند امتیازهای دیده‌شدنشان در هوش مصنوعی به تفکیک پرسش‌های کوتاه و بلند گزارش شود، پرسش‌های طولانی‌تر و مفصل‌تری را که مشتریان واقعی احتمالاً از دستیارهای هوش مصنوعی می‌پرسند آزمایش کنند و در دوره‌های مختلف گزارش‌دهی، مجموعه پرسش‌های یکسانی را به کار ببرند تا نتایج در طول زمان قابل مقایسه باقی بمانند.
متن کامل پژوهش، شامل روش‌شناسی، نمودارهای داده‌ها و محدودیت‌های مطالعه، در این نشانی در دسترس است: https://frankvitetta.net/field-notes/prompt-length-brand-mentions-chatgpt/
درباره فرانک ویتتا
فرانک ویتتا مشاور هوش مصنوعی مستقر در لندن است که به تیم‌ها کمک می‌کند داده‌های خود را برای کاربردهای هوش مصنوعی آماده کنند. او درباره نحوه یافتن و نام بردن از برندها توسط دستیارهای هوش مصنوعی مانند ChatGPT می‌نویسد. داده‌های این پژوهش با استفاده از سامانه LLM Scout گردآوری شده‌اند (https://llmscout.co/). اطلاعات بیشتر در وب‌سایت www.frankvitetta.net در دسترس است.
ارتباطات رسانه‌ای: فرانک ویتتا