چگونه کاری کنیم ChatGPT و دیگر موتورهای جست‌وجوی هوش مصنوعی به وب‌سایت ما استناد کنند؟
ما پرسش‌های واقعی خریداران را در ChatGPT آزمایش کردیم، تمام منابعی را که این ابزار به آن‌ها استناد کرد ثبت کردیم و گزارش‌های سرور خودمان را بررسی کردیم تا بفهمیم برای نقل‌شدن محتوای یک وب‌سایت در جست‌وجوی هوش مصنوعی چه شرایطی لازم است.
برای اینکه ChatGPT به وب‌سایت شما استناد کند، ابتدا باید اجازه دهید ربات جست‌وجوی OpenAI صفحاتتان را بخواند. سپس محتوایی منتشر کنید که هر صفحه آن به یک پرسش مشخص پاسخ دهد، پاسخ را در ابتدای متن ارائه کند و بر داده‌هایی متکی باشد که خودتان در اختیار دارید. همین رویکرد درباره Perplexity، Claude و دیگر ابزارهای جست‌وجوی هوش مصنوعی نیز کاربرد دارد. هیچ‌یک از شرکت‌های فعال در این حوزه فرمول رتبه‌بندی خود را منتشر نکرده‌اند؛ بنابراین، هیچ‌کس نمی‌تواند استنادشدن به یک صفحه را تضمین کند. آنچه در کنترل شماست، دسترس‌پذیری صفحه و ارزش محتوای آن برای نقل‌شدن است.
به‌جای تکرار توصیه‌های شرکت‌های ارائه‌دهنده خدمات سئو، این موضوع را روی وب‌سایت خودمان آزمایش کردیم. برخی نتایج امیدوارکننده بودند و برخی دیگر نه؛ از جمله اینکه حتی یک بار هم به وب‌سایت ما استناد نشد.
بهینه‌سازی برای جست‌وجوی هوش مصنوعی چیست و AEO و GEO چه معنایی دارند؟
بهینه‌سازی برای جست‌وجوی هوش مصنوعی به مجموعه اقداماتی گفته می‌شود که پیدا کردن، خواندن و نقل محتوای صفحات وب را برای ابزارهای هوش مصنوعی آسان می‌کند؛ به‌ویژه زمانی که کاربر پرسشی مطرح می‌کند. این فرایند با نام‌های «بهینه‌سازی موتور پاسخ‌گو» (AEO) و «بهینه‌سازی موتور مولد» (GEO) نیز شناخته می‌شود. نام‌ها متفاوت‌اند، اما هدف یکسان است: وقتی کاربری از ChatGPT، Perplexity یا Claude پرسشی می‌پرسد و ابزار برای پاسخ‌دادن به وب زنده مراجعه می‌کند، صفحه شما باید در دسترس باشد، به‌درستی فهمیده شود و آن‌قدر معتبر به نظر برسد که ابزار آن را به‌عنوان منبع معرفی کند.
این فرایند با سئوی معمولی هم‌پوشانی دارد، زیرا بسیاری از ابزارهای هوش مصنوعی پیش از پاسخ‌دادن در وب جست‌وجو می‌کنند. بااین‌حال، این دو کاملاً یکسان نیستند و مهم‌ترین تفاوت به نحوه استفاده از محتوا مربوط می‌شود. موتور جست‌وجو صفحه شما را رتبه‌بندی می‌کند؛ اما ابزار هوش مصنوعی محتوای آن را می‌خواند، اطلاعات موردنیازش را برمی‌دارد و ممکن است منبع اطلاعات را نشان بدهد یا ندهد.
چه ربات‌های هوش مصنوعی از وب‌سایت شما بازدید می‌کنند و هرکدام چه کاری انجام می‌دهند؟
شرکت‌های بزرگ هوش مصنوعی چندین ربات دارند که هرکدام وظیفه متفاوتی بر عهده دارند. اشتباه‌گرفتن این ربات‌ها یکی از ساده‌ترین راه‌ها برای محروم‌کردن ناخواسته وب‌سایت از حضور در جست‌وجوی هوش مصنوعی است. طبق مستندات خود شرکت‌ها، ربات‌های آن‌ها را می‌توان به سه گروه تقسیم کرد: ربات‌هایی که داده‌ها را برای آموزش جمع‌آوری می‌کنند، ربات‌هایی که نمایه جست‌وجو را می‌سازند و ربات‌هایی که هنگام پرسش کاربر، یک صفحه را مستقیماً دریافت می‌کنند.
| نام ربات | شرکت | وظیفه | تعداد درخواست‌ها به وب‌سایت ما در ۲۶ اکتبر |
|---|---|---|---|
| ChatGPT-User | OpenAI | هنگامی که کاربر ChatGPT صفحه‌ای را درخواست می‌کند، آن را دریافت می‌کند. | ۶۵٬۰۸۰ |
| PerplexityBot | Perplexity | برای ساخت نمایه جست‌وجو، صفحات وب را می‌خزد. | ۸٬۳۶۷ |
| Claude-User | Anthropic | هنگامی که کاربر Claude صفحه‌ای را درخواست می‌کند، آن را دریافت می‌کند. | ۵٬۳۲۲ |
| OAI-SearchBot | OpenAI | صفحات را می‌خزد تا در نتایج جست‌وجوی ChatGPT نمایش داده شوند. | ۲٬۲۳۲ |
| ClaudeBot | Anthropic | محتوای عمومی را جمع‌آوری می‌کند که ممکن است برای آموزش به کار رود. | ۳۹۰ |
| Perplexity-User | Perplexity | هنگامی که کاربر Perplexity صفحه‌ای را درخواست می‌کند، آن را دریافت می‌کند. | ۱۰۸ |
| Claude-SearchBot | Anthropic | محتوا را نمایه‌سازی می‌کند تا پاسخ‌های جست‌وجو بهبود یابند. | ۱۰۴ |
| GPTBot | OpenAI | برای آموزش مدل‌ها، صفحات وب را می‌خزد. | ۷ |
دو نکته در این آمار جلب توجه می‌کند. نخست اینکه ربات‌های جمع‌آوری داده برای آموزش به‌ندرت از وب‌سایت ما بازدید کردند، درحالی‌که ربات‌های مرتبط با پاسخ‌گویی به پرسش‌های زنده بیشترین فعالیت را داشتند. دوم اینکه ربات‌هایی که در پی درخواست مستقیم کاربر فعال می‌شوند، از نظر فنی خزنده‌های معمولی نیستند؛ خود شرکت‌ها نیز این تفاوت را تأیید می‌کنند. OpenAI توضیح داده است که ممکن است قوانین فایل robots.txt درباره ChatGPT-User اعمال نشوند و Perplexity نیز درباره Perplexity-User همین موضوع را اعلام کرده است. بنابراین، می‌توان دسترسی ربات‌های آموزش را مسدود کرد و همچنان در نتایج جست‌وجو حضور داشت. البته نام ربات‌ها قابل جعل است و ما محدوده نشانی‌های IP آن‌ها را بررسی نکردیم؛ در نتیجه، این اعداد صرفاً ترافیکی را نشان می‌دهند که خود را با این نام‌ها معرفی کرده است.
چگونه بررسی کنیم که ChatGPT می‌تواند وب‌سایت ما را بخزد؟
کار را با فایل robots.txt شروع کنید. اگر در این فایل دستوری کلی برای مسدودکردن ربات‌های هوش مصنوعی وجود داشته باشد، یا قانونی را بدون بررسی کپی کرده باشید، ممکن است دسترسی‌هایی را بیش از آنچه قصد داشته‌اید مسدود کرده باشید. طبق مستندات ربات‌های خزنده OpenAI، اعمال تغییرات فایل robots.txt ممکن است حدود ۲۴ ساعت طول بکشد. همچنین می‌توان دسترسی ربات جست‌وجو را مجاز دانست و هم‌زمان ربات جمع‌آوری داده برای آموزش را مسدود کرد.
سپس بررسی کنید که فایل robots.txt از خارج شبکه شما نیز به‌درستی بارگذاری می‌شود. ما متوجه شدیم شبکه توزیع محتوایمان (CDN) پاسخی کش‌شده حاوی یک تغییرمسیر ارائه می‌کرد که دوباره به همان نشانی برمی‌گشت. در نتیجه، هر خزنده‌ای که فایل را درخواست می‌کرد، وارد حلقه تغییرمسیر می‌شد و به محتوای فایل دسترسی پیدا نمی‌کرد. سرور اصلی فایل را درست ارائه می‌داد و به همین دلیل، از داخل شبکه مشکلی دیده نمی‌شد. این فایل را از شبکه‌ای خارج از شبکه خودتان، هم با پارامتر پرس‌وجو در نشانی اینترنتی و هم بدون آن، آزمایش کنید.
در مرحله آخر، گزارش‌های سرور را بخوانید. این گزارش‌ها بیش از هر افزونه‌ای اطلاعات در اختیار شما می‌گذارند. در روزهای ۲۵ و ۲۶ اکتبر، عامل کاربری ChatGPT-User حدود ۱۲۶٬۸۰۰ درخواست به ۶٬۴۲۱ نشانی اینترنتی متفاوت در وب‌سایت ما ارسال کرد و ۹۹٫۷ درصد درخواست‌ها به دریافت عادی یک صفحه منجر شدند. تقریباً تمام این درخواست‌ها به مطالب خبری روز اختصاص داشت. در ۲۶ اکتبر، از مجموع ۶۵٬۰۸۰ درخواست این ربات، ۸۷۷ درخواست، معادل ۱٫۳ درصد، به راهنماهای مفصل ما مربوط بود؛ این در حالی است که راهنماها حدود ۵ درصد از مطالب منتشرشده ما را تشکیل می‌دهند.
در دسترس بودن یک صفحه به معنای انتخاب‌شدن آن نیست. ممکن است یک صفحه بارها دریافت شود، اما هرگز به‌عنوان منبع نمایش داده نشود. گزارش‌های سرور نشان می‌دهند که مسیر دسترسی باز است، نه اینکه کسی واقعاً از آن عبور می‌کند.
ChatGPT هنگام پاسخ به پرسش‌های خریداران واقعاً به چه منابعی استناد می‌کند؟
ما ۴۸ پرسش طراحی کردیم که احتمال دارد یک بنیان‌گذار یا صاحب کسب‌وکار کوچک واقعاً آن‌ها را مطرح کند. سپس ۱۳ پرسش نخست را یکی‌یکی در حساب کاربری واردشده به ChatGPT آزمایش کردیم و تمام منابعی را که این ابزار به آن‌ها استناد کرد ثبت کردیم.
- از میان ۱۳ پاسخ، هفت پاسخ دست‌کم به یک منبع استناد کردند. شش پاسخ هیچ منبعی نداشتند و بر اطلاعات موجود در حافظه مدل تکیه کردند.
- در مجموع ۱۳ پاسخ، ۱۴ پیوند به‌عنوان منبع ارائه شد و هیچ‌کدام به وب‌سایت ما اشاره نمی‌کرد.
- در آزمایش جداگانه‌ای که عبارت «به منابع استناد کن» را به پرسش اضافه کردیم، یکی از پاسخ‌ها هشت پیوند استنادشده در میان مجموع ۲۰ پیوند داشت. درخواست صریح برای ارائه منابع، نتیجه را تغییر می‌دهد.
سپس هر ۱۴ صفحه‌ای را که به آن‌ها استناد شده بود، دریافت و بررسی کردیم. دوازده صفحه به‌درستی بارگذاری شدند. به‌جز یک گزارش ۵۴ هزار کلمه‌ای، طول این صفحات از ۵۲۸ کلمه تا حدود ۵٬۶۰۰ کلمه متغیر بود. سه صفحه دارای نشانه‌گذاری ساختاریافته FAQ، سه صفحه دارای جدول و شش صفحه دارای تاریخ قابل‌مشاهده آخرین تغییر بودند؛ از جمله صفحاتی که در همان ماه به‌روزرسانی شده بودند. قالب واحدی وجود نداشت. وجه مشترک این صفحات آن بود که هرکدام منبع دست‌اول موضوع خود بودند: سازمانی که محصول خودش را توضیح می‌داد، شرکتی که ابزار خودش را مستند می‌کرد یا گروهی که داده‌های فصلی خودش را منتشر می‌کرد.
این آزمایش نمونه کوچکی بود که در یک روز و با یک حساب کاربری انجام شد. پاسخ‌های ChatGPT نیز در اجراهای مختلف تغییر می‌کنند؛ بنابراین، نتایج را باید نشانه‌ای راهنما دانست، نه یک قانون قطعی. ما آزمایش را پس از ۱۳ پرسش متوقف کردیم، زیرا نتیجه قابل‌پیش‌بینی بود: محتوای وب‌سایت را با هدف استنادشدن طراحی نکرده بودیم و اجرای ۳۵ پرسش باقی‌مانده فقط همین واقعیت را تأیید می‌کرد.
چگونه کاری کنیم ChatGPT، Perplexity و Claude به وب‌سایت ما استناد کنند؟
هیچ‌کس خارج از شرکت‌های هوش مصنوعی از قواعد دقیق انتخاب منابع اطلاع ندارد. شرکت‌های فعال در حوزه سئو معتقدند این ابزارها بخش‌هایی از متن را ترجیح می‌دهند که به‌راحتی بتوان آن‌ها را استخراج کرد و با پرسش‌های فرعی حاصل از تجزیه پرسش اصلی مطابقت داد. این برداشت مبتنی بر مشاهده است و هیچ شرکت هوش مصنوعی آن را تأیید نکرده است. با توجه به این محدودیت، توصیه‌های زیر را فرضیه‌هایی بدانید که از ویژگی‌های مشترک صفحات استنادشده به دست آمده‌اند.
- برای هر صفحه، یک پرسش مشخص در نظر بگیرید. صفحه‌ای که بر یک پرسش محدود و روشن تمرکز دارد، از یک مطلب کلی و فراگیر مناسب‌تر است. صفحات استنادشده موضوعات مشخص و محدودی داشتند.
- پاسخ را در ۱۰۰ کلمه نخست ارائه کنید. ابتدا نتیجه را بگویید و سپس شواهد و توضیحات پشتیبان را بیاورید.
- اطلاعاتی منتشر کنید که فقط خودتان در اختیار دارید. از آمار اختصاصی، نتایج آزمایش‌های خود یا تصمیمی که گرفته‌اید و پیامدهای آن بنویسید. یک راهنمای عمومی باید با محتوای تمام سازمان‌های بزرگ فعال در آن حوزه رقابت کند و معمولاً در این رقابت عقب می‌ماند.
- منابع مشخص را همراه با پیوند ارائه کنید. هر ادعایی که حاصل کار خودتان نیست، باید به منبع اصلی آن پیوند داشته باشد.
- تاریخ به‌روزرسانی و دلیل اعتماد به محتوا را آشکار کنید. تاریخ آخرین به‌روزرسانی را روی صفحه درج کنید و واقعاً محتوا را به‌روز نگه دارید.
- ساختار ساده و روشن داشته باشید. از عنوان‌هایی به شکل پرسش، جدول برای مقایسه موارد و بخش پرسش‌های متداول کوتاه همراه با نشانه‌گذاری ساختاریافته استفاده کنید. اجرای این اقدامات ساده و کم‌هزینه است، اما صفحات استنادشده نشان می‌دهند که این ویژگی‌ها به‌تنهایی عامل کسب استناد نیستند.
چگونه ترافیک و استنادهای حاصل از جست‌وجوی هوش مصنوعی را رصد کنیم؟
سه شاخص وجود دارد که هیچ‌کدام به‌تنهایی تصویر کاملی ارائه نمی‌کنند. شاخص نخست، درخواست‌های ربات‌های ChatGPT-User، OAI-SearchBot و PerplexityBot به صفحات وب‌سایت در گزارش‌های سرور است. شاخص دوم، ترافیک ارجاعی در ابزارهای تحلیل وب است. پیوندهایی که ChatGPT به کاربران نشان می‌دهد، دارای پارامتر utm_source=chatgpt.com هستند؛ ما این پارامتر را در پیوندهای استنادشده آزمایش خودمان نیز مشاهده کردیم. شاخص سوم، تهیه فهرستی ثابت از پرسش‌ها، اجرای مجدد آن‌ها طبق یک برنامه زمانی مشخص و ثبت نتایج است. این تنها راه برای مشاهده تغییرات در طول زمان به شمار می‌رود.
به نتیجه یک اجرای آزمایشی اعتماد نکنید. بررسی مستقلی درباره جست‌وجوی ChatGPT، موارد متعددی از استنادهای نادرست را شناسایی کرده است. بنابراین، هم وجود استناد و هم نبود آن، شاخصی همراه با خطاست.
برای رفع مشکل استنادنشدن به وب‌سایت خودمان چه می‌کنیم؟
ما در حال بازسازی راهنماهای مفصل وب‌سایت بر اساس فهرست توصیه‌های بالا هستیم. کار را با پرسش‌های مشخصی شروع می‌کنیم که برای پاسخ‌دادن به آن‌ها داده‌های دست‌اول داریم و پس از آن، همان پرسش‌ها را دوباره آزمایش خواهیم کرد. اگر اعداد تغییر کنند، نتیجه را در همین مطلب اعلام می‌کنیم و اگر تغییری رخ ندهد نیز آن را گزارش خواهیم داد.
پرسش‌های متداول
آیا مسدودکردن GPTBot باعث می‌شود وب‌سایت من در ChatGPT نمایش داده نشود؟
خیر، نه به‌خودی‌خود. طبق توضیحات OpenAI، GPTBot با فرایند آموزش مدل‌ها مرتبط است، درحالی‌که OAI-SearchBot بر امکان نمایش صفحات در جست‌وجو تأثیر می‌گذارد. مسدودکردن ربات آموزش و مجازگذاشتن ربات جست‌وجو ترکیبی است که OpenAI پشتیبانی می‌کند.
آیا می‌توانم برای استنادشدن به وب‌سایتم در ابزارهای جست‌وجوی هوش مصنوعی پول پرداخت کنم؟
ما هیچ نشانه‌ای از وجود مسیر پولی برای استناد به وب‌سایت‌های معمولی پیدا نکردیم. مستنداتی که بررسی کردیم نیز واجد شرایط بودن صفحات را بر اساس دسترسی ربات‌های خزنده توضیح می‌دادند، نه پرداخت پول.
چقدر طول می‌کشد تا به یک صفحه جدید استناد شود؟
OpenAI می‌گوید اعمال تغییرات فایل robots.txt حدود ۲۴ ساعت زمان می‌برد. هیچ‌یک از شرکت‌های هوش مصنوعی مدت‌زمان لازم برای نمایه‌سازی یک صفحه جدید در جست‌وجو را اعلام نکرده‌اند؛ بنابراین، باید با وعده‌های مشخص درباره این زمان با تردید برخورد کرد.
آخرین به‌روزرسانی: ۲۷ اکتبر ۲۰۲۶. آزمایش شرح‌داده‌شده در این مقاله در ۲۷ اکتبر ۲۰۲۶ با استفاده از یک حساب کاربری ChatGPT انجام شد و آمار گزارش‌های سرور مربوط به روزهای ۲۵ و ۲۶ اکتبر است.