ممکن است وب‌سایت شما برای چت‌جی‌پی‌تی نامرئی باشد؛ بی‌آنکه کسی چنین تصمیمی گرفته باشد
در اول ژوئیه ۲۰۲۵، کلادفلر (Cloudflare) یکی از تنظیمات پیش‌فرض خود را تغییر داد. از آن تاریخ، تمام دامنه‌های جدیدی که به شبکه این شرکت اضافه می‌شوند، به‌طور پیش‌فرض خزنده‌های شناخته‌شده هوش مصنوعی را مسدود می‌کنند، مگر اینکه مالک سایت این تنظیم را غیرفعال کند. کلادفلر در مسیر دسترسی به حدود یک‌پنجم وب عمومی قرار دارد؛ بنابراین، بخش قابل‌توجهی از وب‌سایت‌هایی که از آن تاریخ راه‌اندازی شده‌اند، برای خزنده‌های مورد استفاده چت‌جی‌پی‌تی، کلود (Claude) و پرپلکسیتی (Perplexity) نامرئی هستند. بیشتر شرکت‌هایی که این وب‌سایت‌ها را اداره می‌کنند، حتی از این مسئله خبر ندارند.
این همان واقعیت ناخوشایند درباره دیده‌شدن در هوش مصنوعی در سال ۲۰۲۶ است: تصمیم‌هایی که تعیین می‌کنند آیا یک دستیار هوش مصنوعی می‌تواند به اطلاعات شرکت شما دسترسی پیدا کند یا نه، اغلب اساساً به دست هیچ‌کس گرفته نمی‌شوند. این وضعیت معمولاً نتیجه تنظیماتی است که از یک قالب آماده، پیکربندی پیش‌فرض سرویس میزبانی، افزونه امنیتی یا فایل robots.txt به ارث رسیده‌اند؛ فایلی که شاید سال‌ها پیش و برای هدفی کاملاً متفاوت نوشته شده باشد. نتیجه، افزایش تعداد کسب‌وکارهایی است که ناخواسته خود را از کانالی کنار گذاشته‌اند که خریدارانشان بیش از پیش به آن روی می‌آورند.
چرا این مسئله اکنون مهم‌تر از گذشته است؟
دو سال پیش، دیده‌نشدن در پاسخ‌های هوش مصنوعی تقریباً هزینه‌ای نداشت، زیرا خریداران اندکی برای تصمیم‌های جدی از این ابزارها استفاده می‌کردند. اما شرایط تغییر کرده است. پژوهشی از شرکت 6sense نشان می‌دهد که اکنون ۹۴ درصد خریداران کسب‌وکاربه‌کسب‌وکار (B2B) در مقطعی از فرایند خرید خود از مدل‌های زبانی بزرگ استفاده می‌کنند. دستیارهای هوش مصنوعی به محلی تبدیل شده‌اند که فهرست اولیه گزینه‌ها در آن شکل می‌گیرد، پرسش‌های مربوط به مقررات در آن پاسخ داده می‌شود و خریداران پیش از مراجعه به موتور جست‌وجو می‌پرسند «کدام ابزارها این کار را انجام می‌دهند؟»
اگر یک دستیار نتواند صفحات شما را دریافت کند، نمی‌تواند به آن‌ها استناد کند. بااین‌حال، پاسخ خریدار را ارائه خواهد داد و برای این کار از هر منبعی که بتواند به آن دسترسی پیدا کند استفاده می‌کند؛ منابعی که ممکن است متعلق به رقبای شما باشند.
واسیلی روساکوف، مدیر سئو در آژانس اروپایی NeuroSEO که با شرکت‌های نرم‌افزاری و فنی فعال در حوزه B2B همکاری می‌کند، می‌گوید: «نکته عجیب این است که این مشکل چندان دشوار نیست. هیچ‌کس از شما نمی‌خواهد از یک مدل هوش مصنوعی زرنگ‌تر باشید. فقط باید اجازه دهید وارد شود و محتوایی در اختیارش بگذارید که بتواند آن را بخواند. بیشتر وب‌سایت‌ها در همان قدم اول شکست می‌خورند و هرگز متوجه این مسئله نمی‌شوند.»
سه عاملی که بدون تصمیم آگاهانه، وب‌سایت را از دسترس خارج می‌کنند
در عمل، نامرئی‌شدن وب‌سایت برای هوش مصنوعی از سه منبع ناشی می‌شود؛ عواملی که می‌توانند اثر یکدیگر را تشدید کنند.
لایه شبکه توزیع محتوا (CDN) یا امنیت. تنظیم پیش‌فرض مسدودسازی کلادفلر شناخته‌شده‌ترین نمونه است، اما تنها نمونه نیست. سرویس‌های محافظت در برابر ربات‌ها به‌طور فزاینده‌ای خزنده‌های هوش مصنوعی را ترافیک نامطلوب تشخیص می‌دهند و دسترسی آن‌ها را با نمایش صفحات تأیید امنیتی به چالش می‌کشند یا کاملاً مسدود می‌کنند. مالک سایت متوجه مشکلی نمی‌شود، زیرا بازدیدکنندگان انسانی همچنان می‌توانند از سایت استفاده کنند. اما خزنده با یک صفحه چالش امنیتی یا پاسخ خطای ۴۰۳ مواجه می‌شود، شکست درخواست را ثبت می‌کند و سراغ سایت دیگری می‌رود.
فایل robots.txt. بسیاری از وب‌سایت‌ها در سال ۲۰۲۳، زمانی که بحث خزنده‌های هوش مصنوعی عمدتاً به داده‌های آموزشی محدود می‌شد، دسترسی GPTBot را به‌طور کلی مسدود کردند. این قانون همچنان در بسیاری از سایت‌ها وجود دارد و اکنون پیامد جانبی‌ای پیدا کرده است که کسی قصد آن را نداشت. شرکت OpenAI اکنون برای اهداف مختلف از خزنده‌های جداگانه استفاده می‌کند: GPTBot داده‌های آموزشی را جمع‌آوری می‌کند، OAI-SearchBot صفحات را برای نمایش در نتایج جست‌وجوی چت‌جی‌پی‌تی نمایه‌سازی می‌کند و ChatGPT-User زمانی صفحه‌ای را دریافت می‌کند که کاربر مستقیماً درباره آن پرس‌وجو کند. وب‌سایتی که تمام خزنده‌های متعلق به OpenAI را بر اساس یک الگوی کلی یا از روی عادت مسدود کرده باشد، هم از جست‌وجوی چت‌جی‌پی‌تی کنار می‌ماند و هم از مجموعه داده‌های آموزشی. این‌ها دو تصمیم متفاوت‌اند، درحالی‌که بیشتر شرکت‌ها فقط قصد داشته‌اند یکی از آن‌ها را بگیرند.
لایه رندر یا پردازش صفحه. گوگل پیش از نمایه‌سازی یک صفحه، جاوااسکریپت آن را اجرا می‌کند؛ اما بیشتر خزنده‌های هوش مصنوعی چنین کاری انجام نمی‌دهند. مطالعه‌ای درباره گزارش‌های خزیدن وب که شرکت Vercel به همراه MERJ در دسامبر ۲۰۲۴ منتشر کرد، نشان داد هیچ‌یک از خزنده‌های اصلی هوش مصنوعی جاوااسکریپت را اجرا نمی‌کردند. GPTBot و ClaudeBot به‌ترتیب در ۱۱٫۵ و ۲۳٫۸ درصد درخواست‌های خود فایل‌های جاوااسکریپت را دریافت کرده بودند، اما هیچ‌کدام از این فایل‌ها را اجرا نکردند. در وب‌سایتی که بر پایه معماری برنامه تک‌صفحه‌ای ساخته شده است، ممکن است توضیحات محصول، قیمت‌ها و مستندات فقط پس از اجرای یک اسکریپت در دسترس قرار گیرند. برای خزنده هوش مصنوعی، چنین صفحه‌ای چیزی جز پوسته‌ای خالی با یک نوار پیمایش نیست.
تمایزی که تصمیم‌گیری را تغییر می‌دهد
بخش زیادی از بحث عمومی درباره خزنده‌های هوش مصنوعی به انتخابی دوگانه تقلیل پیدا کرده است: یا اجازه دهید شرکت‌های هوش مصنوعی محتوای شما را دریافت کنند یا دسترسی آن‌ها را ببندید. برای بیشتر کسب‌وکارها، این چارچوب‌بندی درست نیست؛ زیرا خزنده‌ها وظایف متفاوتی دارند و می‌توان با هرکدام به‌صورت جداگانه برخورد کرد.
خزنده‌های آموزشی محتوایی را جمع‌آوری می‌کنند که ممکن است در وزن‌های یک مدل هوش مصنوعی بازتاب پیدا کند. مسدودکردن آن‌ها انتخابی مشروع است، به‌ویژه برای ناشرانی که محتوایشان خودِ محصول آن‌هاست. در مقابل، خزنده‌های جست‌وجو و بازیابی اطلاعات صفحات را برای پاسخ‌دادن به پرسش‌های جاری و ارجاع به منابع دریافت می‌کنند. مسدودکردن این گروه باعث می‌شود وب‌سایت شما از پاسخ‌ها حذف شود. یک شرکت B2B که نرم‌افزار، خدمات یا تخصص می‌فروشد، معمولاً به‌شدت خواهان دیده‌شدن از طریق گروه دوم است و دلیل محکمی هم برای ردکردن گروه اول ندارد.
تفکیک مشابه در سرویس‌های گوگل به‌آسانی ممکن است اشتباه برداشت شود. Google-Extended اصلاً یک خزنده نیست؛ بلکه شناسه‌ای در فایل robots.txt است که تعیین می‌کند آیا محتوایی که Googlebot قبلاً جمع‌آوری کرده است، می‌تواند برای Gemini استفاده شود یا نه. این شناسه هیچ تأثیری بر جست‌وجوی گوگل ندارد و از آنجا که قابلیت AI Overviews بخشی از جست‌وجوی گوگل است، مسدودکردن Google-Extended نیز وب‌سایت را از این پاسخ‌ها حذف نمی‌کند. بنابراین، سایت‌هایی که با هدف ناپدیدشدن از AI Overviews این شناسه را مسدود می‌کنند، در عمل هیچ‌چیز را تغییر نداده‌اند، جز سیاست استفاده از محتوایشان برای آموزش مدل‌ها.
برای تصمیم‌گیری بهتر، می‌توان وظیفه هر خزنده و هدف موردنظر از دسترسی آن را مشخص کرد:
- خزنده‌های آموزشی (GPTBot و ClaudeBot): محتوای شما ممکن است به شکل‌گیری دانش عمومی مدل کمک کند. اگر می‌خواهید مدل شناخت خوبی از حوزه فعالیتتان داشته باشد، دسترسی را مجاز کنید؛ اگر محتوایتان خودِ محصول شماست، می‌توانید آن‌ها را مسدود کنید.
- خزنده‌های جست‌وجو و بازیابی اطلاعات (OAI-SearchBot، PerplexityBot و Claude-SearchBot): این خزنده‌ها می‌توانند صفحات شما را برای ارائه پاسخ‌های زنده دریافت کنند و به آن‌ها استناد کنند. تقریباً همه شرکت‌های B2B می‌خواهند دسترسی این گروه مجاز باشد.
- دریافت‌کننده‌های فعال‌شونده با درخواست کاربر (ChatGPT-User): صفحه زمانی دریافت می‌شود که فردی درباره آن پرس‌وجو کند. مسدودکردن این دسترسی به این معناست که اگر مشتری بالقوه نشانی اینترنتی شما را در چت‌جی‌پی‌تی وارد کند، محتوای صفحه در اختیارش قرار نخواهد گرفت.
- شناسه‌های سیاست‌گذاری (Google-Extended): این مورد اصلاً خزیدن در وب را کنترل نمی‌کند؛ بلکه تعیین می‌کند محتوایی که قبلاً جمع‌آوری شده است، چگونه می‌تواند مورد استفاده قرار گیرد.
ممیزی سی‌دقیقه‌ای که هر کسی می‌تواند انجام دهد
برای انجام این بررسی‌ها نیازی به برنامه‌نویس نیست، هرچند یک متخصص فنی می‌تواند کار را سریع‌تر پیش ببرد. راهنمای منتشرشده آژانس درباره بهینه‌سازی وب‌سایت برای خزنده‌های هوش مصنوعی تمام مراحل را توضیح می‌دهد؛ اما نسخه خلاصه آن را می‌توان در یک فرصت کوتاه، مثلاً هنگام استراحت ناهار، انجام داد.
- فایل robots.txt سایت خود را بررسی کنید. نشانی yoursite.com/robots.txt را باز کنید و به دنبال GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، PerplexityBot و Google-Extended بگردید. درباره هر قانون محدودکننده‌ای که پیدا می‌کنید، بپرسید چه کسی آن را اضافه کرده و چرا. اگر هیچ‌کس پاسخ را نمی‌داند، احتمالاً این محدودیت نتیجه یک تصمیم آگاهانه نبوده است.
- تنظیمات CDN و امنیت را بررسی کنید. اگر وب‌سایت شما پشت کلادفلر یا سرویس مشابهی قرار دارد، تنظیمات مربوط به خزنده‌های هوش مصنوعی را پیدا کنید و وضعیت آن‌ها را بررسی کنید. کلادفلر میان ربات‌های آموزشی و گروه‌های دیگر تفاوت قائل می‌شود؛ بنابراین، اگر تنظیم پیش‌فرض سایت پس از ژوئیه ۲۰۲۵ ایجاد شده باشد، احتمال دارد دسترسی مسدود شده باشد.
- یک صفحه را همان‌طور که خزنده دریافت می‌کند، دریافت کنید. از طریق ترمینال، درخواستی برای یک صفحه مهم ارسال کنید و عامل کاربر (User-Agent) را روی GPTBot تنظیم کنید. سپس HTML خام دریافتی را بخوانید. اگر بدنه صفحه تقریباً خالی است و محتوا فقط در مرورگر ظاهر می‌شود، مشکل به نحوه رندرشدن صفحه مربوط است.
- گزارش‌های سرور را بررسی کنید. نام خزنده‌های مرحله اول را جست‌وجو کنید و کدهای پاسخ سرور را بررسی کنید. وضعیت مطلوب، جریان پیوسته‌ای از پاسخ‌های ۲۰۰ همراه با صفحات کامل است. تکرار پاسخ‌های ۴۰۳، صفحات چالش امنیتی یا پاسخ‌های ۴۰۲ نشان می‌دهد که یکی از لایه‌های بالادستی دسترسی خزنده‌ها را مسدود می‌کند.
- مستقیماً از دستیارهای هوش مصنوعی سؤال کنید. پرسشی را که احتمال دارد خریدار بپرسد، در چت‌جی‌پی‌تی، پرپلکسیتی و جمینای وارد کنید و ببینید آیا نام شرکت شما در پاسخ ظاهر می‌شود و آیا به صفحات وب‌سایتتان استناد شده است یا نه. این آزمایش را چند بار تکرار کنید، زیرا پاسخ‌ها ممکن است متفاوت باشند.
مرحله پنجم همان چیزی است که توجه مدیران ارشد را در جلسات هیئت‌مدیره جلب می‌کند. اما چهار مرحله نخست هستند که علت این نتیجه را توضیح می‌دهند.
با توجه به یافته‌ها چه باید کرد؟
راه‌حل‌ها چندان جذاب یا پیچیده نیستند. دسترسی خزنده‌های جست‌وجو و بازیابی اطلاعاتی را که می‌خواهید به محتوایتان استناد کنند، باز کنید و این اجازه را به‌صراحت در فایل robots.txt ثبت کنید؛ به‌جای آنکه صرفاً هیچ قانون محدودکننده‌ای وجود نداشته باشد. تنظیمات CDN را از یک وضعیت پیش‌فرض به انتخابی آگاهانه تبدیل کنید. اگر محتوای صفحات فقط پس از اجرای جاوااسکریپت ظاهر می‌شود، نسخه‌ای از همان صفحات را با رندر سمت سرور یا تولید ایستا ارائه دهید. این راه‌حل آخر به کار توسعه نیاز دارد، اما کاری متداول است و به گوگل نیز کمک می‌کند.
پس از آن، نوبت به بخشی می‌رسد که کمتر مکانیکی است. حتی اگر خزنده بتواند به صفحه دسترسی پیدا کند، باید محتوایی ارزشمند برای نقل‌قول‌کردن در آن بیابد. مدل‌ها بخش‌هایی از متن را استخراج می‌کنند، نه لزوماً تمام صفحه را. محتوایی بیشتر شانس استناد دارد که در همان جمله‌های ابتدایی مستقیماً به پرسش پاسخ دهد، واقعیت‌هایی را بیان کند که شرکت بتواند مسئولیت آن‌ها را بپذیرد و ادعاهای یکسانی را در سراسر وب‌سایت، پلتفرم‌های نقد و بررسی و رسانه‌های تخصصی مطرح کند. متن بازاریابی‌ای که به‌تدریج به وعده‌ای مبهم می‌رسد، ممکن است با موفقیت دریافت شود، اما نادیده گرفته خواهد شد.
البته، دلایل معقولی هم برای انجام‌ندادن این اقدامات وجود دارد. یک ناشر که درآمدش به ورود خوانندگان به صفحه وابسته است، نه صرفاً به ذکر نامش به‌عنوان منبع، ممکن است به این نتیجه برسد که پاسخ‌های هوش مصنوعی کانالی است که هیچ درآمدی ایجاد نمی‌کند و در عوض چیزی از او می‌گیرد. آزمایش کلادفلر با مدل پرداخت به‌ازای هر بار خزیدن، که تا زمانی که خزنده با پرداخت مبلغی موافقت نکند پاسخ ۴۰۲ برمی‌گرداند، دقیقاً برای چنین رویکردی در نظر گرفته شده است. مسئله این نیست که همه باید دسترسی را آزاد کنند؛ مسئله این است که این تصمیم باید آگاهانه و به دست کسی گرفته شود که بداند این دسترسی‌ها چه نقشی دارند.
کدام شرکت‌ها بیشترین سود را می‌برند؟
کسب‌وکارهایی که بیشترین منفعت را از رفع این مشکل می‌برند، لزوماً آن‌هایی نیستند که بزرگ‌ترین بودجه‌های بازاریابی را دارند. در عوض، آن‌ها شرکت‌هایی هستند که خریدارانشان پرسش‌های فنی و مشخصی را از دستیارهای هوش مصنوعی مطرح می‌کنند؛ از جمله فروشندگان نرم‌افزار، متخصصان انطباق با مقررات، شرکت‌های فعال در حوزه الزامات قانونی، تأمین‌کنندگان تجهیزات مهندسی و علمی و هر کسب‌وکاری که به بخشی از بازار خدمات می‌دهد که خرید در آن مستلزم ماه‌ها تحقیق است. در چنین بازارهایی، وقتی یک دستیار نام سه فروشنده را مطرح می‌کند، بخش عمده فرایند انتخاب اولیه انجام شده است؛ فروشنده چهارمی که دستیار نتوانسته محتوایش را بخواند، عملاً وجود خارجی نداشته است.
روساکوف می‌گوید: «وب‌سایت‌هایی را بررسی می‌کنیم که سال‌ها و با صرف هزینه واقعی برای تولید محتوا وقت گذاشته‌اند و محتوایشان هم خوب است. بعد گزارش‌های سرور را بررسی می‌کنیم و می‌بینیم خزنده‌های هوش مصنوعی از همان روز نصب یک افزونه امنیتی، پاسخ ۴۰۳ دریافت کرده‌اند. تمام آن تلاش‌ها بی‌نتیجه مانده است، چون سیستم‌هایی که خریداران این شرکت‌ها اکنون از آن‌ها استفاده می‌کنند، حتی یک کلمه از محتوایشان را نخوانده‌اند. پیش از آنکه کسی مقاله دیگری بنویسد، باید ابتدا همین مشکل را برطرف کند.»
درباره NeuroSEO
NeuroSEO یک آژانس تخصصی کوچک در حوزه جست‌وجو است که به شرکت‌های نرم‌افزار به‌عنوان سرویس (SaaS)، هوش مصنوعی و کسب‌وکارهای فنی B2B انگلیسی‌زبان در سراسر اروپا خدمات ارائه می‌دهد. این آژانس بیش از ۳۰ متخصص ارشد دارد که راهبرد، تولید محتوا، سئوی فنی، توسعه فرانت‌اند و عملیات توسعه و فناوری اطلاعات (DevOps) را در داخل مجموعه انجام می‌دهند و برنامه‌های مربوط به جست‌وجو و دیده‌شدن در هوش مصنوعی را به‌عنوان یک پروژه یکپارچه پیش می‌برند. این آژانس رتبه یا استناد در پاسخ‌های هوش مصنوعی را تضمین نمی‌کند؛ بلکه به انجام کار، رعایت ترتیب مراحل و ارائه گزارش‌دهی صادقانه متعهد است.