چگونه طرح آزمایشی کلادفلر با مشارکت ۱ درصد از شبکه‌اش به جست‌وجوی ChatGPT کمک کرد

تام ونس | به‌روزرسانی: ۲۴ اکتبر ۲۰۲۶ | زمان مطالعه: ۱۸ دقیقه

کلادفلر و OpenAI می‌گویند یک طرح پژوهشی آزمایشی که حدود یک درصد از شبکه کلادفلر را در بر می‌گرفت، به موتور جست‌وجوی ChatGPT کمک کرده است صدها میلیون صفحه وب را پیدا کند و به فهرست خود بیفزاید؛ صفحاتی که پیش‌تر شناسایی نشده بودند. این موضوع بر اساس گزارش نشریه Search Engine Journal درباره نتایج اعلام‌شده در ۱۵ اکتبر مطرح شده است. طرح مشترک کلادفلر و OpenAI از ژوئیه ۲۰۲۶ آغاز شده و همچنان یک پروژه پژوهشی است، نه محصولی تجاری.

در همین بازه سه‌هفته‌ای، کلادفلر دو اقدام دیگر نیز انجام داد. این شرکت در ۲ اکتبر نسخه بتای رابط برنامه‌نویسی کاربردی (API) جست‌وجوی وب خود را عرضه کرد که سه ارائه‌دهنده شخص ثالث را در بر می‌گیرد و قیمت‌های پایه آن‌ها تا ۲۸ برابر با یکدیگر تفاوت دارد. همچنین در اواسط اکتبر اعلام کرد که ربات‌های تأییدشده به‌طور مستمر از نظر رفتاری ارزیابی خواهند شد؛ این ارزیابی ابتدا بررسی می‌کند که آیا ربات‌ها به فایل robots.txt احترام می‌گذارند و پس از دریافت پاسخ HTTP 429 سرعت درخواست‌های خود را کاهش می‌دهند یا خیر.

این اقدامات در کنار یکدیگر نشان می‌دهند کلادفلر می‌خواهد با گسترش جست‌وجوی مبتنی بر هوش مصنوعی، جایگاهی میان خزنده‌ها و وب‌سایت‌هایی داشته باشد که آن‌ها بررسی می‌کنند؛ جایگاهی که در آن می‌تواند از یک سو امکان دیده‌شدن محتوا را برای موتورهای جست‌وجو فراهم کند و از سوی دیگر ابزارهای کنترل دسترسی را در اختیار صاحبان وب‌سایت‌ها بگذارد. کلادفلر پیش‌تر نیز برای رفع آسیب‌پذیری‌های امنیتی در لایه لبه شبکه با OpenAI همکاری کرده بود؛ بنابراین، طرح جست‌وجوی جدید ادامه رابطه‌ای پیشین است، نه آغاز همکاری دو شرکت.

کلادفلر و OpenAI در ۱۵ اکتبر دقیقاً چه چیزی گزارش کردند؟

این اعلام در قالب مطلبی در وبلاگ کلادفلر منتشر شد که کارکنان OpenAI نیز در نگارش آن مشارکت داشتند. کلادفلر نخستین‌بار در ۸ ژوئیه این پژوهش را توضیح داد و سپس طرح آزمایشی را با گروهی از مشارکت‌کنندگان اجرا کرد که حدود یک درصد از کل شبکه این شرکت را تشکیل می‌دادند. دو شرکت در ۱۵ اکتبر اعلام کردند که داده‌ها و نشانه‌های حاصل از این طرح به خزنده جست‌وجوی OpenAI کمک کرده است صدها میلیون صفحه ناشناخته را برای ChatGPT Search کشف و نمایه‌سازی کند.

بااین‌حال، رقم اصلی عمداً یا دست‌کم در عمل مبهم باقی مانده است: شرکت‌ها فقط از «صدها میلیون» صفحه سخن گفته‌اند. گزارش‌های منتشرشده درباره این اعلام نیز همین عبارت را تکرار می‌کنند و هیچ رسانه‌ای رقم دقیق‌تری پیدا نکرده است. این موضوع اهمیت دارد، زیرا کلادفلر می‌گوید شبکه‌اش در فاصله زمانی حداکثر ۵۰ میلی‌ثانیه‌ای از ۹۵ درصد جمعیت متصل به اینترنت جهان قرار دارد؛ بنابراین، حتی یک درصد از این شبکه نیز بخش قابل‌توجهی از زیرساخت وب را در بر می‌گیرد.

هدف اعلام‌شده این طرح محدود و مشخص بود. OpenAI می‌خواست بررسی کند آیا اطلاعات به‌دست‌آمده از سطح شبکه می‌تواند به خزنده‌اش کمک کند زمان خود را صرف صفحاتی کند که ارزش نمایه‌سازی دارند. کلادفلر نیز می‌خواست نشان دهد اطلاعاتی که از ترافیک عبوری شبکه مشاهده می‌کند، بدون تحویل محتوای صفحات به این هدف کمک می‌کند. دو شرکت همچنین اعلام کردند که در این طرح، فراداده‌های وب برای جست‌وجو و کشف صفحات به کار رفته‌اند و محتوای صفحات برای آموزش مدل در اختیار یکدیگر قرار نگرفته است.

نمونه‌هایی که در مطلب شرکت‌ها آمده‌اند، عمداً ساده و روزمره‌اند: راهنمای کاربری یک مدل مشخص ماشین لباس‌شویی، آخرین شرایط و هزینه‌های صدور گذرنامه و منو و ساعات کار یک رستوران. منظور کلادفلر این است که چنین صفحاتی حتی اگر وب‌سایت‌های دیگر به آن‌ها پیوند نداده باشند، برای کاربران ارزش واقعی دارند. خزنده‌ای که صفحات را با دنبال‌کردن پیوندهای موجود در صفحات شناخته‌شده پیدا می‌کند، معمولاً دقیقاً همین نوع محتوا را از دست می‌دهد.

نشانه‌های کشف صفحات چگونه کار می‌کنند؟

کلادفلر در مسیر بخش بزرگی از ترافیک وب قرار دارد و به همین دلیل می‌تواند ببیند کدام صفحات واقعاً بازدید دریافت می‌کنند، چه صفحاتی تغییر کرده‌اند و کدام نشانی‌های اینترنتی به مقصدی نمی‌رسند. این شرکت می‌تواند خلاصه‌ای پردازش‌شده از این اطلاعات را در اختیار خزنده OpenAI بگذارد. ورودی‌هایی که تاکنون توضیح داده شده‌اند، شامل تازگی محتوا، کیفیت ترافیک و شواهدی هستند که نشان می‌دهند یک صفحه واقعاً تغییر کرده است.

این نشانه‌ها چه مواردی را پوشش می‌دهند؟

نشانه‌ها در دو جهت عمل می‌کنند. برخی خزنده را به سوی صفحاتی هدایت می‌کنند که ارزش دریافت و بررسی دارند. برخی دیگر مشخص می‌کنند کجا نباید درخواست‌های بیشتری ارسال شود؛ برای مثال، نشانی‌های ازکارافتاده، وب‌سایت‌هایی که تقریباً هر نشانی درخواستی را به صفحه اصلی هدایت می‌کنند و نشانی‌هایی که محتوای تکراری دارند. نشانه تغییر نیز به خزنده می‌گوید آیا صفحه‌ای که قبلاً شناخته شده است ارزش بررسی دوباره دارد یا اینکه محتوای آن نسبت به دفعه قبل هیچ تغییری نکرده است.

شرکت‌ها همچنین در حال آزمایش نشانه‌های ایمنی در سطح هر صفحه هستند. نمونه‌ای که ارائه کرده‌اند، یک فرم ورود جعلی است که مهاجم در یکی از صفحات یک وب‌سایت معتبر قرار می‌دهد. هدف این است که همان صفحه مشخص برای حذف از فهرست جست‌وجو علامت‌گذاری شود، بی‌آنکه سایر بخش‌های دامنه مسدود شوند. نتایج اولیه نشان می‌دهد این نشانه‌ها می‌توانند به شناسایی صفحاتی کمک کنند که باید از فهرست جست‌وجو کنار گذاشته شوند.

این نشانه‌ها چه کاری انجام نمی‌دهند؟

نشانه کشف صفحه به‌خودی‌خود مجوز دسترسی ایجاد نمی‌کند. تنظیمات صاحبان دامنه همچنان معتبرند؛ بنابراین، اگر صفحه‌ای دسترسی خزنده جست‌وجوی OpenAI را مسدود کرده باشد، حتی اگر شبکه کلادفلر آن را تازه و پرترافیک تشخیص دهد، همچنان مسدود خواهد ماند. کلادفلر در مطلب خود مستقیماً بر این نکته تأکید کرده است و Search Engine Journal نیز آن را محدودیت اصلی این برنامه می‌داند.

این نشانه‌ها رتبه‌بندی نتایج را هم تعیین نمی‌کنند. OpenAI صفحات کشف‌شده را مستقلاً ارزیابی و رتبه‌بندی می‌کند؛ بنابراین، حضور یک صفحه در فهرست جست‌وجو به معنای تضمین استناد به آن در پاسخ‌ها نیست. ناشرانی که رقم صدها میلیون صفحه جدید را به معنای صدها میلیون استناد جدید می‌خوانند، برداشت درستی از اعلام شرکت‌ها ندارند.

چرا مشارکت یک درصدی هم محدود است و هم معنادار؟

یک درصد در نگاه اول رقم کوچکی به نظر می‌رسد، اما وب‌سایت کلادفلر اعلام می‌کند که شبکه این شرکت در بیش از ۳۳۵ شهر حضور دارد و خدمات آن ۴۵ درصد از شرکت‌های حاضر در فهرست فورچون ۵۰۰ را پشتیبانی می‌کند. چنین گروهی همچنان مجموعه متنوعی از وب‌سایت‌ها، از خرده‌فروشان بزرگ تا صفحات کسب‌وکارهای کوچک، را شامل می‌شود. وب‌سایت MACCUS نتیجه را این‌گونه توصیف کرد که کلادفلر به ChatGPT کمک کرده صدها میلیون صفحه ناشناخته را پیدا کند؛ توصیفی که مقیاس پروژه را بهتر از بیان صرفِ درصد نشان می‌دهد.

محدودبودن گروه آزمایشی از زاویه دیگری نیز اهمیت دارد. اگر نمونه‌ای یک‌درصدی توانسته این تعداد صفحه ناشناخته را آشکار کند، ممکن است مجموعه صفحات کشف‌نشده در ۹۹ درصد باقی‌مانده بسیار بزرگ‌تر باشد. البته این یک استنباط است، نه آماری که شرکت‌ها گزارش کرده باشند؛ آن‌ها نیز چنین ادعایی مطرح نکرده‌اند. آنچه نمونه نشان می‌دهد این است که روش‌های کشف مبتنی بر پیوند شکاف‌های بزرگی دارند و اطلاعات ترافیک شبکه می‌تواند بخشی از این شکاف‌ها را پر کند.

کلادفلر اعلام کرده است که قصد دارد این قابلیت را در دسترس کاربران بیشتری قرار دهد. به گزارش Search Engine Journal، این شرکت در مطالب پیشین خود از برنامه‌ای برای گسترش دسترسی در ادامه سال ۲۰۲۶ خبر داده بود، اما در اعلامیه ۱۵ اکتبر تاریخ مشخصی تعیین نکرد. به گفته دو شرکت، مرحله بعدی شامل بهبود انتخاب صفحات، سریع‌تر و قابل‌اعتمادتر کردن نشانه‌های تغییر و سنجش پیامدهای کشف صفحات خواهد بود.

شرکت‌ها چه اطلاعاتی را منتشر نکرده‌اند؟

اطلاعاتی که در اعلامیه وجود ندارد، به‌اندازه ادعاهای مطرح‌شده اهمیت دارد. در این مطلب مشخص نشده است که صفحات تازه نمایه‌سازی‌شده با چه فراوانی در پاسخ‌های ChatGPT مورد استناد قرار گرفته‌اند، این صفحات چه تعداد بازدید از ChatGPT دریافت کرده‌اند یا کدام وب‌سایت‌ها در گروه آزمایشی مشارکت داشته‌اند و آیا صفحات تازه کشف‌شده متعلق به همان وب‌سایت‌ها هستند یا خیر.

همچنین هیچ آماری درباره حجم خزیدن یا میزان بار واردشده به سرورها ارائه نشده است؛ با اینکه یکی از اهداف اعلام‌شده، کاهش بار غیرضروری بر زیرساخت مشتریان کلادفلر است. در مطلب شرکت‌ها پذیرفته شده است که کشف صفحات جدید ممکن است در ابتدا میزان خزیدن را افزایش دهد، زیرا این صفحات باید ارزیابی و نمایه‌سازی شوند. بنابراین، برای صاحب یک وب‌سایت، نخستین اثر قابل‌مشاهده این برنامه ممکن است افزایش درخواست‌های خزنده OpenAI در گزارش‌های سرور باشد، نه افزایش بازدید ارجاعی.

کلادفلر می‌گوید دو شرکت اکنون در حال بررسی این موضوع‌اند که کشف بهتر صفحات چگونه می‌تواند به نتایج تجاری منجر شود. تا زمانی که آمار منتشر نشود، برداشت محتاطانه این است که طرح آزمایشی توانایی دسترسی به صفحات را نشان داده، نه ارزش اقتصادی آن را. دسترسی و کشف، بخش ساده‌تر معادله است؛ ناشران بیش از هر چیز می‌خواهند بدانند آیا صفحه کشف‌شده در نهایت برایشان بازدیدکننده‌ای به همراه می‌آورد یا خیر.

قیمت API جست‌وجوی وب کلادفلر؛ سه ارائه‌دهنده با اختلاف قیمت ۲۸ برابری

رابط برنامه‌نویسی کاربردی جست‌وجوی وب کلادفلر در ۲ اکتبر ۲۰۲۶ وارد مرحله بتا شد. این سرویس به عامل‌ها و برنامه‌های کاربردی اجازه می‌دهد وب زنده را جست‌وجو کنند، به‌جای آنکه نشانی صفحات را حدس بزنند یا تنها به اطلاعات موجود تا زمان پایان داده‌های آموزشی یک مدل متکی باشند. این سرویس از طریق AI Gateway ارائه می‌شود؛ در نتیجه، هر جست‌وجو در گزارش‌های درگاه ثبت می‌شود و هزینه آن بر اساس قیمت پایه ارائه‌دهنده از اعتبار AI Gateway کسر خواهد شد، بدون آنکه کلادفلر مبلغی به‌عنوان افزایش قیمت دریافت کند. توسعه‌دهندگان همچنین می‌توانند کلید API ارائه‌دهنده موردنظر خود را به کار ببرند.

این سرویس با سه ارائه‌دهنده عرضه شد: Ceramic.ai، Exa و Linkup. کلادفلر می‌گوید هر سه ارائه‌دهنده برای درخواست‌هایی که از پلتفرم آن عبور می‌کنند، از سیاست نگهداری صفر داده پشتیبانی می‌کنند و رعایت استانداردهای خزیدن ربات‌های تأییدشده این شرکت را پذیرفته‌اند. طبق این استانداردها، خزنده‌های ارائه‌دهندگان باید هویت خود را اعلام کنند، به robots.txt احترام بگذارند و پیوند منابع را همراه نتایج بازگردانند.

قیمت‌های هر هزار درخواست از مستندات کلادفلر در ۲ اکتبر گرفته شده‌اند. رقم هزینه یک میلیون درخواست نیز با ضرب ساده به دست آمده است. بنابراین، یک عامل هوش مصنوعی که در هر ماه یک میلیون جست‌وجو انجام می‌دهد، بسته به ارائه‌دهنده بین ۲۵۰ تا ۷۰۰۰ دلار هزینه خواهد داشت. این اختلاف نشان می‌دهد که انتخاب ارائه‌دهنده، بیش از هر عامل دیگری در این زنجیره بر هزینه نهایی اثر می‌گذارد. احتمال دارد قیمت با کیفیت نتایج و عمق نمایه جست‌وجو ارتباط داشته باشد، اما مستندات منتشرشده مقایسه‌ای مبتنی بر آزمون‌های استاندارد ارائه نمی‌کنند؛ در نتیجه، گزینه ارزان‌تر لزوماً انتخاب نامناسب‌تری نیست.

شرکت‌های سازنده مدل‌های رقیب نیز در حال ایجاد لایه‌های جست‌وجوی اختصاصی خود هستند. DeepSeek هم‌زمان با انتشار نسخه جدید Flash، API جست‌وجوی اختصاصی خود را عرضه کرد. این موضوع به این معناست که بازار خدمات جست‌وجوی کلادفلر با گزینه‌هایی رقابت خواهد کرد که خود شرکت‌های توسعه‌دهنده مدل‌های هوش مصنوعی مستقیماً ارائه می‌کنند.

قیمت جست‌وجوی اختصاصی OpenAI در مقایسه با کلادفلر

بر اساس گزارش منتشرشده، صفحه قیمت‌گذاری API شرکت OpenAI که در ۲۳ اکتبر به‌روزرسانی شده، هزینه جست‌وجوی وب را ۱۰ دلار به‌ازای هر هزار فراخوان اعلام می‌کند. طبق این گزارش، توکن‌های محتوای جست‌وجو رایگان‌اند، اما هزینه معمول توکن‌های مدل همچنان محاسبه می‌شود. این رقم تنها در یک منبع از پژوهش ما آمده است؛ بنابراین باید آن را رقمی گزارش‌شده دانست و پیش از تنظیم بودجه، صفحه رسمی قیمت‌گذاری را بررسی کرد. در یک جدول جداگانه از مرکز راهنمای OpenAI برای ChatGPT Enterprise نیز همان هزینه ۱۰ دلاری با بیان متفاوتی مطرح شده است: اجرای جست‌وجوی وب به‌علاوه توکن‌های محتوای جست‌وجو که بر اساس نرخ مدل محاسبه می‌شوند.

اگر رقم ۱۰ دلار درست باشد، ابزار اختصاصی OpenAI چهل برابر گران‌تر از ارزان‌ترین ارائه‌دهنده متصل به کلادفلر و حدود ۱٫۴ برابر گران‌تر از گران‌ترین گزینه آن است. البته این مقایسه کاملاً هم‌ارز نیست. ابزار OpenAI بازیابی اطلاعات را با مدل‌ها و رتبه‌بندی اختصاصی خود ترکیب می‌کند، در حالی که API کلادفلر نتایج جست‌وجو را به مدلی که توسعه‌دهنده انتخاب کرده است تحویل می‌دهد. تیمی که از قبل به مدل‌های OpenAI متعهد است، ممکن است برای سهولت استفاده این هزینه اضافی را بپذیرد؛ اما تیمی که از چند مدل مختلف استفاده می‌کند، احتمالاً یک لایه مستقل از ارائه‌دهنده مدل را ترجیح خواهد داد.

OpenAI همچنین اعلام کرده است که هزینه استفاده از API جدا از اشتراک ChatGPT محاسبه می‌شود؛ این موضوع شامل طرح‌های Plus، Business، Enterprise و Edu نیز می‌شود. بنابراین، پرداخت هزینه اشتراک ChatGPT به معنای دریافت اعتبار رایگان برای جست‌وجوی API نیست. قابلیت جست‌وجوی ChatGPT برای کاربران طرح‌های Free، Go، Plus، Pro، Business، Enterprise و Edu در دسترس است، البته محدودیت‌های استفاده هر طرح اعمال می‌شود؛ کاربران بدون ورود به حساب نیز می‌توانند از آن استفاده کنند.

ربات‌های تأییدشده اکنون از نظر رفتار نیز ارزیابی می‌شوند، نه فقط هویت

در مطلبی که کریس تسوکالادلیس در اواسط اکتبر منتشر کرد، کلادفلر توضیح می‌دهد که هویت و قابل‌اعتمادبودن دو مفهوم متفاوت‌اند. گواهی‌نامه رانندگی مشخص می‌کند فرد کیست و آزمون رانندگی را گذرانده است، اما تضمین نمی‌کند که در آینده نیز رانندگی ایمنی داشته باشد. برای دریافت وضعیت ربات تأییدشده، یک ربات باید هویت خود را به‌درستی و به‌صورت امن اعلام کند، فقط کاری را انجام دهد که ادعا می‌کند انجام می‌دهد و از رفتار آسیب‌زا بپرهیزد. ربات‌ها درخواست‌های خود را با Web Bot Auth امضا می‌کنند و اطلاعات آن‌ها در فهرست عمومی‌ای به نام BotBase ثبت می‌شود.

سامانه جدید بر معیار سوم تمرکز دارد. کلادفلر اکنون بررسی می‌کند که یک خزنده تا چه اندازه به ترجیحات وب‌سایت‌ها احترام می‌گذارد و بر اساس مشاهدات، بازه‌ای از اعتماد را تعیین می‌کند که به گفته شرکت قابل‌توضیح است. این بازه نشان می‌دهد ربات تا چه اندازه رفتار باثباتی دارد و کدام رفتارهای مشاهده‌شده در ارزیابی آن نقش داشته‌اند. کلادفلر تأکید می‌کند که این امتیاز قضاوتی دائمی درباره ربات یا گرداننده آن نیست.

آزمون‌های robots.txt و پاسخ HTTP 429

نخستین نشانه بررسی می‌کند که آیا ترافیک مشاهده‌شده یک ربات با ترجیحاتی مطابقت دارد که وب‌سایت در فایل robots.txt و مطابق استاندارد RFC 9309 منتشر کرده است یا خیر. کلادفلر می‌گوید تخلف‌های پراکنده ممکن است اهمیت چندانی نداشته باشند؛ آنچه بررسی می‌شود، الگوهای تکرارشونده‌ای است که نشان می‌دهند ربات ترجیحات وب‌سایت را نادیده می‌گیرد. این شرکت همچنین یادآوری می‌کند که robots.txt حداقل قواعد را مشخص می‌کند و هر چیزی که در آن ذکر نشده است، لزوماً مجاز نیست.

نشانه دوم به ربات‌هایی مربوط می‌شود که حتی در مسیرهای مجاز نیز درخواست‌های بیش از حد به سرور ارسال می‌کنند. وب‌سایت می‌تواند با پاسخ HTTP 429، به معنای «درخواست‌های بیش از حد»، از مراجعه‌کننده بخواهد سرعت خود را کاهش دهد و گاهی مدت انتظار را نیز مشخص کند. کلادفلر بررسی می‌کند که آیا ربات پس از دریافت این پاسخ، الگوی ترافیک خود را تغییر می‌دهد یا خیر. ربات‌هایی که به‌طور منظم سرعت را کم می‌کنند یا موقتاً متوقف می‌شوند، اعتماد بیشتری به دست می‌آورند؛ ربات‌هایی که با همان سرعت به ارسال درخواست ادامه می‌دهند، اعتماد خود را از دست می‌دهند.

کلادفلر هم‌اکنون از این سامانه در داخل شرکت برای ارزیابی ربات‌های تأییدشده استفاده می‌کند. برنامه این است که امتیازها در Cloudflare Radar منتشر شوند و سپس سامانه در اختیار همه مشتریان قرار گیرد تا هر مشتری آستانه اعتماد موردنظر خود را برای تعیین نحوه برخورد با ترافیک ربات‌های تأییدشده انتخاب کند. تا ۲۴ اکتبر ۲۰۲۶، هیچ‌یک از این قابلیت‌های عمومی عرضه نشده‌اند و کلادفلر نیز معیار دقیق امتیازدهی یا مقادیر واقعی اعتماد را منتشر نکرده است.

چرخه پاسخ‌گویی که کلادفلر در حال ایجاد آن است

کلادفلر سامانه اعتماد را یکی از سه بخش یک چرخه می‌داند. قابلیت Bot Preference Sync به صاحبان وب‌سایت اجازه می‌دهد ترجیحات خود را منتشر و با سیاست‌های پیکربندی‌شده هماهنگ کنند. بررسی‌های رفتاری جدید نشان می‌دهند ربات‌های تأییدشده در گذر زمان تا چه اندازه از این ترجیحات پیروی می‌کنند. سپس Bot Management به صاحبان وب‌سایت امکان می‌دهد تصمیم بگیرند با هر نوع ترافیک چگونه برخورد شود.

این بخش‌ها با خبر جست‌وجو ارتباط مستقیم دارند. الزامات ارائه‌دهندگان API جست‌وجوی وب و برنامه ربات‌های تأییدشده از مجموعه قواعد مشترکی پیروی می‌کنند: هویت خود را اعلام کنید، به robots.txt احترام بگذارید و هنگام دریافت درخواست کاهش سرعت، سرعت خود را کم کنید. ارائه‌دهنده‌ای که می‌خواهد خدمات جست‌وجویش را از طریق کلادفلر عرضه کند، باید این الزامات را رعایت کند. خزنده‌ای که از آن‌ها سرپیچی کند نیز ممکن است برچسب تأییدشده خود را از دست بدهد؛ برچسبی که دسترسی آسان‌تر به وب‌سایت‌های محافظت‌شده با کلادفلر را برایش فراهم می‌کند.

کلادفلر پیش‌تر نیز از این ابزار تنبیهی استفاده کرده است. در مطلب جدید، این شرکت یادآوری می‌کند که در سال ۲۰۲۵ ربات Perplexity را از فهرست ربات‌های تأییدشده حذف کرد؛ زیرا آن ربات تلاش کرده بود به منابع وب‌سایت‌هایی دسترسی پیدا کند که با استخراج داده‌هایشان مخالفت کرده بودند و پس از مسدودشدن نیز کوشیده بود محدودیت‌ها را دور بزند. سامانه جدید قرار است چنین تغییراتی در رفتار را زودتر شناسایی کند و موارد خفیف‌تری را نیز تشخیص دهد که ممکن است ناشی از خطای نرم‌افزاری یا پیکربندی نادرست باشند، نه سوءنیت.

ناشران اکنون چه تنظیماتی را در robots.txt اعمال کنند؟

OpenAI برای جست‌وجو و آموزش مدل از خزنده‌های جداگانه استفاده می‌کند و دستورهای robots.txt مربوط به آن‌ها نیز مستقل‌اند. بر اساس بررسی Search Engine Journal از مستندات خزنده‌های OpenAI، گزینه‌ها به شکل زیر هستند.

ردیف نخست همان پیکربندی‌ای است که خود OpenAI به‌عنوان نمونه معرفی کرده است. مشتریان کلادفلر می‌توانند از ابزار AI Crawl Control استفاده کنند که در تمام طرح‌های این شرکت در دسترس است. این ابزار نشان می‌دهد کدام سرویس‌های هوش مصنوعی به وب‌سایت دسترسی دارند و به صاحبان سایت اجازه می‌دهد هر خزنده را مجاز یا مسدود کنند. OpenAI جداگانه توضیح داده است که برای واجد شرایط شدن یک سایت در ChatGPT Search، باید به OAI-SearchBot اجازه دسترسی داده شود و ترافیک نشانی‌های IP منتشرشده برای ربات جست‌وجوی این شرکت نیز مجاز باشد.

توسعه‌دهندگانی که می‌خواهند API جست‌وجوی وب را در کد خود آزمایش کنند، می‌توانند از طریق اتصال AI در یک Worker یا از طریق نقطه پایانی REST آن را فراخوانی کنند. راهنمای استقرار یک API امن با Cloudflare Workers، اصول اولیه توکن و مسیریابی موردنیاز برای چنین درخواست‌هایی را توضیح می‌دهد.

تأثیر بر بازار: تبدیل داده‌های ترافیک لبه شبکه به محصول

برای سال‌ها، لبه شبکه عمدتاً محلی برای ذخیره‌سازی موقت فایل‌ها و فیلترکردن حملات بود. اما این طرح آزمایشی، لبه شبکه را به شبکه‌ای از حسگرها تبدیل می‌کند که اطلاعات حاصل از آن برای اپراتورهای جست‌وجو ارزش تجاری دارد. اگر نتایج همکاری OpenAI و کلادفلر موفقیت‌آمیز باشد، سایر موتورهای جست‌وجو و سامانه‌های پاسخ‌گویی مبتنی بر هوش مصنوعی نیز دلیلی برای درخواست همکاری مشابه خواهند داشت و شرکت‌های شبکه توزیع محتوا (CDN) که حجم زیادی از ترافیک را مدیریت می‌کنند، انگیزه خواهند داشت چنین خدماتی ارائه دهند.

مدل اقتصادی این طرح از یک جهت مشخص به سود کلادفلر است. نشانه‌های کشف صفحات، محصول جانبی ترافیکی هستند که این شرکت از قبل از شبکه خود عبور می‌دهد؛ بنابراین، هزینه نهایی تولید آن‌ها پایین است. ترکیب این قابلیت با ابزارهای کنترل ربات‌ها به کلادفلر امکان می‌دهد در یک تعامل تجاری به هر دو طرف خدمت بفروشد. ناشران می‌توانند درباره اینکه کدام خزنده‌ها محتوایشان را بخوانند تصمیم بگیرند و شرکت‌های هوش مصنوعی نیز مسیرهای بهتری برای دستیابی به محتوا به دست می‌آورند. تقلید از این جایگاه برای شرکتی که صرفاً خدمات محاسباتی ارائه می‌دهد دشوار است؛ همان‌طور که مقایسه هزینه انتقال داده در Cloudflare R2 و AWS S3 نشان داده است، مالک شبکه می‌تواند در جابه‌جایی داده‌ها مزیت قیمتی نسبت به ارائه‌دهندگان خدمات ذخیره‌سازی داشته باشد.

محصول AI Search کلادفلر نیز بُعد سومی به این راهبرد اضافه می‌کند. این محصول در جریان رویداد سالگرد کلادفلر به عرضه عمومی رسید و اکنون از جست‌وجوی بصری بر اساس پیکسل‌های تصویر، تشخیص نوری نویسه‌ها (OCR) در فایل‌های PDF اسکن‌شده، فایل‌هایی با حجم حداکثر ۱۰ مگابایت و هر مدل گفت‌وگویی پشتیبانی می‌کند. صورتحساب مبتنی بر میزان استفاده از این سرویس از ۱ نوامبر ۲۰۲۶ آغاز می‌شود و سهمیه‌های ماهانه‌ای برای ورود داده، ذخیره‌سازی و جست‌وجوهای معنایی و تمام‌متن در نظر گرفته شده است. با توجه به نزدیک‌بودن تاریخ آغاز محاسبه هزینه‌ها، تیم‌هایی که هم‌اکنون از AI Search استفاده می‌کنند باید پیش از شروع صورتحساب، سهمیه‌های خود را بررسی کنند.

ناشران با انتخاب دشوارتری روبه‌رو هستند. کشف صفحات بیشتر به معنای افزایش خزیدن است، اما ترافیک ورودی بیشتری را تضمین نمی‌کند و شرکت‌ها هنوز آمار ارجاع کاربران را منتشر نکرده‌اند. وب‌سایت‌هایی که به دیده‌شدن در موتورهای جست‌وجو وابسته‌اند، احتمالاً از این نشانه‌ها استقبال می‌کنند؛ اما سایت‌هایی که درآمدشان به بازدید مستقیم کاربران وابسته است، ممکن است این معامله را نامناسب بدانند. باید دید با دسترسی مشتریان بیشتر به این خدمات لبه شبکه، بازار گسترده‌تر رایانش ابری چگونه برای آن‌ها قیمت‌گذاری خواهد کرد.

مقایسه رقابتی: رقبای کلادفلر در لبه شبکه چه جایگاهی دارند؟

کلادفلر در حوزه محاسبات و اجرای بدون سرور با ارائه‌دهندگان خدمات لبه شبکه رقابت می‌کند و مقایسه‌های قیمتی ما نشان می‌دهند این رقابت چگونه پیش رفته است. در بررسی‌های پیشین، Cloudflare Workers را با AWS Lambda@Edge از نظر تأخیر و هزینه مقایسه کردیم و ارزیابی مشابهی نیز برای Workers و Fastly Compute انجام دادیم. در هر دو مورد، پرسش اصلی این بود که کدام سرویس می‌تواند کد را با کمترین هزینه و در نزدیک‌ترین نقطه به کاربران اجرا کند.

طرح آزمایشی جست‌وجو، رقابت را به حوزه دیگری منتقل می‌کند. در بررسی ما، هیچ اعلام عمومی‌ای درباره توافقی مشابه برای کشف صفحات میان یک اپراتور بزرگ جست‌وجو و رقبای کلادفلر پیدا نشد. یک ارائه‌دهنده بزرگ زیرساخت ابری می‌تواند پردازنده‌های گرافیکی یا خدمات اجرای توابع بیشتری بفروشد، اما به‌آسانی نمی‌تواند تصویری از درخواست‌های واقعی کاربران در بخش بزرگی از وب عرضه کند. شرکت Vercel که در مقایسه Workers و Vercel Edge بررسی شد، و شرکت Fastly هر دو شبکه لبه دارند و از این رو می‌توانند برنامه‌های مشابهی را دنبال کنند.

در حوزه کنترل ربات‌ها، کلادفلر به دلیل مقیاس داده‌های ترافیکی خود مزیت دارد. در مطلبی پیشین این شرکت درباره وب عامل‌محور، اعلام شده بود که در آن زمان بیش از ۵۰۰ میلیارد درخواست از سوی ربات‌های تأییدشده در هر هفته ثبت می‌شد. امتیاز رفتاری مبتنی بر چنین حجمی از داده، از نظر آماری پشتوانه بیشتری نسبت به امتیازی دارد که یک ارائه‌دهنده کوچک‌تر تولید می‌کند. بااین‌حال، نقطه ضعف این روش آن است که امتیاز تنها زمانی اهمیت دارد که گردانندگان ربات‌ها به آن توجه کنند؛ موضوعی که به تعداد وب‌سایت‌هایی بستگی دارد که واقعاً آستانه‌های اعتماد را تنظیم می‌کنند.

پیشینه: از مسدودکردن خزنده‌ها تا همکاری با موتورهای جست‌وجو

رابطه کلادفلر با خزنده‌های هوش مصنوعی میان اعمال محدودیت و همکاری در نوسان بوده است. حذف ربات Perplexity از فهرست تأییدشده در سال ۲۰۲۵ نمونه‌ای از رویکرد سخت‌گیرانه بود و طرح آزمایشی OpenAI نمونه‌ای از همکاری است. سامانه پاسخ‌گویی رفتاری ربات‌های تأییدشده میان این دو رویکرد قرار می‌گیرد: امکان ادامه همکاری را فراهم می‌کند، اما در عین حال اجازه می‌دهد در صورت ازبین‌رفتن اعتماد، دسترسی لغو شود.

این جدول نشان می‌دهد که اجزای مختلف برنامه با سرعت زیادی معرفی شده‌اند. کلادفلر ظرف سه هفته بازارچه جست‌وجو را راه‌اندازی کرد، نتایج طرح آزمایشی را گزارش داد و شیوه ارزیابی ربات‌های مناسب را تغییر داد. این توالی به یک برنامه عرضه هماهنگ شباهت دارد، هرچند کلادفلر نگفته است که این اقدامات از ابتدا برای عرضه هم‌زمان طراحی شده بودند.

شرکت‌ها در اظهارات خود چه گفته‌اند؟

OpenAI این طرح را آزمایشی برای افزایش بهره‌وری معرفی کرده است. به گزارش Tech Times، نیک رایدر که در این گزارش معاون پژوهشی OpenAI معرفی شده، گفته است: «اطلاعات به‌روز برای ارائه پاسخ‌های دقیق به افرادی که از ChatGPT استفاده می‌کنند، اهمیت دارد. اجرای آزمایشی این طرح با کلادفلر به ما امکان می‌دهد بررسی کنیم که آیا اطلاعات حاصل از سطح شبکه می‌توانند به کشف کارآمدتر محتوا کمک کنند یا خیر.» گزارش Tech Times

مطلب وبلاگی کلادفلر در ۱۵ اکتبر نتیجه را با لحنی مثبت‌تر توصیف می‌کند: «این طرح آزمایشی، صفحاتی را که پیش‌تر ناشناخته بودند وارد فهرست جست‌وجوی OpenAI کرده و منابع بیشتری در اختیار ChatGPT قرار داده است تا به کاربران در یافتن اطلاعات مرتبط و به‌روز کمک کند.» در همان مطلب آمده است: «شبکه کلادفلر نشانه‌هایی فراهم می‌کند که می‌توانند به خزنده جست‌وجوی OpenAI کمک کنند صفحات مفید بیشتری را در سراسر وب کشف کند تا آن‌ها را در اختیار کاربران ChatGPT قرار دهد.»

این مطلب همچنین مرز مسئولیت‌ها را مشخص می‌کند. در آن آمده است: «سپس OpenAI به‌طور مستقل صفحات را ارزیابی و بر اساس میزان ارتباط و مفیدبودن آن‌ها رتبه‌بندی می‌کند.» این جمله برای ناشران اهمیت ویژه‌ای دارد، زیرا روشن می‌کند که تصمیم درباره رتبه‌بندی و در نتیجه میزان ترافیک، کاملاً در اختیار OpenAI است.

مقایسه این اظهارات نشان می‌دهد که دو شرکت با دقت بر جنبه‌های متفاوتی تأکید می‌کنند. OpenAI از بهره‌وری و دقت سخن می‌گوید و کلادفلر بر گستره دسترسی و افزایش منابع تأکید دارد. هیچ‌یک درباره درآمد، ترافیک ارجاعی یا پرداخت به ناشران حرفی نزده‌اند؛ سکوتی که احتمالاً محور دور بعدی مذاکرات خواهد بود.

پنج پیش‌بینی برای سه ماه آینده

موارد زیر تحلیل و پیش‌بینی‌اند، نه واقعیت‌های گزارش‌شده؛ بنابراین هر یک ممکن است محقق نشود.

1. کلادفلر برنامه کشف صفحات را فراتر از گروه یک‌درصدی گسترش می‌دهد. این شرکت گفته است قصد دارد در ادامه سال ۲۰۲۶ دسترسی گسترده‌تری فراهم کند و یک طرح آزمایشی با تنها یک شریک، پایه محدودی برای تبدیل‌شدن به محصول است. انتظار می‌رود پیش از پایان سال، امکان مشارکت داوطلبانه برای مشتریان بیشتری فراهم شود و احتمال دارد یک اپراتور جست‌وجوی دیگر نیز به برنامه بپیوندد.
2. Cloudflare Radar نخستین بازه‌های اعتماد ربات‌های تأییدشده را منتشر می‌کند. کلادفلر هم‌اکنون این سامانه را در داخل شرکت اجرا می‌کند و انتشار عمومی نتایج را وعده داده است. انتشار امتیازها هزینه چندانی ندارد و فشار بیشتری بر گردانندگان ربات‌ها وارد می‌کند؛ بنابراین احتمال دارد پیش از فراهم‌شدن امکان تنظیم آستانه‌ها توسط مشتریان انجام شود.
3. قیمت‌های API جست‌وجوی وب به یکدیگر نزدیک‌تر می‌شوند. حفظ اختلاف ۲۸ برابری میان ارائه‌دهندگان در بازاری که قیمت‌ها را کنار یکدیگر نمایش می‌دهد دشوار است. احتمالاً ارزان‌ترین ارائه‌دهنده قیمت خود را حفظ می‌کند و گران‌ترین گزینه یا قیمت را کاهش می‌دهد یا بر کیفیت خدمات خود تمایز می‌گذارد.
4. ناشران سیاست‌های robots.txt را تفکیک می‌کنند. پیکربندی اجازه جست‌وجو و مسدودکردن استفاده برای آموزش، هم‌اکنون به‌عنوان نمونه مستند شده و ابزارهایی مانند AI Crawl Control اجرای آن را آسان می‌کنند. با آگاهی بیشتر وب‌سایت‌ها از تفاوت میان حضور در نتایج جست‌وجو و استفاده از محتوا برای آموزش، شمار بیشتری از آن‌ها احتمالاً این تنظیمات را به کار خواهند گرفت.
5. رقبای لبه شبکه توافق‌هایی مشابه برای ارائه نشانه‌های جست‌وجو اعلام می‌کنند. این طرح نمونه‌ای در اختیار رقبا قرار می‌دهد. ارائه‌دهنده‌ای که سهم بزرگی از ترافیک وب را مدیریت می‌کند و شریک جست‌وجویی مایل به همکاری دارد، می‌تواند ساختار مشابهی را اجرا کند؛ بنابراین، انتظار می‌رود دست‌کم یک توافق مشابه دیگر اعلام شود.

پرسش‌های متداول درباره کلادفلر، OpenAI و ChatGPT Search

طرح آزمایشی کلادفلر و OpenAI برای ChatGPT Search چه نتیجه‌ای داشته است؟ دو شرکت می‌گویند این طرح به OpenAI کمک کرده است صدها میلیون صفحه وب ناشناخته را برای ChatGPT Search کشف و نمایه‌سازی کند. این طرح از ژوئیه ۲۰۲۶ آغاز شده و حدود یک درصد از شبکه کلادفلر را در بر می‌گیرد. شرکت‌ها هنوز تعداد دقیق صفحات، نرخ استناد به آن‌ها یا میزان بازدید ارجاعی را اعلام نکرده‌اند.

آیا کلادفلر محتوای صفحات من را با OpenAI به اشتراک می‌گذارد؟ به گفته دو شرکت، در این طرح از فراداده‌های وب برای جست‌وجو و کشف صفحات استفاده می‌شود، نه از محتوای به‌اشتراک‌گذاشته‌شده صفحات برای آموزش مدل. نشانه مربوط به یک صفحه نیز مجوز دسترسی ایجاد نمی‌کند؛ بنابراین، تنظیمات robots.txt و کنترل‌های کلادفلر همچنان معتبرند.

هزینه API جست‌وجوی وب کلادفلر چقدر است؟ کلادفلر مبلغی به قیمت ارائه‌دهندگان اضافه نمی‌کند. هزینه جست‌وجو از اعتبار AI Gateway و بر اساس نرخ پایه هر ارائه‌دهنده محاسبه می‌شود: ۰٫۲۵ دلار برای هر هزار درخواست در Ceramic.ai، پنج دلار در Linkup و هفت دلار در Exa. این سرویس از ۲ اکتبر ۲۰۲۶ در مرحله بتا قرار دارد.

بازه اعتماد ربات تأییدشده چیست؟ این بازه معیاری قابل‌توضیح برای نشان‌دادن میزان پایبندی یک ربات تأییدشده به ترجیحات وب‌سایت، از جمله robots.txt و درخواست‌های کاهش سرعت از طریق HTTP 429، است. کلادفلر می‌گوید این ارزیابی قضاوتی دائمی نیست. انتشار عمومی نتایج در Radar و امکان تعیین آستانه اعتماد توسط مشتریان هنوز در برنامه قرار دارند و عرضه نشده‌اند.

چگونه می‌توانم وب‌سایتم را در ChatGPT Search نگه دارم، اما اجازه ندهم محتوایش برای آموزش استفاده شود؟ در فایل robots.txt به OAI-SearchBot اجازه دسترسی بدهید و GPTBot را مسدود کنید. OpenAI این تنظیم را به‌عنوان یک نمونه معرفی کرده است. همچنین ترافیک نشانی‌های IP منتشرشده برای ربات جست‌وجوی OpenAI را مجاز کنید و با ابزار AI Crawl Control در کلادفلر بررسی کنید که کدام خزنده‌ها به سایت شما دسترسی دارند.

آیا کشف صفحات بیشتر به افزایش بازدید وب‌سایت من منجر می‌شود؟ لزوماً خیر. OpenAI صفحات را مستقلاً رتبه‌بندی می‌کند و در اعلامیه هیچ آماری درباره ترافیک ارجاعی ارائه نشده است. شرکت همچنین هشدار داده که کشف صفحات جدید ممکن است در ابتدا میزان خزیدن را افزایش دهد؛ بنابراین، نخستین تغییر قابل‌مشاهده ممکن است افزایش درخواست‌های خزنده در گزارش‌های سرور باشد.

آیا این طرح آزمایشی برای همه مشتریان کلادفلر در دسترس است؟ خیر. این برنامه همچنان یک طرح پژوهشی آزمایشی با گروهی از مشارکت‌کنندگان است. کلادفلر گفته است قصد دارد دسترسی را گسترش دهد، اما هنوز تاریخ عرضه یا نام محصولی برای این قابلیت اعلام نکرده است.