پس از اجرای آزمایشی کلادفلر، جست‌وجوی ChatGPT به صفحات وب بیشتری دسترسی پیدا می‌کند
- به گفته دو شرکت، سیگنال‌های شبکه کلادفلر به OpenAI کمک کرده‌اند صفحات جدیدی را پیدا و نمایه‌سازی کند.
- این سیگنال‌ها همچنین به خزنده‌ها کمک می‌کنند نشانی‌های اینترنتی نامعتبر را نادیده بگیرند و صفحات تغییر‌یافته را شناسایی کنند.
- رتبه‌بندی صفحات را خود OpenAI انجام می‌دهد و تنظیمات مربوط به دسترسی خزنده‌ها همچنان معتبر است.
کلادفلر می‌گوید سیگنال‌های شبکه این شرکت به OpenAI کمک کرده‌اند صدها میلیون صفحه وب جدید را برای جست‌وجوی ChatGPT نمایه‌سازی کند.
کلادفلر و OpenAI اعلام کرده‌اند که یک طرح آزمایشی پژوهشی به OpenAI امکان داده است صدها میلیون صفحه وب جدید را شناسایی و نمایه‌سازی کند. در این آزمایش، گروهی از مشارکت‌کنندگان شامل حدود یک درصد از کل شبکه کلادفلر حضور داشتند.
دو شرکت نتایج اولیه این طرح را در ۱۵ اکتبر، در مطلبی در وبلاگ کلادفلر منتشر کردند که دو نفر از کارکنان OpenAI نیز در نگارش آن مشارکت داشتند. کلادفلر پیش‌تر، در ۸ ژوئیه، اجرای این طرح آزمایشی را اعلام کرده بود.
در این مطلب آمده است که کشف صفحات جدید ممکن است در ابتدا حجم خزش وب را افزایش دهد. با این حال، گزارش مشخص نمی‌کند صفحات جدید با چه فراوانی در پاسخ‌های ChatGPT مورد استناد قرار گرفته‌اند یا چه تعداد بازدید به وب‌سایت‌های آن‌ها فرستاده‌اند.
سیگنال‌های کلادفلر چگونه به OpenAI در یافتن صفحات کمک می‌کنند؟
OpenAI از سیگنال‌های شبکه کلادفلر برای کمک به خزنده جست‌وجوی خود در شناسایی صفحات ارزشمند وب استفاده می‌کند. در مطلب وبلاگ، چند نمونه از این صفحات ذکر شده است: راهنمای کاربری یک مدل مشخص ماشین لباس‌شویی، تازه‌ترین اطلاعات درباره الزامات و هزینه‌های دریافت گذرنامه و منو و ساعات کاری یک رستوران. به گفته شرکت‌ها، این صفحات «حتی اگر وب‌سایت‌های دیگری به آن‌ها پیوند نداده باشند، می‌توانند ارزشمند باشند».
در اطلاعیه ۸ ژوئیه، برخی از سیگنال‌های جدیدی که قرار بود به کار گرفته شوند، معرفی شده بودند؛ از جمله زمان آخرین به‌روزرسانی صفحه، کیفیت ترافیک ورودی به وب‌سایت و ماهیت تغییراتی که واقعاً در یک صفحه اعمال شده‌اند. در این اطلاعیه همچنین آمده بود که این اطلاعات از وب‌سایت‌های مشارکت‌کننده به دست می‌آیند. با این حال، هیچ‌یک از دو اطلاعیه مشخص نمی‌کند چه کسانی در این طرح مشارکت داشته‌اند یا آیا صفحات جدید شناسایی‌شده متعلق به وب‌سایت‌های همین مشارکت‌کنندگان هستند.
تأثیر سیگنال‌ها بر خزش وب
بر اساس مطلب ۱۵ اکتبر، سیگنال‌های کلادفلر به خزنده‌های OpenAI کمک می‌کنند از ارسال درخواست‌های غیرضروری جلوگیری کنند. ربات‌ها گاهی بارها تلاش می‌کنند فایل‌هایی را دریافت کنند که روی سرور در دسترس نیستند. برخی وب‌سایت‌ها تقریباً هر نشانی اینترنتی را به صفحه اصلی خود هدایت می‌کنند و بعضی نشانی‌های دیگر نیز به نسخه‌های تکراری یک محتوا می‌رسند. سیگنال‌های مربوط به تغییرات به خزنده نشان می‌دهند که آیا ارزش دارد دوباره از یک صفحه بازدید کند یا چنین بازدیدی فایده‌ای نخواهد داشت.
این دو شرکت همچنین در حال آزمایش سیگنال‌هایی هستند که صفحات بالقوه مخرب را علامت‌گذاری می‌کنند. نمونه‌ای که مطرح کرده‌اند، صفحه ورود جعلی‌ای است که مهاجم در یکی از صفحات یک وب‌سایت معتبر قرار داده است. هدف این است که همان صفحه مشخص شود، نه اینکه کل دامنه علامت‌گذاری شود. به گفته مطلب منتشرشده، نتایج اولیه نشان می‌دهد این سیگنال‌ها می‌توانند به شناسایی صفحاتی کمک کنند که باید از نمایه جست‌وجو کنار گذاشته شوند.
طبق این مطلب، هدف آن است که بار غیرضروری واردشده به زیرساخت مشتریان کلادفلر کاهش یابد؛ هرچند آماری درباره حجم خزش یا میزان بار سرورها ارائه نشده است. در مطلب همچنین تأکید شده است: «یافتن صفحات جدید ممکن است در ابتدا حجم خزش را افزایش دهد، زیرا این صفحات بررسی و نمایه‌سازی می‌شوند.»
تنظیمات خزنده همچنان دسترسی را تعیین می‌کنند
در مطلب وبلاگ ۱۵ اکتبر آمده است: «وجود یک سیگنال درباره یک صفحه، مجوز دسترسی به آن را صادر نمی‌کند.» این مطلب همچنین توضیح می‌دهد که پژوهشگران از فراداده‌های وب برای بهبود قابلیت‌های جست‌وجو و کشف محتوا در موتورهای جست‌وجوی خود استفاده می‌کنند، نه اینکه محتوای صفحات را برای آموزش مدل‌ها به اشتراک بگذارند.
سند مربوط به نحوه عملکرد خزنده‌های OpenAI، خزش برای جست‌وجو و خزش برای آموزش مدل را در دو دستورالعمل جداگانه فایل robots.txt تعریف می‌کند. بنابراین، اگر وب‌سایتی دسترسی OAI-SearchBot، ربات جست‌وجوی اطلاعات، را مسدود کند، آن وب‌سایت در نتایج موتور جست‌وجوی ChatGPT قرار نخواهد گرفت؛ با این حال، ممکن است همچنان به‌صورت پیوند ناوبری نمایش داده شود. اگر وب‌سایتی اجازه خزش هر دو ربات، یعنی GPTBot که محتوای احتمالی مورد استفاده برای آموزش را جمع‌آوری می‌کند و OAI-SearchBot را بدهد، OpenAI ممکن است از داده‌های جمع‌آوری‌شده در یک مرحله خزش برای هر دو هدف استفاده کند.
مطلب ۱۵ اکتبر کاربران را به سرویس AI Crawl Control کلادفلر ارجاع می‌دهد که در حال حاضر در تمام طرح‌های این شرکت در دسترس است. این سرویس نشان می‌دهد کدام خدمات هوش مصنوعی به وب‌سایت دسترسی پیدا می‌کنند و به مدیران امکان می‌دهد دسترسی هر خزنده را جداگانه مجاز یا مسدود کنند.
اهمیت این تحول چیست؟
پس از آنکه یک صفحه در نمایه OpenAI قرار بگیرد، ChatGPT می‌تواند اطلاعات آن را نیز به‌عنوان منبعی برای پاسخ‌گویی در اختیار داشته باشد. با این حال، شرکت‌ها تأکید می‌کنند که OpenAI صفحات نمایه‌شده را مستقلاً ارزیابی و رتبه‌بندی می‌کند؛ بنابراین، حتی اگر صفحات یک وب‌سایت از طریق این طرح آزمایشی کشف شوند، هیچ تضمینی وجود ندارد که ChatGPT به آن‌ها استناد کند.
اگر وب‌سایتی دسترسی OAI-SearchBot را مجاز کند اما GPTBot را مسدود سازد، همچنان می‌تواند از طریق نتایج جست‌وجوی ChatGPT در دسترس کاربران باشد، اما این تنظیم نشان می‌دهد که محتوای جمع‌آوری‌شده از آن نباید برای آموزش مدل‌ها استفاده شود. OpenAI همین پیکربندی را به‌عنوان نمونه در صفحه راهنمای خزنده‌های خود ارائه کرده است.
ردیابی بازدیدهایی که از ChatGPT به وب‌سایت‌ها می‌رسند، به وجود برچسب UTM یا اطلاعات ارجاع‌دهنده (referrer) بستگی دارد. با این حال، در اوایل همین ماه، برخی از پیوندهای ChatGPT فاقد هر دو مورد بودند؛ موضوعی که نویسنده در گزارش ۱۵ اکتبر خود به آن پرداخته است. یکی از تحلیلگران گفته بود که انتشار اصلاحیه برای رفع این مشکل از همان روز آغاز شده است.
گام‌های بعدی
کلادفلر و OpenAI می‌گویند مرحله بعدی توسعه این پروژه شامل بهبود روش انتخاب صفحات وب توسط هوش مصنوعی، آزمایش شاخص‌هایی سریع‌تر و قابل‌اعتمادتر برای تشخیص تغییرات محتوا و اندازه‌گیری نتایج حاصل از کشف محتوای جدید به‌وسیله هوش مصنوعی خواهد بود.
به گفته کلادفلر، این شرکت در حال همکاری با OpenAI است تا مشخص شود بهبود فرایند کشف محتوا چگونه می‌تواند به نتایج تجاری منجر شود.
همچنین، کلادفلر در مطلبی در وبلاگ خود در اول ژوئیه که در آن پژوهش‌های مربوط به سیگنال‌های شبکه و جست‌وجوی هوش مصنوعی را معرفی کرده بود، اعلام کرد قصد دارد در مقطعی از باقی‌مانده سال ۲۰۲۶ این قابلیت را به‌طور گسترده در دسترس قرار دهد؛ موضوعی که نویسنده در گزارش ماه سپتامبر خود نیز به آن اشاره کرده بود. با این حال، طبق اطلاعیه ۱۵ اکتبر، هنوز تاریخ مشخصی برای این کار اعلام نشده است.
در این فاصله، فعالیت خزنده‌های OpenAI در وب‌سایت شما در گزارش‌های ثبت‌شده روی سرور و همچنین در سرویس AI Crawl Control قابل مشاهده است.
تصویر اصلی: تتیانا یورچنکو / شاتراستاک