کلادفلر و OpenAI؛ بهبود کشف محتوا در وب با هوش مصنوعی برای همه
بهینه‌سازی وب‌سایت برای هوش مصنوعی زمانی فایده چندانی ندارد که این سامانه‌ها نتوانند محتوای آن را پیدا کنند. ممکن است پاسخ پرسش یک کاربر از قبل در وب‌سایت شما وجود داشته باشد؛ برای مثال، راهنمای نصب محصولی که یک هفته برای نوشتن آن وقت گذاشته‌اید یا تجربه دست‌اول استفاده از محصول، همراه با جزئیاتی که می‌توانند در تصمیم مشتری برای خرید تأثیر بگذارند. با افزایش شمار افرادی که برای دریافت کمک به هوش مصنوعی مراجعه می‌کنند، می‌خواهید این سامانه‌ها محتوای شما را پیدا کنند، آن را دقیق بازنمایی کنند و کاربران علاقه‌مند را به وب‌سایتتان هدایت کنند. در عین حال، باید بتوانید نحوه دسترسی آن‌ها به سایت خود را کنترل کنید.
کلادفلر و OpenAI در ژوئیه ۲۰۲۶ با همین اهداف، طرحی آزمایشی و پژوهشی را آغاز کردند. هدف این بود که بررسی کنند آیا نشانه‌های به‌دست‌آمده از شبکه کلادفلر می‌تواند به کاربران ChatGPT کمک کند محتوای جدید را کارآمدتر پیدا کنند یا خیر.
امروز نتایج اولیه این طرح را منتشر می‌کنیم. نتیجه تا اینجا به‌روشنی مثبت بوده است: این طرح به شناسایی صفحاتی کمک کرده که پیش‌تر در نمایه جست‌وجوی OpenAI وجود نداشتند. در نتیجه، ChatGPT اکنون منابع بیشتری در اختیار دارد تا به کاربران برای یافتن اطلاعات مرتبط و به‌روز کمک کند. در جریان این همکاری، همچنین شناخت بیشتری از ویژگی‌های صفحات ارزشمند برای کشف و نحوه استفاده سامانه‌های هوش مصنوعی از وب به دست آورده‌ایم.
یافتن بخش‌های بیشتری از وب
وب مملو از اطلاعات جزئی و اختصاصی است. کسی که می‌خواهد ماشین لباس‌شویی خود را تعمیر کند، به دفترچه راهنمای مدل دقیق دستگاه نیاز دارد. فردی که برای دریافت گذرنامه اقدام می‌کند، باید از شرایط و هزینه‌های روز مطلع باشد. کسی هم که به دنبال رستورانی در نزدیکی محل زندگی خود است، به منو و ساعت کاری جدید آن نیاز دارد. یافتن صفحه درست می‌تواند تفاوت میان پاسخی اشتباه و اطلاعاتی واقعاً کاربردی باشد. چنین صفحاتی حتی اگر وب‌سایت‌های دیگر پیوندهای اندکی به آن‌ها داده باشند، ممکن است بسیار ارزشمند باشند.
در شکل پیشین وب، دیده‌شدن محتوا به معنای قرار گرفتن در رتبه‌های بالای صفحه نتایج جست‌وجو بود. پس از ورود کاربر به صفحه، این خود او بود که ارزش اطلاعات را ارزیابی می‌کرد، میز رستوران را رزرو می‌کرد یا برای گذرنامه درخواست می‌داد. اما با افزایش اتکای مردم به هوش مصنوعی برای یافتن اطلاعات و انجام کارها، مفهوم دیده‌شدن نیز تغییر می‌کند. سامانه‌های هوش مصنوعی باید منابع مناسب را پیدا کنند، مفید بودن آن‌ها را تشخیص دهند و کاربران را به اطلاعات مرتبط برسانند؛ خواه از طریق ارائه پاسخ، ارجاع به منبع یا هدایت مستقیم کاربر به وب‌سایت.
شبکه کلادفلر نشانه‌هایی فراهم می‌کند که می‌تواند به خزنده جست‌وجوی OpenAI در کشف صفحات مفید بیشتری در سراسر وب کمک کند تا این صفحات در اختیار کاربران ChatGPT قرار گیرند. OpenAI نیز به‌طور مستقل ارتباط و میزان مفید بودن این صفحات را ارزیابی می‌کند و بر همین اساس، رتبه آن‌ها را تعیین می‌کند. این فرایند مشترک یک چرخه بازخورد ایجاد می‌کند که می‌تواند هم فرایند کشف محتوا و هم کیفیت اطلاعاتی را که کاربران پیدا می‌کنند بهبود دهد.
این طرح آزمایشی مشترک با مشارکت گروهی از شبکه کلادفلر، معادل حدود یک درصد از کل شبکه، اجرا شده است. این همکاری به OpenAI امکان داده صدها میلیون صفحه وب جدید را کشف و نمایه‌سازی کند؛ اقدامی که به کاربران کمک می‌کند محتوای مفیدتری بیابند و از طریق ChatGPT پاسخ پرسش‌های بیشتری را دریافت کنند. قابلیت جست‌وجوی ChatGPT همچنین با پیوند دادن به منابع مرتبط، راهی در اختیار کاربران می‌گذارد تا محتوای اصلی را بررسی کنند و با وب‌سایت‌ها و ناشران منتشرکننده آن آشنا شوند.
OpenAI با GPT-6 و رابط کاربری هوشمند نیز در حال تبدیل ChatGPT به فضایی بهتر برای خرید، یادگیری و یافتن پاسخ است؛ فضایی که تجربه‌های بصری و تعاملی بیشتری متناسب با نیاز کاربران ارائه می‌کند. این همکاری با کمک به ChatGPT برای کشف اطلاعات مفیدتر و به‌روزتر از سراسر وب، مکمل این پیشرفت‌هاست.
از کشف صفحات تا ارائه پاسخ‌های مفید
یافتن نشانی اینترنتی یک صفحه فقط نقطه شروع است. باید مشخص شود که آیا کاربر می‌تواند به آن صفحه دسترسی پیدا کند، آیا صفحه اطلاعات متمایزی ارائه می‌دهد و این اطلاعات برای انجام چه کاری می‌تواند مفید باشد.
برای مثال، آموخته‌ایم که ترافیک خودکار چگونه می‌تواند یک صفحه ناموجود را جالب و ارزشمند جلوه دهد. ربات‌ها بارها درخواست فایل‌هایی را ارسال می‌کنند که اصلاً وجود ندارند. برخی وب‌سایت‌ها تقریباً هر نشانی درخواستی را به صفحه اصلی خود هدایت می‌کنند. نشانی‌های دیگری نیز به نسخه‌های تکراری یک محتوا می‌رسند. شناسایی این الگوها به ما امکان می‌دهد پیش از آنکه خزنده صفحه را دریافت کند، از فعالیت‌های بیهوده جلوگیری کنیم و کارایی را به شکلی افزایش دهیم که به سود صاحبان وب‌سایت‌ها نیز باشد.
همچنین در حال آزمایش نشانه‌هایی هستیم که صفحات بالقوه مخرب را شناسایی و علامت‌گذاری می‌کنند تا لایه دیگری از اطلاعات برای کشف امن‌تر و قابل‌اعتمادتر محتوا فراهم شود. ممکن است یک وب‌سایت معتبر تنها یک صفحه آلوده داشته باشد؛ برای نمونه، مهاجمی یک فرم ورود جعلی را در آن قرار داده باشد. علامت‌گذاری همان صفحه، به‌جای مسدود کردن کل دامنه، به محافظت از کاربران کمک می‌کند، بی‌آنکه صاحب وب‌سایت به‌دلیل آن صفحه جریمه شود.
نتایج اولیه نشان می‌دهد این نشانه‌ها می‌توانند به شناسایی صفحاتی کمک کنند که نباید در نمایه جست‌وجو قرار بگیرند.
ساده‌تر کردن فرایند کشف محتوا
با افزایش استفاده مردم از هوش مصنوعی برای یافتن اطلاعات، فرصت‌های تازه‌ای برای صاحبان وب‌سایت‌ها ایجاد می‌شود تا به مخاطبان علاقه‌مند دسترسی پیدا کنند. برای کسانی که تصمیم می‌گیرند محتوای خود را در اختیار سامانه‌های هوش مصنوعی قرار دهند، این بهبودها فرایند کشف محتوا را آسان‌تر و کارآمدتر می‌کند.
دریافت مکرر همه صفحات وب برای به‌روز نگه داشتن اطلاعات، هزینه زیادی برای همه طرف‌ها دارد. برای صاحب یک وب‌سایت، خزنده‌ای که بارها صفحه‌ای بدون تغییر را بارگیری می‌کند، بدون آنکه منفعتی ایجاد کند، فقط بار اضافی بر سرور تحمیل می‌کند.
نشانه‌هایی که در بالا توضیح داده شد، راهکاری برای جلوگیری از این وضعیت هستند. سازوکارهای پالایش، خزنده‌ها را از صفحاتی که وجود ندارند یا به نشانی دیگری هدایت می‌شوند، دور نگه می‌دارند. نشانه‌های تغییر نیز به آن‌ها اطلاع می‌دهند که چه زمانی بازدید دوباره از یک صفحه ارزش دارد و چه زمانی ضرورتی ندارد.
برقراری تعادل در این زمینه اهمیت دارد. کشف صفحات جدید ممکن است در ابتدا میزان خزیدن در وب را افزایش دهد، زیرا این صفحات باید ارزیابی و نمایه‌سازی شوند. هدف آن است که فرایند کشف محتوا ادامه یابد و اطلاعات به‌روز بماند، اما حجم کار لازم برای این کار کاهش پیدا کند. برای مشتریان کلادفلر، این رویکرد به معنای بار غیرضروری کمتر بر وب‌سایت‌هاست. برای OpenAI نیز به این معناست که بخش بیشتری از منابع جست‌وجو صرف یافتن اطلاعاتی می‌شود که به کاربران کمک می‌کند.
ایجاد انگیزه برای مشارکت
مرحله بعدی این طرح بر پایه آموخته‌های فعلی پیش خواهد رفت: انتخاب صفحات بهبود می‌یابد، نشانه‌های تغییر سریع‌تر و قابل‌اعتمادتر آزمایش می‌شوند و پیامدهای کشف محتوا اندازه‌گیری خواهند شد.
همکاری با OpenAI را ادامه می‌دهیم تا بهتر درک کنیم که چگونه کشف مؤثرتر صفحات وب می‌تواند به نتایج واقعی کسب‌وکار منجر شود. همچنین یافته‌های جدید را در طول این مسیر با دیگران به اشتراک خواهیم گذاشت.
تصمیم‌های صاحبان دامنه در تمام مراحل اهمیت دارد. وجود نشانه‌ای درباره یک صفحه به معنای اعطای مجوز دسترسی به آن نیست. در این پژوهش، از فراداده‌های وب برای جست‌وجو و کشف محتوا استفاده می‌شود، نه از اشتراک‌گذاری محتوای صفحات برای آموزش مدل‌ها.
با استفاده از ابزار کنترل خزش هوش مصنوعی کلادفلر (AI Crawl Control) می‌توانید نحوه دسترسی سامانه‌های هوش مصنوعی به وب‌سایت خود را بررسی و مدیریت کنید.