همکاری کلادفلر و OpenAI برای بهبود کشف محتوا با هوش مصنوعی برای همه
۱۵ اکتبر ۲۰۲۶
نویسندگان: متیو کانروی، جک گالیلی، هنری آسپگرن (OpenAI) و جیمز بالفور (OpenAI)
بهینه‌سازی یک وب‌سایت برای هوش مصنوعی زمانی فایده چندانی ندارد که هوش مصنوعی نتواند آن را پیدا کند. شاید پاسخ پرسش یک کاربر همین حالا در وب‌سایت شما وجود داشته باشد؛ مثلاً در راهنمای نصبی که یک هفته برای نوشتن آن وقت گذاشته‌اید یا در گزارشی دست‌اول از تجربه استفاده از یک محصول که جزئیات آن می‌تواند در تصمیم فرد برای خرید تعیین‌کننده باشد. با افزایش شمار افرادی که برای دریافت کمک به هوش مصنوعی مراجعه می‌کنند، طبیعی است که بخواهید این سامانه‌ها محتوای شما را پیدا کنند، آن را به‌درستی بازتاب دهند و کاربران علاقه‌مند را به وب‌سایتتان هدایت کنند. در عین حال، می‌خواهید اختیار نحوه دسترسی این سامانه‌ها به سایت خود را نیز در دست داشته باشید.
کلادفلر و OpenAI با در نظر گرفتن همین نیازها، در ماه ژوئیه یک پروژه پژوهشی آزمایشی مشترک را آغاز کردند. هدف ما این بود که بررسی کنیم آیا داده‌ها و نشانه‌های به‌دست‌آمده از شبکه کلادفلر می‌توانند به کاربران ChatGPT کمک کنند محتوای جدید را با کارایی بیشتری پیدا کنند یا خیر.
امروز نخستین نتایج این پروژه را منتشر می‌کنیم. آنچه تاکنون به دست آمده، پاسخی قاطع و مثبت به این پرسش است. این پروژه باعث شده صفحاتی که پیش‌تر برای OpenAI ناشناخته بودند، وارد فهرست جست‌وجوی این شرکت شوند. به این ترتیب، ChatGPT اکنون به منابع بیشتری دسترسی دارد تا به کاربران در یافتن اطلاعات مرتبط و به‌روز کمک کند. در جریان این همکاری، شناخت بهتری نیز از ویژگی‌های صفحات ارزشمند برای شناسایی و نحوه استفاده سامانه‌های هوش مصنوعی از وب به دست آورده‌ایم.
کشف بخش‌های بیشتری از وب
وب سرشار از اطلاعات دقیق و جزئی است. کسی که قصد تعمیر ماشین لباس‌شویی خود را دارد، به دفترچه راهنمای مدل دقیق دستگاهش نیاز دارد. فردی که برای دریافت گذرنامه اقدام می‌کند، باید از آخرین شرایط و هزینه‌های صدور آن مطلع باشد. کسی هم که می‌خواهد رستورانی در نزدیکی خود انتخاب کند، به جدیدترین منو و ساعت‌های فعالیت آن نیاز دارد. پیدا کردن صفحه درست می‌تواند تفاوت میان دریافت پاسخی اشتباه و پاسخی واقعاً کاربردی باشد. چنین صفحاتی حتی اگر تعداد کمی از وب‌سایت‌های دیگر به آن‌ها لینک داده باشند، همچنان می‌توانند بسیار ارزشمند باشند.
در شکل پیشین وب، دیده‌شدن محتوا عمدتاً به معنای رسیدن به رتبه‌های بالای صفحه نتایج موتورهای جست‌وجو بود. پس از آن، کاربری که وارد صفحه می‌شد، خودش ارزش اطلاعات را ارزیابی می‌کرد و اقدام موردنظرش را انجام می‌داد؛ مثلاً میز رستوران رزرو می‌کرد یا درخواست گذرنامه می‌داد. اما اکنون که افراد بیش از گذشته برای یافتن اطلاعات و انجام کارهایشان به هوش مصنوعی متکی شده‌اند، دیده‌شدن محتوا ابعاد تازه‌ای پیدا کرده است. سامانه‌های هوش مصنوعی باید بتوانند منابع مناسب را شناسایی کنند، تشخیص دهند کدام اطلاعات مفید است و کاربران را به محتوای مرتبط برسانند؛ خواه از طریق ارائه پاسخ، خواه با ارجاع به منبع یا هدایت مستقیم کاربر به وب‌سایت اصلی.
شبکه کلادفلر داده‌ها و نشانه‌هایی در اختیار دارد که می‌توانند به خزنده جست‌وجوی OpenAI کمک کنند صفحات مفید بیشتری را در سراسر وب شناسایی کند تا محتوای آن‌ها در دسترس کاربران ChatGPT قرار گیرد. پس از این مرحله، OpenAI به‌صورت مستقل ارزیابی می‌کند که این صفحات تا چه اندازه مرتبط و کاربردی هستند و بر همین اساس، نحوه نمایش و رتبه‌بندی آن‌ها را تعیین می‌کند. ترکیب این دو فرایند، چرخه‌ای از بازخورد ایجاد می‌کند که می‌تواند هم شناسایی محتوا و هم کیفیت اطلاعاتی را که کاربران پیدا می‌کنند، بهبود دهد.
این پروژه آزمایشی مشترک با مشارکت گروهی از وب‌سایت‌ها انجام شده که حدود یک درصد از کل شبکه کلادفلر را تشکیل می‌دهند. همین مقیاس محدود به OpenAI امکان داده است صدها میلیون صفحه وب جدید را شناسایی و فهرست‌بندی کند. در نتیجه، کاربران می‌توانند محتوای مفید بیشتری پیدا کنند و پاسخ پرسش‌های بیشتری را از طریق ChatGPT به دست آورند. قابلیت جست‌وجوی ChatGPT نیز با ارائه لینک به منابع مرتبط، به کاربران اجازه می‌دهد محتوای اصلی را بررسی کنند و با وب‌سایت‌ها و ناشرانی که آن را منتشر کرده‌اند، آشنا شوند.
OpenAI همچنین با معرفی GPT-6 و رابط کاربری هوشمند (Intelligent UI) در حال تبدیل ChatGPT به ابزاری کارآمدتر برای خرید، یادگیری و یافتن پاسخ پرسش‌هاست. این پیشرفت‌ها تجربه‌هایی بصری‌تر و تعاملی‌تر را فراهم می‌کنند که با نیازهای کاربران سازگار شده‌اند. همکاری ما نیز مکمل این قابلیت‌هاست و به ChatGPT کمک می‌کند اطلاعات مفیدتر و به‌روزتری را از سراسر وب شناسایی کند.
از شناسایی صفحات تا ارائه پاسخ‌های کاربردی
پیدا کردن نشانی اینترنتی یک صفحه تنها نقطه آغاز است. پس از آن باید مشخص شود که آیا این نشانی به صفحه‌ای قابل‌دسترسی منتهی می‌شود، آیا آن صفحه اطلاعات متمایز و ارزشمندی ارائه می‌کند و محتوایش می‌تواند در انجام چه کاری به کاربران کمک کند.
برای مثال، در جریان این پروژه متوجه شدیم که ترافیک خودکار تا چه اندازه می‌تواند باعث شود صفحه‌ای که اساساً وجود ندارد، مهم و قابل‌توجه به نظر برسد. ربات‌ها بارها فایل‌هایی را درخواست می‌کنند که وجود خارجی ندارند. بعضی وب‌سایت‌ها تقریباً هر نشانی اینترنتی را به صفحه اصلی خود هدایت می‌کنند و برخی نشانی‌های دیگر نیز به نسخه‌های تکراری یک محتوا منتهی می‌شوند. شناسایی این الگوها به ما امکان می‌دهد پیش از آنکه خزنده برای دریافت صفحه اقدام کند، از پردازش‌های بیهوده جلوگیری کنیم. این کار کارایی فرایند را افزایش می‌دهد و به سود صاحبان وب‌سایت‌ها نیز خواهد بود.
همچنین در حال آزمایش نشانه‌هایی هستیم که صفحات بالقوه مخرب را شناسایی و علامت‌گذاری می‌کنند. این اطلاعات، لایه دیگری از حفاظت را به فرایند کشف محتوا اضافه می‌کند تا شناسایی صفحات با امنیت و اطمینان بیشتری انجام شود. ممکن است یک وب‌سایت معتبر تنها یک صفحه آلوده داشته باشد؛ برای مثال، مهاجمی فرم ورود جعلی را در یکی از صفحات آن قرار داده باشد. اگر به‌جای مسدود کردن یا علامت‌گذاری کل دامنه، فقط همان صفحه شناسایی و مشخص شود، می‌توان از کاربران محافظت کرد، بی‌آنکه صاحب وب‌سایت به‌دلیل مشکل یک صفحه متضرر شود. نتایج اولیه نشان می‌دهند که این نشانه‌ها می‌توانند به شناسایی صفحاتی کمک کنند که نباید وارد فهرست جست‌وجو شوند.
آسان‌تر کردن فرایند کشف محتوا
هرچه افراد بیشتری از هوش مصنوعی برای یافتن اطلاعات استفاده کنند، فرصت‌های تازه‌ای نیز برای صاحبان وب‌سایت‌ها فراهم می‌شود تا محتوای خود را به مخاطبان علاقه‌مند برسانند. برای آن دسته از مدیران وب‌سایت‌ها که تصمیم می‌گیرند محتوایشان در دسترس سامانه‌های هوش مصنوعی قرار گیرد، این پیشرفت‌ها شناسایی محتوا را آسان‌تر و کارآمدتر می‌کنند.
با این حال، به‌روز نگه داشتن اطلاعات از طریق مراجعه مکرر خزنده‌ها به تمام صفحات وب، برای همه طرف‌ها پرهزینه خواهد بود. از دید صاحب یک وب‌سایت، خزنده‌ای که بارها صفحه‌ای بدون تغییر را دانلود می‌کند، فقط بار اضافی به سرور تحمیل می‌کند، بی‌آنکه فایده‌ای داشته باشد.
نشانه‌هایی که پیش‌تر توضیح دادیم، دقیقاً برای جلوگیری از چنین اتلاف منابعی به کار می‌روند. فیلتر کردن صفحات باعث می‌شود خزنده‌ها سراغ نشانی‌هایی نروند که وجود ندارند یا کاربر را به جای دیگری هدایت می‌کنند. نشانه‌های مربوط به تغییر محتوا نیز به خزنده‌ها اطلاع می‌دهند که چه زمانی مراجعه دوباره به یک صفحه ارزشمند است و چه زمانی ضرورتی ندارد.
البته دستیابی به تعادل مناسب در این فرایند اهمیت زیادی دارد. شناسایی صفحات جدید ممکن است در ابتدا تعداد دفعات خزش را افزایش دهد، زیرا این صفحات باید ارزیابی و فهرست‌بندی شوند. هدف این است که ضمن ادامه کشف صفحات تازه و به‌روز نگه داشتن اطلاعات، حجم پردازش و فعالیت لازم برای این کار کاهش یابد. برای مشتریان کلادفلر، چنین رویکردی به معنای کاهش بار غیرضروری روی زیرساخت‌هایشان است. برای OpenAI نیز به این معناست که بخش بیشتری از منابع جست‌وجوی آن صرف یافتن اطلاعاتی می‌شود که واقعاً برای کاربران مفید هستند.
ایجاد ارزش برای مشارکت‌کنندگان
مرحله بعدی این همکاری بر پایه آموخته‌های کنونی شکل خواهد گرفت. در این مرحله قصد داریم انتخاب صفحات را بهبود دهیم، نشانه‌های سریع‌تر و قابل‌اعتمادتری برای تشخیص تغییرات محتوا آزمایش کنیم و بررسی کنیم پس از شناسایی محتوا چه اتفاقی می‌افتد.
همکاری ما با OpenAI ادامه دارد تا بهتر درک کنیم چگونه بهبود فرایند شناسایی وب‌سایت‌ها می‌تواند به نتایج واقعی برای کسب‌وکارها منجر شود. همچنان یافته‌های خود را در طول این مسیر منتشر خواهیم کرد.
در تمام مراحل این فرایند، تصمیم و اختیار صاحبان دامنه اهمیت اساسی دارد. وجود یک نشانه درباره یک صفحه، به‌خودی‌خود مجوز دسترسی به آن صفحه محسوب نمی‌شود. این پژوهش برای جست‌وجو و کشف محتوا از فراداده‌های مربوط به وب استفاده می‌کند و به معنای اشتراک‌گذاری محتوای صفحات برای آموزش مدل‌های هوش مصنوعی نیست.
شما می‌توانید با استفاده از ابزار AI Crawl Control کلادفلر، نحوه دسترسی سامانه‌های هوش مصنوعی به وب‌سایت خود را بررسی و مدیریت کنید.
