کلادفلر و اوپن‌ای‌آی؛ بهبود کشف محتوا در وب با کمک هوش مصنوعی
اخبار فناوری اطلاعات کسب‌وکار / هوش مصنوعی و داده
کلادفلر |
بهینه‌سازی وب‌سایت برای هوش مصنوعی، زمانی که این سامانه‌ها نتوانند آن را پیدا کنند، فایده چندانی ندارد.
ممکن است پاسخ پرسش یک کاربر از قبل در وب‌سایت شما وجود داشته باشد؛ مثلاً راهنمای نصبی که یک هفته برای نوشتنش وقت گذاشته‌اید یا تجربه دست‌اول استفاده از محصولی که جزئیات آن می‌تواند در تصمیم مشتری برای خرید تعیین‌کننده باشد. با افزایش شمار افرادی که برای دریافت کمک به هوش مصنوعی روی می‌آورند، می‌خواهید این سامانه‌ها محتوای شما را پیدا کنند، آن را دقیق بازتاب دهند و مخاطبان علاقه‌مند را به وب‌سایتتان هدایت کنند. در عین حال، می‌خواهید کنترل نحوه دسترسی آن‌ها به سایتتان را نیز در اختیار داشته باشید.
کلادفلر و اوپن‌ای‌آی در ژوئیه ۲۰۲۶، با در نظر گرفتن همین ملاحظات، طرحی آزمایشی برای پژوهش مشترک راه‌اندازی کردند. هدف این بود که مشخص شود آیا داده‌ها و نشانه‌های به‌دست‌آمده از شبکه کلادفلر می‌توانند به کاربران ChatGPT کمک کنند محتوای تازه را کارآمدتر پیدا کنند یا خیر.
امروز نتایج اولیه این همکاری را منتشر می‌کنیم. پاسخ تاکنون قاطعانه مثبت بوده است: این طرح باعث شده صفحات وبی که پیش‌تر برای اوپن‌ای‌آی ناشناخته بودند، وارد نمایه جست‌وجوی این شرکت شوند و ChatGPT برای کمک به کاربران در یافتن اطلاعات مرتبط و به‌روز، منابع بیشتری در اختیار داشته باشد. در این مسیر، آموخته‌ایم چه ویژگی‌هایی یک صفحه را شایسته کشف می‌کند و سامانه‌های هوش مصنوعی چگونه از وب استفاده می‌کنند.
کشف بخش‌های بیشتری از وب
وب مملو از اطلاعات جزئی و دقیق است. کسی که می‌خواهد ماشین لباس‌شویی خود را تعمیر کند، به دفترچه راهنمای همان مدل مشخص نیاز دارد. فردی که برای گذرنامه درخواست می‌دهد، باید از شرایط و هزینه‌های به‌روز مطلع شود. کسی که به دنبال رستورانی در نزدیکی خود است، به منوی جدید و ساعت کاری آن نیاز دارد. پیدا کردن صفحه درست می‌تواند تفاوت میان پاسخی نادرست و اطلاعاتی واقعاً مفید را رقم بزند. این صفحات حتی اگر وب‌سایت‌های دیگر به آن‌ها پیوند نداده باشند، ممکن است ارزش زیادی داشته باشند.
در شکل پیشین وب، قابلیت دیده‌شدن محتوا عمدتاً به قرار گرفتن در رتبه‌های بالای صفحه نتایج جست‌وجو وابسته بود. پس از ورود کاربر به وب‌سایت، این خود او بود که باید ارزش اطلاعات را می‌سنجید، میز رزرو می‌کرد یا برای گذرنامه درخواست می‌داد. اما با افزایش اتکای مردم به هوش مصنوعی برای یافتن اطلاعات و انجام کارها، مفهوم دیده‌شدن محتوا نیز تغییر کرده است. سامانه‌های هوش مصنوعی باید منابع مناسب را پیدا کنند، اطلاعات مفید را تشخیص دهند و کاربران را به محتوای مرتبط برسانند؛ چه از طریق ارائه پاسخ، چه با ذکر منبع و چه با هدایت مستقیم کاربر به وب‌سایت.
شبکه کلادفلر داده‌هایی فراهم می‌کند که می‌توانند به خزنده جست‌وجوی اوپن‌ای‌آی کمک کنند صفحات مفید بیشتری را در سراسر وب شناسایی و برای کاربران ChatGPT عرضه کند. اوپن‌ای‌آی سپس به‌طور مستقل، میزان ارتباط و سودمندی این صفحات را ارزیابی می‌کند و رتبه آن‌ها را تعیین می‌کند. این همکاری چرخه‌ای بازخوردی ایجاد می‌کند که می‌تواند هم فرایند کشف محتوا و هم کیفیت اطلاعاتی را که کاربران پیدا می‌کنند، بهبود دهد.
این طرح آزمایشی مشترک با مشارکت گروهی معادل حدود یک درصد از کل شبکه کلادفلر اجرا شده است و تاکنون به اوپن‌ای‌آی امکان داده صدها میلیون صفحه جدید وب را کشف و نمایه‌سازی کند. در نتیجه، کاربران می‌توانند محتوای مفید بیشتری پیدا کنند و پاسخ پرسش‌های بیشتری را از طریق ChatGPT به دست آورند. جست‌وجوی ChatGPT همچنین با پیوند دادن به منابع مرتبط، به کاربران امکان می‌دهد محتوای اصلی را بررسی کنند و با وب‌سایت‌ها و ناشران منتشرکننده آن آشنا شوند.
اوپن‌ای‌آی با GPT-6 و رابط کاربری هوشمند نیز در حال تبدیل ChatGPT به فضایی بهتر برای خرید، یادگیری و یافتن پاسخ است؛ فضایی که تجربه‌های بصری و تعاملی بیشتری متناسب با نیاز کاربران ارائه می‌دهد. این طرح پژوهشی مکمل این پیشرفت‌هاست و به ChatGPT کمک می‌کند اطلاعات مفید و به‌روزتری را از سراسر وب کشف کند.
از کشف صفحات تا ارائه پاسخ‌های مفید
پیدا کردن نشانی یک صفحه وب فقط نقطه شروع کار است. باید مشخص شود که آیا صفحه در دسترس کاربران قرار دارد، آیا اطلاعات متمایزی ارائه می‌کند و چه کمکی می‌تواند به آن‌ها برساند.
برای مثال، متوجه شده‌ایم که ترافیک خودکار چگونه می‌تواند صفحه‌ای را که اصلاً وجود ندارد، ارزشمند جلوه دهد. ربات‌ها بارها درخواست فایل‌هایی را ارسال می‌کنند که در دسترس نیستند. برخی وب‌سایت‌ها تقریباً هر نشانی درخواستی را به صفحه اصلی خود هدایت می‌کنند و برخی نشانی‌های دیگر نیز به نسخه‌های تکراری یک محتوا می‌رسند. شناسایی این الگوها به ما امکان می‌دهد پیش از آنکه خزنده صفحه‌ای را دریافت کند، درخواست‌های بی‌فایده را فیلتر کنیم. این کار بهره‌وری را افزایش می‌دهد و به نفع صاحبان وب‌سایت‌هاست.
همچنین در حال آزمایش نشانه‌هایی هستیم که صفحات بالقوه مخرب را شناسایی و علامت‌گذاری می‌کنند تا لایه دیگری از اطلاعات برای کشف امن‌تر و قابل‌اعتمادتر محتوا فراهم شود. ممکن است یک وب‌سایت معتبر فقط یک صفحه آلوده داشته باشد؛ برای نمونه، مهاجمی یک فرم ورود جعلی در آن قرار داده باشد. علامت‌گذاری همان صفحه، به‌جای مسدود کردن کل دامنه، از کاربران محافظت می‌کند، بی‌آنکه صاحب وب‌سایت به‌ناحق متضرر شود. نتایج اولیه نشان می‌دهند این نشانه‌ها می‌توانند به شناسایی صفحاتی کمک کنند که نباید وارد نمایه جست‌وجو شوند.
آسان‌تر کردن کشف محتوا با هوش مصنوعی
با افزایش استفاده مردم از هوش مصنوعی برای یافتن اطلاعات، صاحبان وب‌سایت‌ها فرصت‌های تازه‌ای برای دسترسی به مخاطبان علاقه‌مند پیدا می‌کنند. برای کسانی که تصمیم می‌گیرند محتوای خود را در اختیار سامانه‌های هوش مصنوعی بگذارند، این پیشرفت‌ها فرایند کشف محتوا را ساده‌تر و کارآمدتر می‌کند.
دریافت مکرر تمام صفحات وب برای به‌روز نگه داشتن اطلاعات، برای همه هزینه‌بر خواهد بود. برای صاحب یک وب‌سایت، خزنده‌ای که بارها صفحه‌ای بدون تغییر را دانلود می‌کند، بدون آنکه سودی به همراه داشته باشد، بار اضافی بر سرور تحمیل می‌کند.
نشانه‌های یادشده به ما کمک می‌کنند از این وضعیت جلوگیری کنیم. فیلترها مانع مراجعه خزنده‌ها به صفحاتی می‌شوند که وجود ندارند یا به نشانی دیگری هدایت می‌شوند. نشانه‌های تغییر نیز مشخص می‌کنند چه زمانی ارزش دارد خزنده دوباره به صفحه‌ای مراجعه کند و چه زمانی نیازی به این کار نیست.
برقراری تعادل در این زمینه اهمیت دارد. کشف صفحات جدید ممکن است در ابتدا حجم خزش را افزایش دهد، زیرا این صفحات باید ارزیابی و نمایه‌سازی شوند. هدف آن است که فرایند کشف ادامه یابد و اطلاعات به‌روز بماند، در حالی که میزان کار لازم برای این کار کاهش پیدا کند. برای مشتریان کلادفلر، این رویکرد به معنای کاهش بار غیرضروری بر وب‌سایت‌هاست. برای اوپن‌ای‌آی نیز به این معناست که بخش بیشتری از منابع جست‌وجو صرف اطلاعاتی می‌شود که واقعاً به کاربران کمک می‌کنند.
ایجاد انگیزه برای مشارکت
مرحله بعدی این طرح بر آموخته‌های فعلی تکیه خواهد کرد: انتخاب صفحات را بهبود می‌دهیم، نشانه‌های تغییر سریع‌تر و قابل‌اعتمادتری را آزمایش می‌کنیم و پیامدهای کشف محتوا را می‌سنجیم.
همکاری با اوپن‌ای‌آی را ادامه می‌دهیم تا مشخص شود کشف بهتر صفحات وب چگونه می‌تواند به نتایج واقعی برای کسب‌وکارها منجر شود. در ادامه نیز آموخته‌های خود را با دیگران به اشتراک خواهیم گذاشت.
در تمام این مراحل، تصمیم صاحبان دامنه اهمیت دارد. وجود یک نشانه درباره یک صفحه به معنای اعطای مجوز دسترسی به آن نیست. این پژوهش برای جست‌وجو و کشف محتوا از فراداده‌های وب استفاده می‌کند، نه از به‌اشتراک‌گذاری محتوای صفحات برای آموزش مدل‌ها.
برای آگاهی از نحوه دسترسی سامانه‌های هوش مصنوعی به وب‌سایت خود و مدیریت آن، می‌توانید از ابزار کنترل خزش هوش مصنوعی کلادفلر استفاده کنید.