کلادفلر و اوپن‌ای‌آی؛ بهبود فرایند کشف محتوا در هوش مصنوعی برای همه
بهینه‌سازی وب‌سایت برای هوش مصنوعی زمانی فایده چندانی ندارد که سامانه‌های هوش مصنوعی نتوانند آن را پیدا کنند. ممکن است پاسخ پرسش یک کاربر از قبل در وب‌سایت شما وجود داشته باشد؛ برای مثال، راهنمای نصب محصولی که یک هفته برای نوشتنش وقت گذاشته‌اید یا روایت دست‌اول فردی از تجربه استفاده از یک محصول که جزئیات تعیین‌کننده‌ای درباره خرید آن ارائه می‌کند. با افزایش استفاده مردم از هوش مصنوعی برای دریافت کمک و کسب اطلاعات، می‌خواهید این سامانه‌ها محتوای شما را پیدا کنند، آن را دقیق بازتاب دهند و مخاطبان علاقه‌مند را به وب‌سایتتان هدایت کنند. در عین حال، باید بتوانید نحوه دسترسی آن‌ها به سایت خود را کنترل کنید.
کلادفلر و اوپن‌ای‌آی در ژوئیه ۲۰۲۶ طرحی آزمایشی برای پژوهش آغاز کردند که با در نظر گرفتن همین نیازها طراحی شده بود. هدف این بود که مشخص شود آیا داده‌ها و نشانه‌های به‌دست‌آمده از شبکه کلادفلر می‌توانند به کاربران ChatGPT کمک کنند محتوای جدید را سریع‌تر و مؤثرتر پیدا کنند یا خیر.
امروز نتایج اولیه این همکاری را منتشر می‌کنیم. پاسخ تا این مرحله قاطعانه مثبت بوده است: این طرح آزمایشی باعث شده صفحاتی که پیش‌تر ناشناخته بودند وارد نمایه جست‌وجوی اوپن‌ای‌آی شوند و ChatGPT بتواند برای کمک به کاربران در یافتن اطلاعات مرتبط و به‌روز، از منابع بیشتری استفاده کند. در جریان این کار، شناخت ما از ویژگی‌های صفحاتی که ارزش کشف‌شدن دارند و نحوه استفاده سامانه‌های هوش مصنوعی از وب نیز بیشتر شده است.
کشف بخش‌های بیشتری از وب
وب سرشار از اطلاعات جزئی و مشخص است. کسی که می‌خواهد ماشین لباس‌شویی خود را تعمیر کند، به دفترچه راهنمای همان مدل دقیق نیاز دارد. فردی که برای دریافت گذرنامه اقدام می‌کند، باید از شرایط و هزینه‌های روز مطلع باشد. کسی که در جست‌وجوی یک رستوران محلی است، به جدیدترین منو و ساعات کاری آن نیاز دارد. یافتن صفحه درست می‌تواند تفاوت میان پاسخی نادرست و اطلاعاتی واقعاً کاربردی باشد. چنین صفحاتی حتی اگر وب‌سایت‌های دیگر پیوندهای اندکی به آن‌ها داده باشند، ممکن است ارزش زیادی داشته باشند.
در شکل سنتی وب، دیده‌شدن به معنای قرارگرفتن در رتبه‌های بالای صفحه نتایج جست‌وجو بود. پس از آن، این کاربر بود که با مراجعه به صفحه، ارزش اطلاعات را ارزیابی می‌کرد، میز رستوران رزرو می‌کرد یا برای گذرنامه درخواست می‌داد. اما با افزایش اتکای مردم به هوش مصنوعی برای یافتن اطلاعات و انجام کارها، مفهوم دیده‌شدن نیز تغییر کرده است. سامانه‌های هوش مصنوعی باید منابع مناسب را پیدا کنند، مفیدبودن آن‌ها را تشخیص دهند و کاربران را به اطلاعات مرتبط برسانند؛ چه از طریق ارائه پاسخ، چه با ذکر منبع و چه با هدایت مستقیم کاربر به وب‌سایت.
شبکه کلادفلر داده‌هایی در اختیار دارد که می‌توانند به خزنده جست‌وجوی اوپن‌ای‌آی کمک کنند صفحات مفید بیشتری را در سراسر وب کشف و به کاربران ChatGPT معرفی کند. سپس اوپن‌ای‌آی به‌طور مستقل میزان ارتباط و مفیدبودن این صفحات را ارزیابی می‌کند و رتبه نمایش آن‌ها را تعیین می‌کند. این همکاری چرخه‌ای بازخوردی ایجاد می‌کند که می‌تواند هم فرایند کشف محتوا و هم کیفیت اطلاعاتی را که مردم پیدا می‌کنند، بهبود دهد.
این طرح مشترک با مشارکت گروهی معادل حدود یک درصد از کل شبکه کلادفلر اجرا شده است. به کمک آن، اوپن‌ای‌آی توانسته صدها میلیون صفحه وب جدید را کشف و نمایه‌سازی کند؛ اقدامی که به کاربران امکان می‌دهد محتوای مفیدتری بیابند و پاسخ پرسش‌های بیشتری را از طریق ChatGPT دریافت کنند. قابلیت جست‌وجوی ChatGPT با پیوند دادن به منابع مرتبط، راهی نیز برای بررسی محتوای اصلی و آشنایی با وب‌سایت‌ها و ناشران منتشرکننده آن در اختیار کاربران قرار می‌دهد.
اوپن‌ای‌آی با عرضه GPT-6 و رابط کاربری هوشمند، در حال تبدیل ChatGPT به محیطی بهتر برای خرید، یادگیری و یافتن پاسخ‌هاست؛ محیطی که تجربه‌های بصری و تعاملی بیشتری متناسب با نیاز کاربران ارائه می‌کند. این همکاری با کمک به ChatGPT برای کشف اطلاعات مفیدتر و به‌روزتر از سراسر وب، مکمل این پیشرفت‌هاست.
از کشف صفحات تا ارائه پاسخ‌های مفید
پیداکردن نشانی یک صفحه وب تنها نقطه شروع است. باید مشخص شود که آیا کاربر واقعاً می‌تواند به آن صفحه دسترسی پیدا کند، آیا صفحه اطلاعات متمایزی ارائه می‌دهد و این اطلاعات چه کمکی به او می‌کند.
برای مثال، متوجه شده‌ایم که ترافیک خودکار به‌سادگی می‌تواند یک صفحه ناموجود را جالب و ارزشمند جلوه دهد. ربات‌ها بارها درخواست فایل‌هایی را ارسال می‌کنند که اصلاً وجود ندارند. برخی وب‌سایت‌ها تقریباً هر نشانی اینترنتی را به صفحه اصلی خود هدایت می‌کنند. نشانی‌های دیگری نیز به نسخه‌های تکراری یک محتوا می‌رسند. شناسایی این الگوها به ما امکان می‌دهد پیش از آنکه خزنده صفحه‌ای را دریافت کند، فعالیت‌های بی‌فایده را کاهش دهیم و بهره‌وری را به شکلی افزایش دهیم که برای صاحبان وب‌سایت نیز سودمند باشد.
همچنین در حال آزمایش نشانه‌هایی هستیم که صفحات بالقوه مخرب را شناسایی و علامت‌گذاری می‌کنند تا لایه دیگری از اطلاعات برای کشف ایمن‌تر و قابل‌اعتمادتر محتوا فراهم شود. ممکن است یک وب‌سایت معتبر تنها یک صفحه آسیب‌دیده داشته باشد؛ برای مثال، مهاجمی یک فرم ورود جعلی در آن قرار داده باشد. علامت‌گذاری همان صفحه، به‌جای مسدودکردن کل دامنه، به حفاظت از کاربران کمک می‌کند، بی‌آنکه صاحب وب‌سایت به‌ناحق متضرر شود.
نتایج اولیه نشان می‌دهد این نشانه‌ها می‌توانند به شناسایی صفحاتی کمک کنند که باید از نمایه جست‌وجو کنار گذاشته شوند.
ساده‌تر کردن فرایند کشف محتوا
با افزایش استفاده مردم از هوش مصنوعی برای یافتن اطلاعات، فرصت‌های تازه‌ای برای صاحبان وب‌سایت‌ها فراهم می‌شود تا به مخاطبان علاقه‌مند دسترسی پیدا کنند. برای صاحبان وب‌سایت‌هایی که تصمیم می‌گیرند محتوای خود را در دسترس سامانه‌های هوش مصنوعی قرار دهند، این بهبودها فرایند کشف محتوا را ساده‌تر و کارآمدتر می‌کند.
به‌روزرسانی اطلاعات با دریافت مکرر تمام صفحات، برای همه هزینه‌بر خواهد بود. برای صاحب یک وب‌سایت، خزنده‌ای که صفحه‌ای بدون تغییر را بارها دانلود می‌کند، بدون آنکه سودی به همراه داشته باشد، بار اضافی بر سامانه ایجاد می‌کند.
نشانه‌های یادشده به ما کمک می‌کنند از این وضعیت جلوگیری کنیم. فیلترکردن، خزنده‌ها را از صفحاتی که وجود ندارند یا به نشانی دیگری هدایت می‌شوند، دور نگه می‌دارد. نشانه‌های تغییر نیز مشخص می‌کنند چه زمانی ارزش دارد خزنده دوباره به صفحه مراجعه کند و چه زمانی نیازی به این کار نیست.
برقراری تعادل در این زمینه اهمیت دارد. کشف صفحات جدید ممکن است در ابتدا میزان خزیدن را افزایش دهد، زیرا این صفحات باید ارزیابی و نمایه‌سازی شوند. هدف این است که فرایند کشف محتوا ادامه یابد و اطلاعات به‌روز بماند، در حالی که حجم کار لازم برای این منظور کاهش پیدا می‌کند. برای مشتریان کلادفلر، این امر به معنای کاهش بار غیرضروری بر وب‌سایت‌هاست. برای اوپن‌ای‌آی نیز به این معناست که بخش بیشتری از منابع جست‌وجو صرف اطلاعاتی می‌شود که به کاربران کمک می‌کنند.
ایجاد انگیزه برای مشارکت
مرحله بعدی این همکاری بر پایه آموخته‌های فعلی پیش خواهد رفت: انتخاب صفحات بهبود می‌یابد، نشانه‌های تغییر سریع‌تر و قابل‌اعتمادتر آزمایش می‌شوند و پیامدهای کشف محتوا اندازه‌گیری خواهند شد.
همکاری با اوپن‌ای‌آی را ادامه می‌دهیم تا دریابیم چگونه بهبود قابلیت کشف وب‌سایت‌ها می‌تواند به نتایج واقعی کسب‌وکار منجر شود. در ادامه نیز آموخته‌های خود را با دیگران به اشتراک خواهیم گذاشت.
در تمام این مراحل، تصمیم‌های صاحبان دامنه اهمیت دارند. وجود یک نشانه درباره یک صفحه به معنای اعطای مجوز دسترسی به آن نیست. این پژوهش برای جست‌وجو و کشف محتوا از فراداده‌های وب استفاده می‌کند و شامل به‌اشتراک‌گذاری محتوای صفحات برای آموزش مدل‌ها نمی‌شود.