کلادفلر و اوپن‌ای‌آی در طرحی آزمایشی، صدها میلیون صفحه وب را نمایه‌سازی کردند
نویسنده: مارا سوگوئه | سردبیر اخبار
کلادفلر و اوپن‌ای‌آی نتایج اولیه یک طرح آزمایشی پژوهشی را منتشر کرده‌اند که در آن از سیگنال‌های شبکه برای بهبود فرایند کشف محتوای وب توسط سامانه‌های هوش مصنوعی استفاده می‌شود. این پروژه به اوپن‌ای‌آی کمک کرده است صدها میلیون صفحه وب را که پیش‌تر شناسایی نشده بودند، کشف و نمایه‌سازی کند.
در این طرح آزمایشی، از سیگنال‌های حدود یک درصد از شبکه جهانی کلادفلر استفاده شد تا خزنده جست‌وجوی اوپن‌ای‌آی بتواند صفحاتی را پیدا کند که قبلاً در نمایه این شرکت قرار نداشتند. دسترسی به این صفحات جدید، منابع بیشتری در اختیار ChatGPT قرار می‌دهد تا هنگام پاسخ‌گویی به پرسش‌ها از آن‌ها استفاده کند و کاربران را به وب‌سایت‌های مرتبط هدایت کند.
این پروژه به مشکلی فزاینده می‌پردازد که با روی‌آوردن افراد بیشتری به ابزارهای هوش مصنوعی برای کسب اطلاعات، به‌جای اتکای صرف به موتورهای جست‌وجوی سنتی، اهمیت بیشتری پیدا کرده است. در چنین شرایطی، ممکن است صفحات مفید وب نادیده گرفته شوند؛ به‌ویژه اگر پیوندهای ورودی اندکی داشته باشند یا در بخش‌های دیگر وب چندان برجسته نباشند.
کلادفلر اعلام کرده است که شبکه این شرکت می‌تواند سیگنال‌هایی فراهم کند که به شناسایی صفحات ارزشمند برای کشف کمک می‌کنند؛ در مقابل، اوپن‌ای‌آی مسئول ارزیابی و رتبه‌بندی این صفحات بر اساس میزان ارتباط و سودمندی آن‌هاست. به گفته دو شرکت، این فرایند هم به بهبود کشف محتوا کمک می‌کند و هم کیفیت اطلاعاتی را که به کاربران نمایش داده می‌شود، افزایش می‌دهد.
سیگنال‌های کشف محتوا
یافته‌های اولیه نشان می‌دهند که فراداده‌ها و الگوهای ترافیک می‌توانند به خزنده هوش مصنوعی کمک کنند تصمیم بگیرد از کدام صفحات بازدید کند و کدام صفحات را نادیده بگیرد. این موضوع اهمیت دارد، زیرا خزنده‌ای که تلاش می‌کند تمام صفحات وب را دریافت کند، ممکن است منابع زیادی را صرف صفحات تکراری، تغییرمسیرها و نشانی‌های ناموجود کند.
در گزارش وبلاگی این پروژه، به چند الگو اشاره شده است که طی اجرای طرح آزمایشی شناسایی شدند. ترافیک خودکار می‌تواند باعث شود صفحات ازکارافتاده فعال به نظر برسند. برخی وب‌سایت‌ها شمار زیادی از نشانی‌ها را به صفحه اصلی هدایت می‌کنند و چندین URL نیز ممکن است به محتوایی تقریباً یکسان اشاره داشته باشند. فیلترکردن این موارد پیش از دریافت صفحات می‌تواند از خزش غیرضروری بکاهد و بار واردشده بر صاحبان وب‌سایت‌ها را کاهش دهد.
کلادفلر و اوپن‌ای‌آی همچنین اعلام کرده‌اند که در حال آزمایش سیگنال‌هایی برای شناسایی صفحات بالقوه مخرب هستند. این موارد می‌تواند شامل موقعیت‌هایی باشد که در آن‌ها صفحه‌ای از یک وب‌سایت معتبر هک شده و برای مثال، یک فرم ورود جعلی در آن قرار گرفته است. نتایج اولیه نشان می‌دهد این سیگنال‌ها می‌توانند به شناسایی صفحاتی کمک کنند که باید از نمایه حذف شوند.
تحول در نمایه‌سازی
این طرح آزمایشی نشان می‌دهد که کشف محتوا با کمک هوش مصنوعی چگونه اقتصاد نمایه‌سازی وب را تغییر می‌دهد. در الگوی سنتی جست‌وجو، میزان دیده‌شدن یک صفحه اغلب به این بستگی داشت که آیا در نتایج جست‌وجو رتبه بالایی کسب می‌کند یا نه؛ سپس کاربر درباره ارزش آن قضاوت می‌کرد. اما در دستیارهای هوش مصنوعی، سامانه‌ها ابتدا باید منبع مناسب را پیدا کنند، سودمندی آن را بسنجند و بعد تصمیم بگیرند چگونه آن را ارائه دهند؛ چه در قالب پاسخی مستقیم، چه با ذکر منبع و چه از طریق پیوندی به وب‌سایت اصلی.
این تغییر، اهمیت سیگنال‌هایی را افزایش می‌دهد که مرحله نخست کشف محتوا را بهبود می‌بخشند. همچنین شرکت‌های هوش مصنوعی را تحت فشار بیشتری قرار می‌دهد تا نمایه‌های خود را به‌روز نگه دارند، بی‌آنکه حجم درخواست‌های ارسالی به وب‌سایت‌ها به‌شدت افزایش یابد.
کلادفلر گفته است هدف این طرح صرفاً خزش صفحات بیشتر یا بازدید مکرر از آن‌ها نیست. این سامانه می‌کوشد تشخیص دهد چه زمانی ارزش دارد صفحه‌ای دوباره بررسی شود و چه زمانی دریافت مجدد آن اطلاعات چندانی به همراه ندارد. برای گردانندگان وب‌سایت‌ها، این رویکرد می‌تواند به معنای کاهش درخواست‌های خزنده‌ها برای دریافت صفحاتی باشد که تغییری نکرده‌اند یا اصلاً معتبر نیستند. برای اوپن‌ای‌آی نیز به این معناست که می‌توان سهم بیشتری از منابع جست‌وجو را به صفحاتی اختصاص داد که احتمال دارد در پاسخ‌گویی به پرسش‌ها مفید باشند.
اختیار ناشران بر دسترسی به محتوا
دو شرکت همچنین تأکید کرده‌اند که سیگنال‌های کشف محتوا بر انتخاب‌های مالک دامنه درباره دسترسی به وب‌سایتش اولویت ندارند. کلادفلر توضیح داده است که وجود سیگنالی درباره یک صفحه، به خزنده اجازه دریافت آن را نمی‌دهد. این شرکت همچنین میان استفاده از فراداده‌های وب برای جست‌وجو و کشف محتوا و استفاده از محتوای صفحات برای آموزش مدل‌ها تمایز قائل شده است.
این نکته احتمالاً برای ناشران و صاحبان وب‌سایت‌هایی اهمیت دارد که می‌خواهند محتوایشان در محصولات هوش مصنوعی دیده شود، اما در عین حال کنترل بیشتری بر نحوه دسترسی ربات‌ها به وب‌سایت‌های خود داشته باشند. با افزایش تلاش گروه‌های رسانه‌ای، ناشران آنلاین و پلتفرم‌های وب برای دریافت غرامت، الزام به ذکر منبع یا اعمال محدودیت‌های فنی بر استفاده از مطالبشان، اختلاف‌نظرها درباره خزنده‌های هوش مصنوعی نیز شدت گرفته است.
کلادفلر اعلام کرده است که مشتریان این شرکت می‌توانند با استفاده از ابزارهای کنترل خزش هوش مصنوعی (AI Crawl Control)، نحوه دسترسی سامانه‌های هوش مصنوعی به وب‌سایت‌های خود را مدیریت کنند. این طرح آزمایشی نشان می‌دهد کلادفلر زیرساخت‌های کشف محتوا را حوزه‌ای می‌داند که در آن اپراتورهای شبکه می‌توانند نقش پررنگ‌تری در شکل‌دادن به تعامل سامانه‌های هوش مصنوعی با وب آزاد ایفا کنند.
برای اوپن‌ای‌آی، اهمیت گسترده‌تر این پروژه در آن است که نمایه‌ای بزرگ‌تر و به‌روزتر می‌تواند دامنه منابع در دسترس ChatGPT را افزایش دهد؛ به‌ویژه برای پرسش‌هایی که پاسخ آن‌ها به اطلاعات تخصصی، محلی یا تازه‌به‌روزشده وابسته است. در پژوهش این پروژه، از دفترچه‌های راهنمای محصولات، الزامات دریافت گذرنامه، منوهای رستوران‌ها و ساعات کاری آن‌ها به‌عنوان نمونه یاد شده است؛ مواردی که در آن‌ها یافتن یک صفحه مشخص می‌تواند تعیین کند پاسخ ارائه‌شده مفید است یا نادرست.
در مرحله بعد، دو شرکت بر بهبود انتخاب صفحات، آزمایش سیگنال‌های سریع‌تر برای تشخیص تغییرات و اندازه‌گیری نتایج پس از کشف محتوا تمرکز خواهند کرد. آن‌ها اعلام کردند: «این طرح آزمایشی به اوپن‌ای‌آی امکان داده است صدها میلیون صفحه وب جدید را کشف و نمایه‌سازی کند و به مردم کمک کند محتوای مفیدتری بیابند و از طریق ChatGPT پاسخ پرسش‌های بیشتری را دریافت کنند.»