گوگل، OpenAI، آنتروپیک و مایکروسافت از یک سازوکار مشترک برای جلوگیری از آموزش هوش مصنوعی با محتوای وب‌سایت‌ها حمایت کردند
مدیران وب‌سایت‌ها ممکن است به‌زودی بتوانند تنها با افزودن یک خط دستور، به گوگل، OpenAI، آنتروپیک و مایکروسافت اعلام کنند که اجازه ندارند از محتوای صفحات آن‌ها برای آموزش هوش مصنوعی استفاده کنند. هر چهار شرکت پذیرفته‌اند از یک دستور مشترک در فایل robots.txt پیروی کنند؛ فایلی که به خزنده‌های وب اعلام می‌کند به کدام بخش‌های یک وب‌سایت اجازه دسترسی دارند. این توافق برای تمام افرادی که در فضای اینترنت محتوا منتشر می‌کنند اهمیت دارد، زیرا تا پیش از این، مسدود کردن دسترسی هر شرکت به استفاده از دستور جداگانه‌ای نیاز داشت.
دستور مشترک چیست؟
نشانه جدید، توکنی با نام __usage_ai-training است. مدیران وب‌سایت‌ها می‌توانند با افزودن یک قانون Disallow برای این توکن، استفاده از محتوای سایت خود در فرایند آموزش هوش مصنوعی را مسدود کنند. همچنین امکان باز گذاشتن دسترسی به برخی بخش‌ها، مانند پوشه‌ای که اطلاعیه‌های مطبوعاتی در آن قرار دارند، وجود دارد. این دستور تأثیری بر نمایه‌سازی صفحات در موتورهای جست‌وجو ندارد، زیرا فقط استفاده از محتوا برای آموزش هوش مصنوعی را محدود می‌کند.
به گزارش Search Engine Roundtable، کوین کلی از شرکت آنتروپیک پیشنهاد اولیه این سازوکار را مطرح کرده است. این پیشنهاد در قالب یک پیش‌نویس اینترنتی مستقل در اختیار کارگروه مهندسی اینترنت (IETF)، نهادی که مسئول تدوین و نگهداری استانداردهای اینترنت است، قرار گرفته است. بنابراین، این پیشنهاد هنوز در حد یک پیش‌نویس است و به‌عنوان استاندارد رسمی به تصویب نرسیده است.
جان مولر از گوگل اعلام کرده است اگر وب‌سایتی از این توکن استفاده کند اما نام Google-Extended را در تنظیمات خود نیاورد، گوگل قصد دارد این دستور را معادل مسدود کردن Google-Extended در نظر بگیرد. بااین‌حال، قوانین قدیمی که برای هر خزنده به‌صورت جداگانه تعریف شده‌اند همچنان کار خواهند کرد؛ بنابراین ناشران همچنان باید بیش از یک تنظیم را مدیریت کنند. وب‌سایت‌هایی که دسترسی Google-Extended را مجاز می‌دانند، همچنان می‌توانند در پاسخ‌های Gemini نمایش داده شوند و از این طریق بازدیدکننده جذب کنند.
محدودیت‌های این سازوکار
این دستور نمی‌تواند اطلاعاتی را که قبلاً در اختیار یک مدل هوش مصنوعی قرار گرفته‌اند، از آن خارج کند. به گزارش AI Weekly، محتوایی که پیش‌تر جمع‌آوری شده است، همچنان در سامانه‌های موجود باقی می‌ماند. بنابراین، این سازوکار فقط از استفاده‌های بعدی جلوگیری می‌کند و اثری بر داده‌های جمع‌آوری‌شده قبلی ندارد.
از سوی دیگر، این دستور صرفاً یک درخواست داوطلبانه و غیرالزام‌آور است و به‌تنهایی پشتوانه حقوقی برای محافظت از محتوای ناشران محسوب نمی‌شود. تاکنون نیز هیچ آزمایش مستقلی برای بررسی اینکه آیا خزنده‌ها واقعاً از این دستور پیروی می‌کنند یا خیر، انجام نشده است. اختلافات حقوقی درباره استخراج و استفاده از محتوای وب همچنان در مسیرهای دیگری دنبال می‌شود؛ از جمله استدلال حقوقی بنیاد ویکی‌مدیا در دادگاه که بر اساس آن، آموزش هوش مصنوعی می‌تواند استفاده‌ای منصفانه باشد، اما کپی‌برداری از مقالات چنین حکمی ندارد.
نکته دیگری که daily.dev به آن اشاره کرده، تفاوت میان انصراف از استفاده از محتوا برای آموزش هوش مصنوعی و کنترل مایکروسافت بر استفاده از محتوا برای مستند کردن پاسخ‌های هوش مصنوعی است. این دو موضوع سازوکارهای جداگانه‌ای دارند و غیرفعال کردن استفاده از محتوا برای آموزش، لزوماً مانع استفاده از آن برای ارائه پاسخ‌های مبتنی بر محتوا نمی‌شود.
زمان‌بندی اجرای توافق
چهار شرکت قرار است در زمان‌های متفاوتی از این سازوکار پشتیبانی کنند:
- آنتروپیک: اجرای این قابلیت را از هم‌اکنون آغاز کرده است.
- OpenAI: قرار است طی ماه‌های آینده از آن پشتیبانی کند، اما هنوز تاریخ دقیقی اعلام نشده است.
- مایکروسافت: اول فوریه ۲۰۲۷ (۱۲ بهمن ۱۴۰۵).
- گوگل: در سال ۲۰۲۷.
تا زمان آغاز پشتیبانی رسمی شرکت‌ها، ناشرانی که نمی‌خواهند محتوای وب‌سایتشان برای آموزش هوش مصنوعی استفاده شود، باید قوانین مسدودسازی اختصاصی هر خزنده را حفظ کنند. بهتر است دستور مشترک جدید نیز پس از فعال شدن پشتیبانی هر شرکت، به‌عنوان لایه‌ای تکمیلی در کنار تنظیمات فعلی به کار گرفته شود. این توافق در ۳۰ اکتبر ۲۰۲۶ اعلام شده است و پیش‌نویس مربوط به آن ممکن است پیش از نهایی شدن همچنان تغییر کند.