أصدرت Cloudflare للتو موعدًا نهائيًا جديدًا لصناعة الذكاء الاصطناعي لفصل برامج زحف الويب المستخدمة لأغراض البحث التقليدية، مثل بحث Google، عن تلك المستخدمة لوكلاء الذكاء الاصطناعي والتدريب. أعلنت الشركة يوم الأربعاء أنه بدءًا من 15 سبتمبر 2026، ستمنع الإعدادات الافتراضية لـ Cloudflare برامج الزحف “متعددة الاستخدام” من أي صفحات تستضيف إعلانات.
وهذا يعني أنه سيتم منع برامج الزحف التي تجمع بين البحث واستخدام الوكيل والتدريب من الزحف إلى هذه المواقع بشكل افتراضي، ما لم يضبط مالك الموقع الإعدادات بطريقة أخرى. وتقول الشركة إن هذه التغييرات في الإعدادات الافتراضية ستنطبق على عملاء Cloudflare الجدد، والمواقع الجديدة التي أنشأها العملاء الحاليون، وجميع العملاء المجانيين الحاليين.
يمكن أن تؤثر هذه الخطوة على كيفية قدرة موفري نماذج الذكاء الاصطناعي على الوصول إلى محتوى الويب لأغراض التدريب وللمساعدة في تشغيل خدماتهم الوكيلة.
تشير Cloudflare إلى أن معظم مالكي مواقع الويب يريدون أن يكون المحتوى الخاص بهم قابلاً للاكتشاف عبر البحث وغالبًا من خلال خدمات الذكاء الاصطناعي أيضًا، لكنهم يريدون الحماية من منح ملكيتهم الفكرية مجانًا.
تصف Cloudflare على وجه التحديد “أكبر محرك بحث في العالم” (من الواضح أنه مرجع Google!) باعتباره يتمتع بإمكانية الوصول إلى “معلومات أكثر بمرتين” تقريبًا من شركات الذكاء الاصطناعي الأخرى لأن عملاق البحث يجعل من الصعب على العملاء أن يظلوا قابلين للاكتشاف دون استخدامهم في الذكاء الاصطناعي.
لقد عارضت Google هذا التعميم في الماضي، مشيرة إلى أنها توفر روبوتًا يسمى Google Extended الذي يتيح لأصحاب المواقع إلغاء الاشتراك في استخدام المحتوى الخاص بهم للتدريب ومنتجات وخدمات الذكاء الاصطناعي مثل Gemini Apps وVertex API. ولا يؤثر استخدامه على إدراج الموقع في بحث Google. ومع ذلك، فإن برنامج Googlebot الرائد لعملاق التكنولوجيا يزحف للبحث، بما في ذلك ميزات الذكاء الاصطناعي مثل AI Overviews وAI Mode.
قال ماثيو برينس، المؤسس المشارك والرئيس التنفيذي لشركة Cloudflare، في إعلانه عن الأخبار، في إشارة إلى الإنجاز الأخير حيث تجاوزت الروبوتات حركة المرور البشرية عبر الإنترنت لأول مرة: “الآن بعد أن أصبحت غالبية حركة المرور على الإنترنت غير بشرية، يجب علينا المضي قدمًا والعمل بشكل أسرع حتى يمكن ظهور نظام بيئي مستدام”. ولم يكن من المتوقع أن يحدث هذا التحول حتى العام المقبل.
“تمنح أدوات وشراكات Cloudflare الجديدة أصحاب مواقع الويب مزيدًا من الرؤية والفرص التجارية وتفيد شركات الذكاء الاصطناعي التي لديها روبوتات ذات نية واضحة وشفافة. وقال برينس: “نأمل أن تشجع التغييرات الافتراضية المقترحة برامج الزحف متعددة الاستخدامات على فصل البحث عن استخدام الوكيل والتدريب”.
بينما تقدم Cloudflare عددًا من المنتجات لمساعدة المستخدمين على إطلاق أنظمة الذكاء الاصطناعي الخاصة بهم، فقد أصدرت الشركة أيضًا مجموعة من الأدوات لمنح الناشرين مزيدًا من التحكم في المحتوى الخاص بهم في عصر الذكاء الاصطناعي. في السنوات الأخيرة، أطلقت Cloudflare أدوات لمكافحة روبوتات الذكاء الاصطناعي، بما في ذلك سوق يتيح لمواقع الويب فرض رسوم على روبوتات الذكاء الاصطناعي مقابل الاستخلاص، يطلق عليها اسم Pay Per Crawl.
وقالت الشركة إن هذا الأخير يتطور الآن أيضًا إلى “الدفع مقابل الاستخدام”، والذي سيسمح للناشرين بفرض رسوم على شركات الذكاء الاصطناعي عندما يخلق المحتوى الخاص بهم قيمة، وليس فقط عند جلبه.
يمكن أن يساعد التغيير أيضًا في الحفاظ على النطاق الترددي للناشرين وحساب الموارد لموفري نماذج الذكاء الاصطناعي، حيث تشير بيانات Cloudflare إلى أن أكثر من 50% من حركة مرور الزحف من برامج زحف الذكاء الاصطناعي يتم إنفاقها في إعادة جلب الصفحات التي لم تتغير.
ولتنفيذ ذلك، تعمل Cloudflare في البداية مع شريكين، Ceramic.ai وYou.com. عندما يقوم الناشر بالاشتراك، يتم الدفع له عندما يظهر محتواه في نتائج بحث AI الخاصة بـ Ceramic أو عندما يصل You.com إلى جزء من محتواه المتميز.
تقول Cloudflare إن شركات الذكاء الاصطناعي الأخرى يمكنها تخصيص هذا النموذج لكيفية عملها.
عندما تقوم بالشراء من خلال الروابط الموجودة في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلالنا التحريري.
اكتشاف المزيد من في بي دبليو الشامل
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
