Cloudflare plant, gemischt genutzte Webcrawler automatisch zu blockieren, die Websites für Suchmaschinen indizieren und gleichzeitig als KI-Agenten und -Trainer fungieren. Zuvor bot das Unternehmen seinen Kunden die Option an, zu verhindern, dass diese Crawler ihre Websites nach KI-Chatbots durchsuchen, nimmt nun jedoch eine defensivere Standardposition ein.
CEO Matthew Prince erklärte: „Da der Großteil des Datenverkehrs im Internet nun nichtmenschlicher Natur ist, müssen wir noch weiter gehen und schneller handeln, damit ein nachhaltiges Ökosystem entstehen kann.“ Er betonte, dass die neuen Tools und Partnerschaften Websitebesitzern mehr Sichtbarkeit und kommerzielle Möglichkeiten bieten und gleichzeitig KI-Unternehmen mit transparenter Absicht zugute kommen.
Ab dem 15. September 2026 werden Neukunden und neue Websites bestehender Abonnenten über Einstellungen verfügen, die standardmäßig die Suche zulassen, aber Schulungen und Agenteneinsatz auf Seiten mit Anzeigen blockieren. Crawler mit gemischter Nutzung, die es Websitebesitzern nicht ermöglichen, die Nutzung von KI-Inhalten zu kontrollieren, werden standardmäßig auch auf Anzeigenseiten blockiert. Benutzer eines kostenlosen Kontos wechseln automatisch zu diesen neuen Standardeinstellungen, sofern sie sich nicht vor Ablauf der Frist abmelden.
Cloudflare aktualisiert seine Pay-per-Crawl-Funktion, die jetzt Pay-per-Use heißt und bei der Websitebesitzer eine Vergütung erhalten, wenn ihre Inhalte von KI-Chatbots referenziert werden. Die Ankündigung umfasst Partnerschaften mit Ceramic.AI und You.com, mit der Erwartung, weitere KI-Unternehmen für die Übernahme dieser Änderungen zu gewinnen.
Die neue Richtlinie wird als strategischer Schritt angesehen, um Google herauszufordern, das Zugriff auf deutlich mehr Informationen hat als führende KI-Unternehmen. Der wichtigste Webcrawler von Google, Googlebot, indiziert Websites effektiv und sammelt Daten für seine KI-Modelle, was die Möglichkeiten der Herausgeber hinsichtlich der Nutzung von Inhalten erschwert. Die Richtlinien von Cloudflare zielen darauf ab, Google und andere Unternehmen mit gemischt genutzten Crawlern dazu zu bewegen, ihre Strategien zu überdenken.
