Cloudflare hat ein neues System eingeführt, das Content-Erstellern und Website-Betreibern mehr Kontrolle über die KI-Crawler geben soll, die täglich ihre Webinhalte durchsuchen. Das derzeit in einer privaten Betaphase befindliche, geplante Pay-per-Crawl-System von Cloudflare soll die laufende Entwicklung von KI-Plattformen der nächsten Generation unterstützen und zugleich eine faire Vergütung für alle Beteiligten sicherstellen.
Das Pay-per-Crawl-Modell im Detail
Content-Ersteller und Website-Betreiber tun sich seit deren Aufkommen schwer damit, einen Umgang mit KI-Crawlern zu finden. Während einige ihre Inhalte für das Training und als Referenz für KI frei zugänglich machen, entscheiden sich andere dafür, KI-Crawler vollständig zu blockieren. Das neue Modell von Cloudflare gibt Content-Erstellern und Website-Betreibern jedoch die Möglichkeit, für den Zugriff eine Gebühr zu verlangen.
In Cloudflares heute veröffentlichtem Blogbeitrag zur Einführung von Pay-per-Crawl heißt es unter anderem: „Wir sind der Ansicht, dass Ihre Wahl nicht binär sein muss – es sollte eine dritte, differenziertere Option geben: Sie können für den Zugriff eine Gebühr verlangen. Statt einer pauschalen Blockierung oder eines unentgeltlichen offenen Zugriffs möchten wir Content-Eigentümer dazu befähigen, ihre Inhalte im Maßstab des Internets zu monetarisieren.“
Unter dem neuen System stehen Content-Erstellern und Website-Betreibern im Umgang mit einzelnen KI-Crawlern drei Optionen zur Verfügung:
- Erlauben: Der KI-Crawler erhält dadurch kostenlosen Zugriff auf die ausgewählten Inhalte.
- Blockieren: Mit dieser Option lässt sich der Zugriff eines KI-Crawlers vollständig blockieren. Bei ihrer Verwendung erhält das Unternehmen hinter dem Crawler nicht einmal die Möglichkeit, für den Zugriff zu bezahlen.
- Gebühr verlangen: Content-Ersteller und Website-Betreiber können mit dieser Option eine Gebühr für den Zugriff verlangen.
Wenn der Entwickler eines KI-Crawlers die Abrechnung mit Cloudflare noch nicht eingerichtet hat, können sich Content-Ersteller und Website-Betreiber trotzdem dafür entscheiden, von ihm eine „Gebühr zu verlangen“. Der aktuelle Zugriff wird zwar effektiv blockiert, bis die Abrechnung eingerichtet ist, die Betroffenen werden jedoch über ihre Optionen informiert.
Unbefugten Zugriff verhindern
Cloudflares neues Pay-per-Crawl-Modell musste eine erhebliche Hürde überwinden, bevor es überhaupt in die private Betaphase eintreten konnte: Spoofing.
Da ausgewählt werden kann, welche Crawler kostenlosen Zugriff erhalten, für welche eine Zahlung erforderlich ist und welche vollständig blockiert werden, musste das Entwicklungsteam von Cloudflare verhindern, dass Hacker bestimmte Crawler fälschen. Dies gelang mithilfe der Webbot-Authentifizierung. Sie nutzt ein Ed25519-Schlüsselpaar und HTTP-Nachrichtensignaturen, um jede Anfrage zu verarbeiten, letztlich die Identität des Crawlers zu überprüfen und den Zugriff von Fall zu Fall zu gewähren oder zu verweigern.
Frühzeitigen Zugang zu Cloudflares Betaversion beantragen
Wenn Sie ein Publisher, Content-Ersteller, KI-Unternehmen oder vielleicht ein KI-Crawler sind, stellt Cloudflare weitere Informationen zu Pay-per-Crawl auf seiner Seite bereit, auf der Sie frühzeitigen Zugang zur Teilnahme an der Betaversion beantragen können.
Faire Vergütung sicherstellen
Cloudflares neues Modell ist der Versuch, die Kontrolle über Online-Inhalte wieder in die Hände ihrer ursprünglichen Urheber und Eigentümer zu legen. Es folgt einem ähnlichen Versuch von Creative Commons, das kürzlich ein neues Rahmenwerk vorgestellt hat, mit dem Urheber vergütet werden sollen, wenn ihre Werke für das Training von KI verwendet werden.
Ob diese Initiativen als Katalysatoren für weitere Veränderungen zugunsten von Urhebern wirken werden, bleibt abzuwarten.
Lesen Sie Berichte über aktuelle KI-Urheberrechtsklagen mit Urhebern und Meta, Anthropic, sowie Microsoft.
Anmerkung der Redaktion: Dieser Inhalt wurde ursprünglich auf unserer Schwesternseite TechRepublic am 1. Juli 2025 veröffentlicht.