Die kostenlose Fahrt, die KI-Bots im gesamten Web genossen haben, wird gerade holpriger.
Cloudflare verschärft die Regeln dafür, wie KI-Unternehmen Inhalte von Websites sammeln, und führt neue Kontrollen ein, die das Verhältnis zwischen Herausgebern, Suchmaschinen und KI-Unternehmen neu gestalten könnten.
Das Unternehmen kündigte an, dass neue Standardeinstellungen auf seiner Plattform ab dem 15. September 2026 KI-Trainings- und Agenten-Crawler auf Seiten blockieren werden, die Anzeigen anzeigen, während herkömmliche Such-Crawler weiterhin zugelassen bleiben. Die Änderung betrifft auch Bots mit gemischtem Einsatzzweck, also Crawler, die Suchindexierung mit KI-Training oder Agentenfunktionen.
kombinieren. Cloudflare erklärte, dass diese Systeme mit gemischter Nutzung anhand all ihrer Verhaltensweisen beurteilt werden, nicht nur anhand eines einzelnen. In der Praxis bedeutet das, dass ein Crawler, der sowohl für die Suche als auch für KI-Training eingesetzt wird, blockiert werden könnte, selbst wenn der Suchzugriff weiterhin erlaubt ist. Die Änderungen gelten für neue Kunden, neue Websites bestehender Kunden sowie bestehende Nutzer des kostenlosen Tarifs, die ihre Einstellungen nicht angepasst haben.
Eine Abkehr vom alten Webhandel
Cloudflare argumentiert, dass der langjährige Austausch im Internet – Websites erlauben das Crawling und erhalten im Gegenzug Besucher – im KI-Zeitalter nicht mehr so reibungslos funktioniert.
Herkömmliche Suchmaschinen indexierten Websites und leiteten Nutzer traditionell zurück zu den Herausgebern. KI-Systeme nehmen Informationen zunehmend auf, fassen sie zusammen und liefern Antworten direkt an die Nutzer, wodurch der Bedarf an einem Besuch der Quellen sinkt.
Das Unternehmen beschrieb diese Herausforderung als schwierigen Zielkonflikt für Inhaltsanbieter, die online sichtbar sein wollen, ohne ihre Arbeit unentgeltlich an KI-Systeme abzugeben.
„Inhaltsanbieter wollen ihre Inhalte weiterhin schützen können und für die ursprünglichen Inhalte, deren Erstellung, Kuratierung und Weitergabe viel Arbeit erfordert, entlohnt werden. Wir wissen auch, dass eine vollständige Sperrung von Inhalten keine Universallösung ist; Website-Betreiber wollen mehr Möglichkeiten, als jedes Mal auf ‚jegliche Automatisierung blockieren‘ zurückzugreifen“, schrieben Cloudflare Product Manager Jin-He Lee und Director of Product Bryan Becker.
Cloudflare erneuerte außerdem seine Kritik an großen Suchplattformen und deutete an, dass große Marktteilnehmer einen Vorteil haben, wenn dieselben Crawling-Systeme sowohl die Suchindexierung als auch KI-bezogene Aufgaben übernehmen.
Neue Werkzeuge jenseits der einfachen Sperrung
Statt den gesamten KI-Traffic gleich zu behandeln, unterteilt Cloudflare die Automatisierung in drei Kategorien: Search, Agent und Training.
Website-Betreiber können nun für jede Kategorie eigene Regeln erstellen und damit besser steuern, wie auf Inhalte zugegriffen wird. Cloudflare hat außerdem BotBase eingeführt, eine durchsuchbare Datenbank für Enterprise-Kunden, die Bot-Verhalten und -Klassifizierung erfasst.
Das Unternehmen erweitert seine Inhaltskontrollen außerdem um Nutzungskategorien wie „Immediate“, „Reference“ und „Full“, mit denen Herausgeber angeben können, wie ihr Material nach dem Crawling gespeichert oder wiederverwendet werden soll.
Warum das wichtig ist
Die Ankündigung ist Ausdruck eines größeren Streits darüber, wer von KI-generierten Antworten profitiert.
Herausgeber sind auf Traffic, Werbung, Abonnements und Weiterleitungen angewiesen. KI-Unternehmen benötigen Zugriff auf große Mengen an Inhalten. Da KI-Systeme Fragen zunehmend direkt beantworten, besuchen möglicherweise weniger Nutzer die ursprünglichen Websites, die diese Informationen bereitgestellt haben.
Cloudflare entwickelt außerdem sein bisheriges System Pay Per Crawl zu „Pay Per Use“ weiter, einem Ansatz, der Herausgeber dafür entlohnen soll, wenn ihre Inhalte einen Wert für KI-generierte Antworten liefern.
Der Druck verlagert sich auf KI-Unternehmen
Die größte Auswirkung von Cloudflares Schritt besteht möglicherweise nicht in der Blockierung von Bots, sondern darin, Transparenz zu erzwingen.
Unternehmen, die einen einzigen Crawler für die Suche, KI-Agenten und das Modelltraining einsetzen, stehen nun unter Druck, diese Funktionen zu trennen, wenn sie ununterbrochenen Zugriff behalten wollen. Das könnte es Herausgebern erleichtern zu verstehen, wer Inhalte sammelt und warum.
Die Herausforderung besteht darin, dass Cloudflare nicht das gesamte Internet kontrollieren kann. Große Technologiekonzerne verfügen bereits über eigene Opt-out-Mechanismen, und Wettbewerber könnten alternative Methoden zur Datensammlung verfolgen. Da Cloudflare jedoch vor einem großen Teil des Internetverkehrs sitzt, könnten seine Richtlinienänderungen beeinflussen, wie KI-Unternehmen ihre Systeme künftig strukturieren.
Lesen Sie auch: Portugal hat Amália gestartet, ein quelloffenes KI-Modell für europäisches Portugiesisch, während Europa auf mehr Kontrolle über die KI-Infrastruktur drängt.