Cloudflare führt sein System, mit dem Websitebetreiber von KI-Unternehmen Geld dafür verlangen können, dass diese ihre Modelle anhand von Website-Inhalten trainieren, bei allen Kunden ein. Ziel ist es, Online-Kreativen eine Alternative dazu zu bieten, entweder alle Crawler zu blockieren oder sie für nur eine Handvoll Empfehlungen hereinzulassen.
Jahrelang beruhte das Geschäftsmodell des Internets auf Google, das Websites in seinen Suchergebnissen Sichtbarkeit verschaffte und im Gegenzug ihre Inhalte indexierte und durch Anzeigen monetarisierte. Nun schlagen KI-Unternehmen eine ähnliche Vereinbarung vor: Empfehlungen durch ihre Modelle im Austausch für Zugriff zum Crawlen.
Das Problem: Cloudflare stellt fest, ist die Größenordnung: Googles Verhältnis von Crawling zu Empfehlungen liegt bei 9,4 zu 1, während OpenAIs näher bei 1.600 zu 1 liegt und das von Anthropic bei erstaunlichen 70.900 zu 1.
Im Juli führte Cloudflare ein Pay-per-Crawl-System ein , mit dem Websitebetreiber Tech-Unternehmen im Austausch für den Zugriff ihrer Crawler auf Website-Inhalte zum Trainieren von KI-Modellen eine Gebühr berechnen konnten. Damit entsteht neben dem kleinen Rinnsal an Empfehlungen eine weitere Einnahmequelle. Wenn ein Crawler eine Seite besucht, werden sie in einem Dashboard benachrichtigt und können den Zugriff erlauben, blockieren oder dafür Geld verlangen.
Wählen sie Letzteres, erhält der Crawler einen benutzerdefinierten HTTP-402-Antwortcode „Payment Required“, der die Gebühr in seinem Header angibt. Der Crawler muss die Zahlung akzeptieren und sich über Web Bot Auth authentifizieren, bevor er Zugriff erhält. Die benutzerdefinierte Seite kann Kontaktdaten oder API-Endpunkte zum Abschließen der Zahlung enthalten.
Dieser Dienst wird nun auf alle Cloudflare-Kunden ausgeweitet, nicht nur auf diejenigen, die sich für die Betaversion angemeldet haben. Er wird von AI Audit Tool in AI Crawl Control umbenannt, um „die Weiterentwicklung des Tools von einfacher Überwachung hin zu detaillierten Einblicken und Kontrolle darüber widerzuspiegeln, wie KI-Systeme auf Ihre Inhalte zugreifen können“, sagt Cloudflare.
Cloudflare berichtet, dass Kunden bereits mehr als eine Milliarde 402-Antwortcodes pro Tag senden. Das Unternehmen plant, neue Parameteroptionen für die benutzerdefinierte Seite hinzuzufügen, etwa solche, die Inhaltsqualität und Aktualisierungshäufigkeit angeben.
Matthew Prince, der CEO von Cloudflare, ist fest davon überzeugt, das Geschäftsmodell des Internets zu verändern , damit finanzstarke KI-Unternehmen für den Zugriff auf Inhalte bezahlen müssen und Nutzer, die derzeit durch Anzeigen und Bezahlschranken belastet werden, diese kostenlos ansehen können. Dadurch soll die Macht wieder in die Hände der Kreativen gelangen.
„Bei diesen neuen KI-Systemen wird der Wert von ‚Ich nehme deine Daten und schicke dir im Gegenzug Traffic auf deine Website‘ einfach zusammenbrechen“, sagte Prince im Februar gegenüber Fortune. „Und deshalb müssen wir ein anderes Modell erfinden.“
In Zukunft möchte Prince einen Marktplatz für Originalinhalte schaffen, aber diesen Schritt hat er noch nicht vollständig ausgearbeitet.
Im März stellte Cloudflare ein kostenloses Tool vor, das gefälschte Webseiten erzeugt, um KI-Webcrawler zu verwirren und sie davon abzuhalten, Websites mit Bot-Traffic zu überfluten oder Informationen abzugreifen.