Cloudflare déploie auprès de tous ses clients son système permettant aux propriétaires de sites web de faire payer les entreprises d’intelligence artificielle qui entraînent leurs modèles à partir du contenu de leurs sites. L’objectif est d’offrir aux créateurs en ligne une alternative entre bloquer tous les robots d’exploration et les laisser tous accéder à leurs sites pour seulement une poignée de recommandations.
Pendant des années, le modèle économique d’Internet a reposé sur Google, qui offrait aux sites web de la visibilité dans ses résultats de recherche en échange de l’indexation et de la monétisation de leurs contenus par la publicité. Désormais, les entreprises d’IA proposent un accord similaire : des recommandations générées par leurs modèles en échange d’un accès pour les robots d’exploration.
Le problème, Cloudflare note, c’est l’échelle : le ratio entre exploration et recommandations de Google est de 9,4 pour 1, tandis que celui d’OpenAI est plus proche de 1 600 pour 1, et celui d’Anthropic atteint l’incroyable chiffre de 70 900 pour 1.
En juillet, Cloudflare a présenté un système de paiement à l’exploration qui permettait aux propriétaires de sites web de faire payer les entreprises technologiques en échange de l’accès de leurs robots d’exploration au contenu de leurs sites pour entraîner des modèles d’IA. Ce système constitue une nouvelle source de revenus, en plus du faible flux de recommandations. Lorsqu’un robot visite une page, les propriétaires en sont informés dans un tableau de bord et peuvent choisir d’autoriser, de bloquer ou de facturer l’accès.
S’ils choisissent cette dernière option, le robot reçoit un code de réponse HTTP 402 « Payment Required » personnalisé, qui signale le montant dans son en-tête et l’oblige à accepter les frais et à s’authentifier via Web Bot Auth avant d’obtenir l’accès. La page personnalisée peut fournir des coordonnées ou des points d’accès API permettant d’effectuer le paiement.
Ce service est désormais étendu à tous les clients de Cloudflare, et non plus seulement à ceux qui s’étaient inscrits à la version bêta. Il est rebaptisé AI Audit Tool en AI Crawl Control afin de refléter « l’évolution de l’outil, passé d’un simple suivi à des informations détaillées et à un contrôle de la manière dont les systèmes d’IA peuvent accéder à vos contenus », indique Cloudflare.
Cloudflare rapporte que ses clients envoient déjà plus d’un milliard de codes de réponse 402 par jour. L’entreprise prévoit d’ajouter de nouvelles options de paramètres à la page personnalisée, notamment pour indiquer la qualité du contenu et la fréquence des mises à jour.
Matthew Prince, le PDG de Cloudflare, croit fermement qu’il faut changer le modèle économique d’Internet afin que les entreprises d’IA fortunées paient pour accéder aux contenus et que les utilisateurs, actuellement accablés par les publicités et les paywalls, puissent les consulter gratuitement. Cela redonnera le pouvoir aux créateurs.
« Pour ces nouveaux systèmes d’IA, la valeur de “je vais prendre vos données et, en échange, vous renvoyer du trafic vers votre site” — ça ne tiendra tout simplement pas », a déclaré Prince à Fortune en février. « Il nous faut donc inventer un autre modèle. »
À l’avenir, Prince souhaite créer une place de marché pour les contenus originaux, mais il n’a pas encore complètement défini cette étape.
En mars, Cloudflare a présenté un outil gratuit qui crée de fausses pages web pour désorienter les robots d’exploration du web utilisant l’IA et les empêcher d’encombrer les sites avec du trafic de bots ou d’en extraire des informations.