Le parcours sans contrepartie dont les robots d’IA profitaient sur le Web vient de devenir plus chaotique.
Cloudflare resserre les règles encadrant la manière dont les entreprises d’IA collectent des contenus sur les sites web, en introduisant de nouveaux contrôles qui pourraient remodeler les relations entre éditeurs, moteurs de recherche et entreprises d’IA.
L’entreprise a annoncé qu’à compter du 15 sept. 2026, les nouveaux réglages par défaut de sa plateforme bloqueront les robots d’entraînement de l’IA et les robots agents sur les pages qui affichent des publicités, tandis que les robots traditionnels des moteurs de recherche resteront autorisés. La mesure concerne également les robots polyvalents, c’est-à-dire ceux qui combinent l’indexation pour les moteurs de recherche avec l’entraînement de l’IA ou les fonctions d’agent.
Cloudflare a précisé que ces systèmes à usage mixte seraient évalués en fonction de l’ensemble de leurs comportements, et non d’un seul. En pratique, cela signifie qu’un robot utilisé à la fois pour la recherche et l’entraînement de l’IA pourrait être bloqué même si l’accès pour les moteurs de recherche reste autorisé. Ces changements s’appliquent aux nouveaux clients, aux nouveaux sites créés par des clients existants et aux utilisateurs actuels de l’offre gratuite qui n’ont pas modifié leurs réglages.
La fin de l’ancien pacte du Web
Cloudflare estime que l’échange qui existe depuis longtemps sur Internet — les sites autorisent l’exploration de leurs pages et reçoivent en retour des visiteurs — ne fonctionne plus aussi bien à l’ère de l’IA.
Historiquement, les moteurs de recherche traditionnels indexaient les sites web et redirigeaient les utilisateurs vers les éditeurs. Les systèmes d’IA absorbent de plus en plus les informations, les résument et fournissent des réponses directement aux utilisateurs, ce qui réduit le besoin de consulter les sources.
L’entreprise a présenté ce problème comme un difficile compromis pour les propriétaires de contenus qui souhaitent être visibles en ligne sans céder gratuitement leur travail aux systèmes d’IA.
« Les propriétaires de contenus veulent toujours pouvoir protéger leurs contenus, et ils devraient être rémunérés pour les contenus originaux qu’ils s’efforcent de créer, de sélectionner et de partager. Nous savons également que verrouiller les contenus n’est pas une solution universelle ; les propriétaires de sites veulent davantage d’options que de recourir à “bloquer toute automatisation, à chaque fois” », ont écrit Product Manager Jin-He Lee et Director of Product Bryan Becker de Cloudflare.
Cloudflare a également renouvelé ses critiques à l’égard des grandes plateformes de recherche, suggérant que les acteurs majeurs bénéficient d’un avantage lorsque les mêmes systèmes d’exploration prennent en charge à la fois l’indexation pour les moteurs de recherche et les tâches liées à l’IA.
De nouveaux outils au-delà du simple blocage
Plutôt que de traiter tout le trafic lié à l’IA de la même manière, Cloudflare divise l’automatisation en trois catégories : Search, Agent et Training.
Les propriétaires de sites peuvent désormais créer des règles distinctes pour chaque catégorie, ce qui leur donne davantage de contrôle sur l’accès aux contenus. Cloudflare a également lancé BotBase, une base de données consultable destinée aux clients Enterprise, qui identifie le comportement et la classification des robots.
L’entreprise étend également ses contrôles de contenu à des catégories d’utilisation telles que « Immediate », « Reference » et « Full », permettant aux éditeurs d’indiquer comment leurs contenus doivent être stockés ou réutilisés après leur exploration.
Pourquoi c’est important
Cette annonce s’inscrit dans un conflit plus vaste sur la question de savoir qui profite des réponses générées par l’IA.
Les éditeurs dépendent du trafic, de la publicité, des abonnements et des recommandations. Les entreprises d’IA dépendent de l’accès à de grandes quantités de contenus. À mesure que les systèmes d’IA répondent directement aux questions, moins d’utilisateurs pourraient consulter les sites web d’origine qui ont produit ces informations.
Cloudflare fait également évoluer son ancien système Pay Per Crawl en « Pay Per Use », une approche conçue pour rémunérer les éditeurs lorsque leurs contenus contribuent à la valeur des réponses générées par l’IA.
La pression se déplace vers les entreprises d’IA
Le principal impact de la décision de Cloudflare ne sera peut-être pas le blocage des robots, mais l’obligation de faire preuve de transparence.
Les entreprises qui utilisent un seul robot pour la recherche, les agents d’IA et l’entraînement des modèles subissent désormais une pression qui les pousse à séparer ces fonctions si elles veulent conserver un accès ininterrompu. Cela pourrait permettre aux éditeurs de comprendre plus facilement qui collecte les contenus et pourquoi.
Le problème est que Cloudflare ne peut pas contrôler l’ensemble d’Internet. Les grandes entreprises technologiques disposent déjà de leurs propres mécanismes de désinscription, et leurs concurrentes pourraient employer d’autres méthodes pour recueillir des données. Néanmoins, comme Cloudflare se trouve en amont d’une grande partie du trafic Internet, ses changements de politique pourraient influencer la manière dont les entreprises d’IA structureront leurs systèmes à l’avenir.
À lire également : Le Portugal a lancé Amália, un modèle d’IA open source conçu pour le portugais européen, alors que l’Europe cherche à mieux contrôler ses infrastructures d’IA.