Les entreprises peuvent payer pour accéder à un modèle d’IA haut de gamme, recevoir une réponse convaincante et ne disposer malgré tout d’aucune preuve, dans la réponse elle-même, que le modèle annoncé a traité leur demande. Le nom affiché à l’écran ne leur indique que ce qu’affirme le fournisseur.
Anthropic a dévoilé FlashProve le 2 novembre, un prototype de recherche open source qui pourrait permettre aux clients de vérifier de manière indépendante quel modèle se trouve derrière une réponse d’IA, sans révéler les poids propriétaires du modèle.
Alors que davantage d’organisations accèdent à l’IA par l’intermédiaire de plateformes externes, la possibilité de confirmer quels modèles alimentent ces services pourrait offrir aux clients un nouveau moyen d’évaluer les fournisseurs et la technologie pour laquelle ils paient.
Un modèle de 400 milliards de paramètres met FlashProve à l’épreuve
FlashProve commence par une empreinte mathématique représentant un modèle d’IA précis. Après avoir répondu à une demande, le fournisseur peut générer une preuve distincte que les clients confrontent à cette empreinte sans accéder aux poids du modèle, selon les travaux de recherche d’Anthropic.
Les chercheurs ont testé le système sur une version à arithmétique entière de Llama 4 Maverick de Meta, avec des poids de 4 bits. Ce modèle à mélange d’experts contient environ 400 milliards de paramètres au total. Claude a contribué à optimiser le logiciel de vérification. Les chercheurs ont utilisé Lean, un système de vérification formelle, pour démontrer certaines propriétés mathématiques de sécurité. Ces garanties ne s’étendent pas automatiquement au logiciel de vérification rapide en C++.
Chaque preuve pesait environ 19 Mo et sa vérification prenait 17 secondes sur un processeur utilisant 24 threads. Les clients effectuant cette vérification n’auraient pas besoin des processeurs graphiques coûteux utilisés pour exécuter le modèle d’IA. Le principal test de référence vérifiait un jeton généré par demande dans une fenêtre de 1 024 jetons. Les chercheurs ont également testé la vérification de chaque jeton de la réponse et n’ont constaté aucune différence mesurable de vitesse.
La génération de ces preuves était nettement plus exigeante. Dans ses comparaisons de référence, Anthropic a mesuré un temps de calcul GPU environ 70 à 95 fois supérieur à celui du traitement des invites avec vLLM, un moteur d’inférence largement utilisé.
Les entreprises pourraient utiliser FlashProve pour vérifier des services d’IA
Les entreprises peuvent évaluer un modèle d’IA pour certaines tâches avant d’en approuver l’utilisation. Si un service fournit ensuite une version différente, ses réponses pourraient différer de celles du système dont l’utilisation avait été autorisée pour les employés. Des plateformes telles que Microsoft Foundry proposent un accès à des modèles provenant de plusieurs développeurs, ce qui constitue une application potentielle de la vérification indépendante.
Les modifications non autorisées constituent un autre cas de figure. Les organisations pourraient utiliser cette technologie pour déterminer si un modèle approuvé a été modifié ou remplacé. Des évaluateurs externes pourraient également vérifier si un système examiné dans le cadre d’ évaluations de la sécurité de l’IA correspondait à la version ensuite mise à la disposition des clients.
Anthropic avait auparavant étudié une autre méthode de vérification dans sa Feuille de route pour la sécurité des modèles de pointe. Le dépôt GitHub de FlashProve met le nouveau prototype à disposition pour la recherche, mais le présente comme un artefact de recherche non maintenu. Aucune intégration aux services commerciaux de Claude n’a été annoncée.
Ce qu’a constaté eWeek : la vérification de l’identité d’une IA exige davantage qu’une preuve qui passe le test
La documentation technique de FlashProve montre pourquoi les entreprises devraient examiner ce que couvre réellement une preuve avant de la considérer comme la preuve qu’un fournisseur a bien fourni le modèle acheté.
- La correspondance exacte diffère de la génération ordinaire par IA. Aucune des 192 réponses enregistrées générées par une inférence conventionnelle en virgule flottante ne correspondait, à chaque position, au jeton obtenant le score le plus élevé avec le modèle entier. Les chercheurs ont évalué ces réponses sans procéder à une vérification cryptographique complète. Le résultat met en évidence un problème de compatibilité entre les méthodes d’inférence ; il ne démontre pas qu’un fournisseur a remplacé le modèle par un autre.
- Des vérifications plus souples offrent des garanties plus limitées. Une autre politique d’évaluation autorise des écarts par rapport aux jetons obtenant les scores les plus élevés du modèle. L’acceptation dépend des limites configurées et ne permet pas d’établir comment le texte a été généré. Les entreprises devraient examiner ces limites avant de déterminer si le résultat offre une garantie significative.
- L’identité du modèle nécessite une référence indépendante. Les clients doivent obtenir l’identifiant d’engagement du modèle auprès d’une partie de confiance qui en atteste l’identité. S’ils n’acceptaient cet identifiant que du service vérifié, ils ne disposeraient d’aucune base indépendante pour identifier le modèle.
- La couverture est importante. Une preuve s’applique aux positions de jetons sélectionnées pour la vérification. Vérifier une partie d’une réponse n’authentifie pas le texte restant ; les clients doivent donc s’assurer que la vérification couvre le résultat auquel ils comptent se fier.
Pour les entreprises qui gèrent la gouvernance de l’IA d’entreprise, ces distinctions pourraient influencer les futures évaluations des fournisseurs. Les acheteurs devraient demander quel engagement de modèle est authentifié, quelles sorties sont couvertes et quels écarts la politique de vérification autorise.
Même une vérification d’identité réussie laisserait la précision, la sécurité et l’adéquation à une tâche donnée de l’entreprise à des évaluations distinctes. La valeur potentielle de FlashProve est de fournir aux clients des éléments plus solides sur la livraison du modèle, à condition que les conditions de vérification soient claires.
Plus d’actualités sur l’IA : les agents d’IA pourraient bientôt consacrer davantage de temps à s’entraîner dans des bureaux simulés, tandis que Plato développe des environnements d’entraînement fondés sur des flux de travail professionnels réels.