OpenAI cherche à renforcer la sécurité de ses outils d’IA en acquérant la start-up de sécurité de l’IA Promptfoo, une entreprise connue pour aider les sociétés à tester et à sécuriser leurs systèmes d’intelligence artificielle avant leur mise en production.
L’opération, annoncée lundi, intégrera la technologie de Promptfoo à la plateforme destinée aux entreprises d’OpenAI, OpenAI Frontier. OpenAI a déclaré que les entreprises qui adoptent des agents IA ont besoin de moyens fiables pour évaluer leur comportement et détecter les risques potentiels avant leur déploiement.
L’entreprise prévoit d’intégrer les capacités de Promptfoo à Frontier afin que les organisations puissent automatiquement tester des vulnérabilités telles que les injections de prompts, les tentatives de contournement, les fuites de données et l’utilisation abusive d’outils connectés.
« Promptfoo apporte une solide expertise en ingénierie pour évaluer, sécuriser et tester les systèmes d’IA à l’échelle des entreprises », Srinivas Narayanan, directeur technique des applications B2B chez OpenAI, a déclaré dans un communiqué. « Son travail aide les entreprises à déployer des applications d’IA sécurisées et fiables, et nous sommes ravis d’intégrer directement ces capacités à Frontier. »
Selon OpenAI, la plateforme introduira également des outils de supervision renforcés permettant aux entreprises de suivre les activités de test, de surveiller les changements au fil du temps et de conserver des archives pour répondre aux exigences de conformité et de gouvernance.
Les outils de Promptfoo déjà utilisés par de grandes entreprises
Fondée il y a seulement deux ans, Promptfoo a développé une suite d’outils de sécurité et d’évaluation qui aident les développeurs à tester les applications d’IA et à identifier leurs faiblesses avant leur mise en production.
La start-up basée à San Francisco a également créé un outil open source en ligne de commande largement utilisé, qui permet aux développeurs de comparer et de tester les performances des grands modèles de langage.
OpenAI a déclaré que l’équipe de Promptfoo, dirigée par son cofondateur et PDG Ian Webster et son cofondateur Michael D’Angelo, continuerait de soutenir le projet open source tout en travaillant sur les fonctionnalités destinées aux entreprises intégrées à Frontier.
La technologie de Promptfoo est déjà largement adoptée par les grandes entreprises. Selon OpenAI, les outils de la société sont utilisés en toute confiance par plus de 25 % des entreprises du classement Fortune 500.
La direction de Promptfoo a déclaré que rejoindre OpenAI permettrait à la start-up de développer sa mission : aider les développeurs à sécuriser des systèmes d’IA qui interagissent de plus en plus avec des données et des outils du monde réel.
« Nous avons créé Promptfoo parce que les développeurs avaient besoin d’un moyen concret de sécuriser les systèmes d’IA. À mesure que les agents IA sont davantage connectés à des données et à des systèmes réels, leur sécurisation et leur validation deviennent plus difficiles et plus importantes que jamais », a déclaré Ian Webster, cofondateur et PDG de Promptfoo, dans le communiqué. « Rejoindre OpenAI nous permet d’accélérer ce travail et d’apporter des capacités renforcées en matière de sécurité, de sûreté et de gouvernance aux équipes qui développent des systèmes d’IA pour le monde réel. »
L’opération Promptfoo s’inscrit dans une tendance plus large : OpenAI recourt aux acquisitions pour combler rapidement des lacunes dans ses produits. Plus tôt cette année, l’entreprise a acquis la start-up spécialisée dans les technologies de santé Torch pour environ 100 millions de dollars en titres. Auparavant, elle avait racheté Software Applications, l’éditeur d’une interface d’IA pour Mac appelée Sky, et avait plus récemment recruté Peter Steinberger, le créateur d’un outil populaire destiné aux développeurs qui conçoivent des agents IA.
À lire également : L’IA agentique transforme déjà les logiciels d’entreprise, les plateformes rivalisant pour intégrer des outils autonomes au développement, à la recherche et aux flux de travail des entreprises.