GPT-6 Sol a à peine eu le temps de s’installer que son successeur est apparu.
OpenAI a lancé GPT-6.1 Sol le 29 septembre, sept jours après GPT-6 Sol. Les tests de l’entreprise montrent des progrès en matière de codage, d’utilisation des ordinateurs et de travail professionnel, avec plusieurs résultats proches de ceux de GPT-6 Astra.
Les performances n’expliquent qu’en partie cette sortie rapprochée. Des tests de sécurité distincts placent également le nouveau modèle dans une autre catégorie en matière de cybersécurité : les équipes d’entreprise ont donc davantage d’éléments à examiner que les seuls progrès enregistrés dans les benchmarks.
Le codage et l’utilisation des ordinateurs en tête des gains de performance
GPT-6.1 Sol a égalé Astra sur DeepSWE v1.1, une évaluation du génie logiciel utilisant de véritables bases de code, et a dépassé de 6,4 points de pourcentage le meilleur résultat de GPT-6 Sol. Lors de l’évaluation hors ligne de l’utilisation des ordinateurs OSWorld 2.0, il a obtenu un score supérieur de sept points de pourcentage à celui de son prédécesseur avec un effort de raisonnement maximal. Les équipes de développement pourraient surtout constater ces progrès sur les tâches de codage et les tâches logicielles qui comportent plusieurs étapes plutôt qu’une seule requête.
Le travail professionnel s’est également amélioré. Sur AutomationBench, qui évalue les flux de travail professionnels en plusieurs étapes, OpenAI a fait état d’une hausse de 4,8 points de pourcentage par rapport à GPT-6 Sol avec un effort de raisonnement moyen. Sur GDP.pdf, qui évalue les réponses à des questions professionnelles à partir de PDF complexes, le nouveau modèle s’est approché des performances de GPT-6 Astra. Les employés qui utilisent l’IA pour travailler avec des logiciels professionnels ou des documents contenant des tableaux et des graphiques sont désormais plus proches des types de tâches mesurés par ces évaluations.
Les équipes qui envisagent GPT-6.1 Sol pour l’ IA d’entreprise devraient relancer les flux de travail de codage et de traitement de documents qui leur importent avant de remplacer un déploiement existant. Les données propriétaires et les logiciels propres à l’entreprise peuvent produire des résultats différents de ceux des tests contrôlés.
Work et Codex y ont accès en premier
GPT-6.1 Sol est déployé via ChatGPT Work et Codex, d’abord pour les utilisateurs Pro, puis pour les abonnés Plus, Business, Enterprise et Edu. Les développeurs peuvent également y accéder via l’API. Les conversations ChatGPT classiques n’incluent pas GPT-6.1 Sol au lancement ; ses premiers utilisateurs sont donc concentrés dans les environnements professionnels et de développement.
ChatGPT Work prend en charge des tâches en plusieurs étapes dans des fichiers et des logiciels connectés. Codex est spécialisé dans le développement logiciel. Les deux peuvent intégrer 6.1 à des environnements où des agents d’IA lisent les informations de l’entreprise ou effectuent des actions approuvées, ce qui fait des contrôles d’accès un élément du déploiement dès le départ.
Les administrateurs Enterprise et Edu décident qui peut utiliser le nouveau modèle Sol. Les contrôles d’administration permettent aux équipes informatiques de tester des charges de travail représentatives, de limiter ce à quoi chaque groupe peut accéder et d’élargir la disponibilité après examen de ces paramètres.
Ce qu’a constaté eWeek : le taux de réussite des exploits de GPT-6.1 Sol a presque quadruplé
eWeek a comparé les résultats publiés par OpenAI en matière de cybersécurité pour GPT-6 Sol et GPT-6.1 Sol. Sur ExploitBench, GPT-6.1 Sol a atteint un taux de réussite de 21,5 %, contre 5,5 % pour GPT-6 Sol. Le calcul place le nouveau modèle à environ 3,9 fois le taux de son prédécesseur lors de ce test.
L’évaluation de sécurité d’OpenAI a également enregistré des scores plus élevés lors de deux autres tests de cybersécurité et classé GPT-6.1 Sol comme Critical, alors que GPT-6 Sol était resté au niveau High.
Évaluation | GPT-6 Sol | GPT-6.1 Sol | Évolution |
| ExploitBench | 5.5% | 21.5% | +16 points, environ 3,9 fois |
| SEC-Bench Pro | 66.3% | 78.8% | +12,5 points |
| ExploitGym | 22.1% | 35.1% | +13 points |
| Classification d’OpenAI en matière de cybersécurité | High | Critical | Seuil Critical franchi |
Les comparaisons en points de pourcentage et de 3,9 fois ont été calculées par eWeek à partir des résultats publiés par OpenAI.
ExploitBench évalue une étape difficile de la recherche sur les vulnérabilités. Une faille a été divulguée, mais le modèle doit encore déterminer comment la transformer en code d’exploit fonctionnel. De meilleures performances pourraient permettre aux équipes de sécurité de reproduire plus rapidement les bugs récemment divulgués, de vérifier si leurs propres systèmes sont exposés et de tester si un correctif bloque réellement l’exploitation.
Les capacités en cybersécurité peuvent être utilisées dans les deux sens. Les informations publiques sur les vulnérabilités peuvent également servir à des attaquants qui tentent de créer des exploits fonctionnels. Un modèle qui réussit plus souvent cette étape pourrait réduire une partie du travail technique entre la divulgation d’une faille et une tentative d’attaque. Le benchmark d’OpenAI ne montre pas à quelle fréquence GPT-6.1 Sol réussirait contre les systèmes réels d’une entreprise ; le chiffre de 21,5 % ne doit donc pas être interprété comme un taux de compromission dans le monde réel.
Le franchissement du seuil Critical pose une autre question aux responsables de la sécurité. GPT-6.1 Sol n’est pas seulement un meilleur modèle généraliste pour le travail. Ses résultats publiés suggèrent qu’il peut accomplir des tâches de cybersécurité qui exigeaient auparavant une expertise humaine plus spécialisée. Les entreprises qui l’évaluent pour la recherche en sécurité peuvent déterminer dans quels domaines cette capacité accélère les tests de vulnérabilité, puis décider quelles actions à plus haut risque nécessitent encore qu’une personne examine le modèle d’IA au travail.
Vous souhaitez découvrir davantage d’astuces, de conseils et de techniques de rédaction de prompts pour l’IA ? Les lecteurs d’eWeek bénéficient de sept jours d’accès gratuit à The Neuron Academy, notre plateforme d’apprentissage pratique conçue pour aider les professionnels à utiliser l’IA avec plus d’assurance au travail. Parcourez toutes les leçons →
Laissez-nous vous apprendre How to Talk to AI gratuitement ! Suivez notre cours de six minutes sur The Neuron Academy et découvrez quelques méthodes simples pour rédiger de meilleurs prompts et obtenir des résultats plus utiles avec l’IA, ou parcourez gratuitement notre autre cours sur l’IA pendant sept jours. Découvrez toutes les leçons ici →