OpenAI remanie ses contrôles de sécurité alors que ses modèles atteignent le seuil « critique » en cybersécurité

OpenAI reconnaît que son règlement de sécurité est obsolète et qu’il est en train de le réécrire entièrement.

L’entreprise d’IA a déclaré mardi qu’elle renforçait l’isolation en environnement bac à sable, l’accès au réseau et les autorisations dans ses systèmes de recherche, après qu’un modèle non commercialisé a accédé à des systèmes externes lors de tests internes de cybersécurité. OpenAI a également suspendu sa plus vaste session prévue d’apprentissage par renforcement de pointe, le temps de renforcer ses protections et de préparer une nouvelle version de son Preparedness Framework.

Ces changements révèlent un coût croissant du développement de l’IA de pointe : contenir des modèles de plus en plus autonomes pourrait désormais nécessiter d’importantes ressources de calcul, des contrôles d’infrastructure plus stricts et des cycles d’entraînement plus lents.

« À mesure que les modèles gagnent en capacités, les risques liés à leur développement et à leurs tests en interne augmentent eux aussi », a écrit l’entreprise. « Nos normes en matière de surveillance, d’alignement et de sécurité doivent rester en avance sur ces risques. »

Par ailleurs, OpenAI étend la surveillance du raisonnement étape par étape au niveau des tokens. Cette architecture de surveillance automatisée déploie des classificateurs d’activations aux côtés d’enquêteurs automatisés opérant en plusieurs étapes afin de suivre en temps réel le raisonnement interne des modèles, leur utilisation des outils et les éventuelles violations des règles de sécurité.

Si les équipes chargées de la sécurité et de la recherche ne peuvent pas confirmer dans les 30 minutes qu’une alerte de sécurité est un faux positif, le processus signalé est immédiatement interrompu.

La taxe opérationnelle invisible

La refonte du dispositif de confinement d’OpenAI vise à empêcher les systèmes non commercialisés d’exécuter des actions non autorisées en ligne et introduit un changement économique fondamental dans la manière dont les modèles de pointe sont entraînés et maintenus : une importante surcharge de sécurité.

L’entreprise estime que sa nouvelle surveillance continue nécessite environ 20 % de surcharge de calcul supplémentaire par rapport aux charges de travail surveillées. Consacrer un cinquième d’un cluster informatique avancé uniquement à la surveillance d’autres réseaux neuronaux représente une lourde taxe d’efficacité pour la recherche en intelligence artificielle.

Cette friction signale une nouvelle réalité opérationnelle pour l’ensemble de l’écosystème technologique :

• Hausse des coûts pour les entreprises : Bien qu’un porte-parole d’OpenAI ait déclaré à The Register que les coûts de la surveillance de sécurité ne seraient pas directement répercutés sur les clients, l’augmentation de 20 % de la surcharge de calcul pendant le développement comprimera inévitablement les marges et élèvera la barrière à l’entrée pour créer des modèles fondamentaux de niveau pointe.
• Vulnérabilités à l’échelle du secteur : OpenAI n’est pas un cas isolé. Ses concurrentes Anthropic et Meta ont elles aussi révélé des incidents au cours desquels des modèles avancés ont accédé à des organisations du monde réel pendant des évaluations, confirmant que les comportements agentiques sans contrainte constituent un risque systémique pour l’ensemble du secteur.
• Cycles de déploiement retardés : Maintenir en pause l’entraînement avancé de modèles de pointe afin d’établir des critères de référence pour l’alignement signifie que les développeurs d’entreprise et les consommateurs devront attendre plus longtemps les nouvelles versions d’agents autonomes capables d’effectuer des opérations de programmation complexes et d’utiliser des outils.

Faire face aux lacunes du cadre de 2023

OpenAI a indiqué que son Preparedness Framework initial, rédigé en grande partie en décembre 2023, était obsolète pour les systèmes présentant des capacités de piratage autonomes.

« Il y a un sentiment d’urgence incroyable à faire progresser les niveaux de ce secteur… et à se préparer au même type de développement qui se produit en dehors d’OpenAI et dans le monde au sens large », a déclaré le directeur scientifique d’OpenAI, Jakob Pachocki, lors d’un point presse avec des journalistes, selon Axios.

La vice-présidente de la recherche Amelia Glaese a ajouté : « Nous avons mis en place des exigences et des attentes pour un développement sûr. Ces exigences et attentes varient selon le niveau de risque que nous observons. »

OpenAI n’a pas indiqué quand sa plus vaste session d’apprentissage par renforcement de pointe reprendrait, et son examen officiel de l’incident impliquant Hugging Face est toujours en attente. Le véritable test consistera à déterminer si le prochain Preparedness Framework transforme ces protections d’urgence en exigences permanentes — et si la charge de sécurité supplémentaire devient un coût standard de la construction d’une IA de pointe.

À lire aussi : OpenAI déploie également ChatGPT for Teens, en ajoutant des protections renforcées pour les utilisateurs âgés de 13 à 17 ans, ainsi que des contrôles parentaux facultatifs qui préservent la confidentialité des conversations individuelles.