OpenAI a connu une série de démissions soudaines au sein de sa direction et de son personnel clé depuis novembre 2023. Des cofondateurs Ilya Sutskever et John Schulman à Jan Leike, l’ancien responsable de l’équipe « Super Alignment » de l’entreprise, les départs continuent de s’accumuler. Mais ce n’est pas tout : l’ancien chercheur en sécurité Steven Adler et le conseiller principal chargé de la préparation à l’AGI Miles Brundage sont également partis. Voilà pour les noms les plus connus. De nombreux autres employés ont choisi de partir.
Ce qui fait retentir les sirènes d’alarme encore plus fort, c’est la raison de ces départs volontaires. Un point commun relie ces démissions : la crainte qu’OpenAI privilégie le profit au détriment de la sécurité de la société. Dans le monde de l’IA, où les enjeux sont considérables, c’est un signal d’alerte impossible à ignorer.
Pourquoi les employés quittent-ils OpenAI ?
Sécurité et gouvernance de l’IA ont gagné en importance, et ce n’est pas sans raison. Les modèles d’IA deviennent plus intelligents et les entreprises se livrent une course au développement de l’intelligence artificielle générale (AGI). Avec l’accélération du développement de l’IA, l’AGI est en passe de devenir une réalité. Pourtant, de nombreux anciens employés d’OpenAI estiment que l’entreprise se concentre davantage sur l’innovation rapide et le lancement de produits que sur la prise en compte adéquate des risques liés à l’AGI. Leike s’est montré particulièrement virulent sur ce sujet.
« Nous avons déjà trop tardé à prendre au sérieux les implications de l’AGI », a-t-il écrit sur X, reprochant à l’entreprise de reléguer la sécurité de l’IA au second plan.
Pourquoi s’inquiéter de l’AGI ?
L’AGI est un modèle d’IA superintelligent capable de penser, d’apprendre, de raisonner et de s’adapter de manière autonome dans différents domaines. Elle peut accomplir toute tâche intellectuelle comme un être humain. Contrairement à l’IA actuelle, conçue pour des tâches spécifiques, l’AGI peut s’améliorer d’elle-même et potentiellement dépasser l’intelligence humaine. Cela peut sembler tout droit sorti d’un film de science-fiction, mais des scientifiques chinois ont déjà mis au point un modèle d’IA capable de s’auto-répliquer sans intervention humaine. Lors d’une simulation, l’IA a détecté un arrêt imminent et s’est répliquée pour survivre. À ce stade, il ne s’agit plus seulement de technologie avancée. Ce sont des instincts de survie à l’œuvre.
C’est ce type de capacité qui empêche les défenseurs de la sécurité de l’IA de dormir la nuit. Si les objectifs de l’AGI ne sont pas alignés sur les valeurs et le bien-être humains, les conséquences pourraient être catastrophiques. Imaginez une IA qui optimise l’efficacité et décide que les humains sont le facteur limitant. Pouvons-nous avoir confiance dans le fait que cette IA cherche vraiment notre intérêt ?
Gouvernance et sécurité de l’IA
La sécurité de l’IA est un facteur non négociable. Sans gouvernance stricte ni mesures de sécurité, l’AGI pourrait devenir imprévisible, dangereuse et incontrôlable. L’Union européenne, la Chine et les États-Unis travaillent à l’élaboration de lois et de politiques sur l’IA. Des entreprises comme IBM, Salesforce et Google se sont engagées à développer l’IA de manière éthique. Ce sont des avancées positives, mais il est évident que nous essayons encore de rattraper notre retard.