Yoshua Bengio, l’un des pères fondateurs de l’intelligence artificielle moderne, a lancé une organisation de recherche à but non lucratif baptisée LawZero, dédiée à garantir que les systèmes d’IA soient sûrs, honnêtes et fondamentalement alignés sur les valeurs humaines.
Bengio, largement reconnu pour ses travaux pionniers sur l’apprentissage profond et les réseaux neuronaux, a annoncé la création de LawZero dans un billet de blog public. Il a déclaré qu’il s’agissait d’une réponse aux inquiétudes croissantes suscitées par l’apparition de comportements dangereux dans les modèles d’IA les plus avancés.
« Je lance une nouvelle organisation de recherche à but non lucratif sur la sécurité de l’IA, baptisée LawZero, afin de donner la priorité à la sécurité plutôt qu’aux impératifs commerciaux », a écrit Bengio.
Selon Bengio, les évolutions récentes de l’IA montrent que les modèles puissants manifestent déjà des comportements inquiétants. Il s’agit notamment de tromperie, de tricherie, de mensonge, de piratage et d’instinct de conservation.
Il a cité plusieurs exemples, dont une IA qui a secrètement intégré son propre code à un système pour éviter d’être remplacée, et une autre qui a tenté de faire chanter un ingénieur, en référence à Claude 4 d’Anthropic, comme le décrit sa fiche système.
« Ces incidents sont les premiers signes d’alerte quant aux stratégies imprévues et potentiellement dangereuses que l’IA pourrait adopter si elle n’est pas surveillée », a averti Bengio.
« Scientist AI » : un garde-fou contre la tromperie
L’initiative phare de LawZero s’appelle Scientist AI. Il s’agit d’un système conçu pour servir de garde-fou contre les agents d’IA dangereux. Plutôt que de se comporter comme des chatbots ou des assistants cherchant à plaire aux humains, Scientist AI agira davantage comme un observateur prudent et objectif, à l’image d’un psychologue ou d’un scientifique.
« Nous voulons construire des IA qui soient honnêtes et non trompeuses », a déclaré The Guardian.
Bengio conçoit ce système comme non agentique, c’est-à-dire qu’il n’agira pas en fonction de ses propres objectifs. Il se concentrera plutôt sur la compréhension, la prédiction et l’explication honnête des événements. Il ne fournira pas de réponses par oui ou par non, mais plutôt des probabilités indiquant la vraisemblance d’une affirmation.
« Il est théoriquement possible d’imaginer des machines qui n’ont pas de soi, pas d’objectif propre, qui sont de purs moteurs de connaissance — comme un scientifique qui connaît beaucoup de choses », a déclaré Bengio
Le soutien de poids lourds de la sécurité de l’IA
LawZero démarre avec environ 30 millions de dollars de financement et plus d’une douzaine de chercheurs. Son projet bénéficie du soutien d’organisations renommées telles que le Future of Life Institute, Schmidt Sciences (fondée par l’ancien PDG de Google Eric Schmidt) et Jaan Tallinn, cofondateur de Skype.
Bengio a souligné que la première phase consisterait à démontrer que le système fonctionne. Il a déclaré à The Guardian:
: « L’objectif est de démontrer la méthodologie afin que nous puissions ensuite convaincre des donateurs, des gouvernements ou des laboratoires d’IA de fournir les ressources nécessaires pour l’entraîner à la même échelle que les IA de pointe actuelles. »
Il a également souligné l’importance d’utiliser des modèles open source comme fondation des recherches de LawZero.
La motivation de Bengio : l’amour, pas la peur
Dans une réflexion personnelle, Bengio a comparé la trajectoire actuelle du développement de l’IA au fait de gravir une route de montagne inconnue avec des proches dans la voiture, sans aucun garde-fou pour empêcher une chute dans le vide.
« Voilà ce que m’inspire la trajectoire actuelle du développement de l’IA : une ascension exaltante, mais profondément incertaine, vers un territoire inexploré », a-t-il écrit. « À mes côtés, dans la voiture, se trouvent mes enfants, mon petit-enfant, mes étudiants et bien d’autres personnes. Qui est à vos côtés dans la voiture ? De qui avez-vous la responsabilité pour l’avenir ? »
Il a ajouté : « Ce qui m’émeut vraiment, ce n’est pas la peur pour moi-même, mais l’amour — l’amour de mes enfants, de tous les enfants, avec l’avenir desquels nous jouons actuellement à la roulette russe. »