L’un des architectes du mécanisme d’attention qui a rendu ChatGPT possible vient de lâcher une bombe : tout le système d’IA est défaillant.
Illia Polosukhin est coauteur de l’article de 2017 intitulé « Attention is All You Need », qui a fait découvrir les transformers au monde entier, la technologie qui alimente aujourd’hui tous les grands modèles d’IA. Sans son travail, il n’y aurait ni ChatGPT, ni Claude, ni Gemini.
Désormais, il construit ce qu’il appelle « la solution » : une IA appartenant aux utilisateurs, qui fonctionne sur une blockchain, protège vos données et ne peut être contrôlée par aucune entreprise unique. Complètement fou ? Peut-être. Mais quand l’homme qui a littéralement inventé les fondations de l’IA moderne affirme que nous nous y prenons mal, cela mérite qu’on l’écoute.
Dans un récent épisode du podcast de The Neuron, Polosukhin explique pourquoi il a quitté Google juste après la publication de l’article sur les transformers et ce qu’il construit pour empêcher une dystopie de l’IA. Voici quelques-uns des passages de l’interview que nous avons préférés.
- 5:24 : la question à mille milliards de dollars : comment résoudre les goulots d’étranglement de l’IA Illia affirme que l’entraînement de l’IA relève encore de « l’alchimie ». La plupart des recherches en IA restent fondées sur des conjectures et consistent à « modifier des choses jusqu’à ce que ça marche ». Il se réjouit toutefois des meilleurs résultats obtenus avec des modèles plus petits, non pas en les agrandissant, mais en affinant simplement nos méthodes d’entraînement fondées sur les conjectures.
- 10:34 : pourquoi votre entreprise n’utilisera pas encore l’IA Les deux versants du marché ont peur : les utilisateurs craignent de donner accès à leurs données à l’IA, tandis que les entreprises redoutent la responsabilité liée à la gestion de ces données, notamment avec HIPAA, les droits de propriété intellectuelle et les cauchemars de conformité en cas de problème.
- 13:37 : le scénario dystopique dont personne ne parle Votre IA pourrait être programmée en secret pour vous convaincre d’adopter certaines opinions. « Vous n’avez littéralement aucun moyen de savoir si quelqu’un vous dit : “Hé, vous devriez davantage réfléchir à voter pour tel ou tel candidat.” »
- 32:28 : l’expérience du robot de trading impossible à arrêter Ils ont donné 10 000 dollars US à un agent d’IA avant de le déployer. Le robot effectue ses transactions en fonction du sentiment exprimé sur Twitter, et personne ne peut l’éteindre ; il a généré un rendement de 40 %. « Nous ne pouvons pas le récupérer. Nous ne pouvons pas l’arrêter. »
- 34:47 : comment utiliser une IA privée dès aujourd’hui Une alternative à ChatGPT chiffrée de bout en bout, dont même votre service informatique ne pourra pas se plaindre — lancement prévu dans les prochains mois.
- 43:45 : l’avenir de l’IA pair à pair C’est un exemple très hypothétique, mais que se passerait-il si votre IA personnelle pouvait dialoguer directement avec des IA de recherche pharmaceutique pour vous fournir un traitement personnalisé ? Pas de FDA, pas d’intermédiaires. « Vous éliminez toutes ces institutions, là où la confiance est au plus bas. » De quoi rester bouche bée.
En bref
Le co-créateur des transformers estime que nous fonçons à toute vitesse vers 1984, à moins de construire une IA réellement détenue par les utilisateurs, et non par les entreprises. Sa solution ? Blockchain + informatique confidentielle + modèles open source = une IA qui travaille pour vous, et non contre vous.
Que vous pensiez ou non que la blockchain soit la réponse, la vision de Polosukhin — des agents d’IA autonomes négociant en notre nom — se concrétise plus vite que la plupart ne l’imaginent.
Restez curieux !
Pour aller plus loin
- NEAR Protocol: L’infrastructure blockchain que construit Polosukhin.
- Le Twitter de Polosukhin: Suivez l’architecte des transformers.
- Sa nouvelle newsletter Substack: Des réflexions approfondies sur l’avenir de l’IA.
Note de la rédaction : ce compte rendu de podcast a d’abord été publié dans notre publication sœur, The Neuron. Pour découvrir davantage de contenus de The Neuron, inscrivez-vous à sa newsletter ici.