Le PDG de Microsoft, Satya Nadella, s’est immiscé dans le débat grandissant sur la distillation des modèles, estimant que les laboratoires de pointe ne peuvent pas défendre de vastes droits d’entraînement sur des informations publiques, puis imposer de fortes restrictions lorsque des concurrents utilisent les réponses de leurs modèles comme données d’entraînement.
Voici ce qui s’est passé
- Nadella a critiqué le flux à sens unique des connaissances entre les créateurs, les clients et les entreprises d’IA.
- La distillation permet aux développeurs d’entraîner un nouveau modèle à l’aide des réponses générées par un modèle plus puissant, en reproduisant souvent des capacités précieuses pour un coût bien moindre.
- OpenAI et Anthropic ont averti Washington que des entreprises chinoises utilisent la distillation pour cloner des modèles américains avancés. Selon eux, des concurrents étrangers ont employé cette technique à une échelle gigantesque, transformant potentiellement plusieurs milliards de dollars de recherche américaine en raccourci pour des laboratoires rivaux.
- Une enquête distincte de Business Insider a révélé que la distillation pourrait menacer l’ensemble des bénéfices qui soutiennent l’activité des modèles de pointe.
Les accusations de vol doivent être prises au sérieux. Anthropic affirme qu’Alibaba a utilisé environ 25 000 comptes frauduleux pour recueillir près de 29 millions d’interactions Claude. Cela ressemble moins à un chercheur curieux qui teste une idée qu’à quelqu’un qui recule un camion de données jusqu’au quai de chargement.
Mais comme nous l’avons expliqué dans notre propre article publié ce matin, mettre fin à l’extraction illicite et soutenir le développement ouvert de l’IA ne sont pas des positions incompatibles.
Pourquoi c’est important
Les laboratoires de pointe ont dépensé des sommes vertigineuses pour recruter des chercheurs, acheter de la puissance de calcul et produire les jeux de données à l’origine de leurs meilleurs modèles. Si une autre entreprise peut reproduire ces capacités pour une fraction dérisoire du coût, il devient bien plus difficile de justifier économiquement les milliards à investir dans le modèle suivant.
Le problème, c’est que ces mêmes laboratoires ont conçu leurs systèmes à partir de livres, d’articles, de code, d’images et d’autres contenus publics qu’ils n’avaient souvent pas acquis sous licence individuellement. Leur argument revient à dire : apprendre du travail des autres stimule l’innovation, tandis qu’apprendre du nôtre la menace. C’est à la fois hypocrite et vrai.
Notre analyse
Nadella a identifié le principe que le secteur doit encore trancher : qui a le droit d’apprendre de qui, dans quelles conditions et avec quelle compensation ?
Les comptes frauduleux et l’extraction à l’échelle industrielle peuvent raisonnablement franchir une limite. De vastes restrictions sur la distillation pourraient également enfermer la recherche significative en matière d’IA dans les quelques entreprises assez riches pour construire des modèles de pointe.
Les laboratoires pourraient obtenir de meilleures protections. En revanche, ils auront beaucoup plus de mal à convaincre tout le monde que l’intelligence doit affluer librement vers eux avant de s’arrêter à leurs portes.
Note de la rédaction : cet article a d’abord été publié dans notre publication sœur, The Neuron.