OpenAI rencontrerait des difficultés avec son prochain modèle d’intelligence artificielle, Orion. Les évaluations du modèle n’ont révélé que des améliorations modérées par rapport aux versions précédentes, suscitant des inquiétudes quant au rythme des progrès auxquels nous pouvons nous attendre pour les futurs modèles d’IA générative. Des employés d’OpenAI qui ont utilisé et testé Orion ont fourni des retours sur ses progrès à The Information, indiquant que les nouvelles améliorations du modèle étaient minimes comparées à celles introduites lors de la transition de GPT-3 à GPT-4.
Bien qu’OpenAI ait longtemps occupé la position de leader du secteur de l’IA, cette évolution pourrait nuire à son statut d’acteur majeur de l’IA. En outre, un ralentissement des progrès de l’IA pourrait bouleverser notre compréhension actuelle de l’avenir de l’IA, des limites des modèles d’IA générative et de la trajectoire de croissance des entreprises d’IA générative.
Les difficultés de croissance de l’IA
Des chercheurs d’OpenAI ont indiqué que, malgré l’amélioration de ses capacités linguistiques, Orion rencontrait des goulots d’étranglement dans certains domaines, notamment les tâches de programmation. Ces difficultés peuvent être attribuées aux problèmes d’OpenAI concernant la disponibilité des données d’entraînement. La diminution de l’offre de ces données constitue un problème majeur pour OpenAI, car des données de haute qualité sont nécessaires à l’entraînement préalable des grands modèles de langage (LLM). Selon une estimation, les modèles d’IA pourraient manquer de contenu d’ici 2028.
Sans ces données, les progrès dans certains domaines de la technologie de l’IA pourraient ralentir. Bien que des entreprises aient tenté d’intégrer des données synthétiques à l’entraînement des modèles d’IA, cette solution pourrait ne pas être adaptée au problème.
L’augmentation de la puissance de calcul nécessaire à l’entraînement de ce modèle d’IA exigera davantage d’énergie et coûtera plus cher. Bien que les grandes entreprises continuent de construire des centres de données supplémentaires pour soutenir leurs stratégies dans le domaine de l’IA, elles peinent à trouver des sources d’énergie rentables. Sans celles-ci, le développement des futurs modèles d’IA pourrait ne pas être financièrement viable.
La consommation énergétique de l’IA constitue également un élément important à prendre en compte dans ce contexte, car l’électricité nécessaire au fonctionnement de ces grands centres de données pourrait aussi avoir des effets environnementaux considérables.
Auparavant, l’hypothèse principale concernant l’IA générative était que davantage de données et de puissance de calcul permettraient de créer des modèles d’IA plus performants. Cependant, les goulots d’étranglement rencontrés par OpenAI avec Orion remettent en cause cette idée. Si la trajectoire d’amélioration de l’IA continue de s’essouffler, les investisseurs pourraient être moins enclins à soutenir financièrement les initiatives de ces entreprises dans le domaine de l’IA. Bien entendu, ce sont probablement les utilisateurs des modèles d’IA qui compenseront ces dépenses perdues, car les entreprises d’IA fixeront le prix de leurs produits en conséquence pour les couvrir.