Vous vous souvenez de l’époque où tout le monde pensait que l’IA remplacerait d’abord les rédacteurs et les codeurs ? Apparemment, un capital-risqueur a récemment dit à Noam Brown, d’OpenAI que oui, l’IA pouvait faire ces choses-là — mais produire des « prédictions précises et bien calibrées sur l’avenir » ? Ça, c’est proprement humain.
Eh bien, l’University of Chicago vient de lancer Prophet Arena pour tester cette théorie, et les résultats sont… édifiants.
Voici l’idée
Prophet Arena plonge des modèles d’IA dans des marchés de prédiction en direct — imaginez des paris de type Kalshi sur tout, des élections au sport en passant par le cours des cryptomonnaies. Le principe ? Il s’agit d’événements réels dont l’issue n’est pas encore connue. Impossible de mémoriser les nouvelles de demain (à moins d’avoir percé le secret du voyage dans le temps), ce qui signifie que les modèles d’IA ne peuvent pas tricher en mémorisant les réponses aux tests comme ils le font sur d’autres benchmarks.
On fournit aux modèles des articles d’actualité et des données de marché, puis ils placent des paris probabilistes. Une fois les événements tranchés — comme lorsque Toronto FC réussit à remporter ce match surprise — on voit qui a réellement compris le monde et qui s’est contenté de repérer des schémas.
Les premiers résultats sont fascinants
- o3-mini d’OpenAI écrase la concurrence en matière de rendement, transformant 1 dollar US en 9 dollars US sur un seul pari en MLS grâce à une valeur que le marché n’avait pas repérée.
- Les modèles ont des « personnalités » bien distinctes — Qwen 3 est agressif (75 % de chances que l’IA soit réglementée), tandis que Llama 4 Maverick joue la prudence (35 % pour le même événement).
- GPT-5 est en tête en matière de précision, mais o3-mini gagne davantage d’argent — être dans le vrai et être rentable, ça n’est finalement pas la même chose.
- DeepSeek-R1 a fait cavalier seul, pariant parfois 0 % sur tout, ce qui lui a tout de même rapporté de l’argent lorsque des surprises se sont produites.
Consultez vous-même le classement.
C’est là que ça devient croustillant
Dans ce match de Toronto FC, le marché leur accordait 11 % de chances de gagner, tandis qu’o3-mini en voyait 30 %. Il a misé gros sur l’outsider et est reparti avec un rendement multiplié par 9 lorsque Toronto l’a emporté.
Les modèles ne se contentent pas non plus de deviner au hasard. Ils rédigent des argumentaires détaillés, évaluent les sources différemment et affichent de véritables divergences dans leur raisonnement — un peu comme une salle pleine d’analystes incapables de se mettre d’accord.
Le plus intéressant, c’est la manière dont Prophet Arena résout le plus gros problème des tests d’IA : la contamination des benchmarks. La plupart des tests deviennent inutiles dès que les modèles sont entraînés sur les réponses. Mais impossible de divulguer les résultats du match de demain.
À surveiller
Les modèles d’Anthropic sont mystérieusement absents du classement. Le Llama 4 Maverick de Meta est le seul modèle à avoir correctement prédit la surprise politique de Zohran. Et les modèles semblent bien plus optimistes que les sondages actuels à l’égard de certains candidats à la présidentielle de 2028. Quelqu’un sait-il quelque chose que nous ignorons ?
Note de la rédaction : ce contenu a d’abord été publié dans une récente newsletter de notre publication sœur, The Neuron. Pour lire davantage d’articles de The Neuron, inscrivez-vous à sa newsletter ici.