Les agents vocaux peuvent sembler fluides tout en échouant dans leur tâche. Lors d’un récent benchmark τ-Voice, les agents vocaux en production d’OpenAI, Google et xAI n’ont accompli que 26 % à 38 % des tâches réelles de service client dans des conditions audio réalistes, contre 85 % pour un modèle textuel équivalent sur des tâches équivalentes.
Ce problème de performances constitue la toile de fond du nouvel aperçu de recherche de Thinking Machines, annoncé le 11 mai. L’entreprise appelle cette architecture des « modèles d’interaction » et affirme qu’elle est conçue pour les conversations vocales et vidéo en direct, l’écoute et la parole simultanées étant gérées au sein du modèle plutôt qu’ajoutées par un logiciel externe.
Le modèle n’est pas encore accessible au public, et tous les chiffres de performance proviennent de Thinking Machines. Aucun évaluateur indépendant ne l’a testé dans les conditions de tâches concrètes qui permettent de déterminer si un agent vocal peut accomplir un véritable travail, et pas seulement maintenir une conversation naturelle.
Les agents vocaux trébuchent encore sur les tâches réelles
Le benchmark τ-Voice couvre 278 tâches dans des scénarios de vente au détail, de transport aérien et de télécommunications, notamment les retours, les changements de vol et les contestations de facturation. Pour être considérée comme réussie, la tâche doit entraîner une modification vérifiable de la base de données, et non une réponse orale plausible.
Avec un son clair, les agents vocaux testés ont obtenu des scores de 31 % à 51 %. Dans des conditions réalistes comprenant du bruit de fond, des accents et des interruptions, ces scores sont tombés à 26 % à 38 %. Le benchmark a également établi que 79 % à 90 % des échecs étaient imputables au comportement de l’agent plutôt qu’à des artefacts du test.
Les agents ont eu du mal avec les étapes d’authentification qui exigeaient de transcrire correctement des noms, des adresses e-mail et des codes de confirmation. Ils ont aussi parfois affirmé avoir effectué des mises à jour dans la base de données sans exécuter l’appel d’outil.
La gestion des tours de parole a entraîné d’autres échecs. Selon le benchmark, le modèle d’OpenAI a traité presque chaque mot de remplissage comme une nouvelle entrée, celui de xAI a interrompu l’utilisateur dans 84 % des tours, et celui de Google a manqué plus d’un tour utilisateur sur quatre. Mal comprendre un code de confirmation et interrompre un client au milieu d’une phrase sont deux problèmes distincts, et un meilleur rythme conversationnel ne permet pas automatiquement de résoudre les deux.
La parole qui se chevauche est au cœur de la proposition
Selon Thinking Machines, les systèmes vocaux standards fonctionnent encore comme des conversations au tour par tour : l’utilisateur parle, le modèle écoute, puis le modèle répond. Son architecture de modèle d’interaction repose sur une conception multicanal qui traite simultanément des blocs de 200 millisecondes d’entrées et de sorties audio et vidéo. L’objectif est de permettre au modèle d’émettre des signaux d’écoute pendant que quelqu’un parle, de s’interrompre lorsque l’utilisateur dit « attendez », et de réagir aux indices visuels sans attendre une invite distincte.
L’architecture sépare la conversation en direct du raisonnement approfondi. Un modèle d’interaction gère le rythme, les signaux d’écoute et les réponses immédiates, tandis qu’un modèle d’arrière-plan exécute les appels d’outils, la navigation et les tâches en plusieurs étapes, puis réinjecte les résultats dans l’échange. Cette conception pourrait aider à gérer les interruptions, la sélectivité et les longues pauses pendant l’utilisation d’outils. Elle ne prouve pas que le système sait gérer une authentification dans un environnement bruyant, les accents ou l’exécution fiable d’outils.
Thinking Machines a indiqué un score de 77,8 pour TML-Interaction-Small sur FD-bench V1.5, contre 54,3 pour Gemini-3.1-flash-live-preview et 46,8 pour GPT-realtime-2.0 minimal. L’entreprise a également indiqué une latence de gestion des tours de parole de 0,40 seconde, contre 0,57 seconde pour Gemini et 1,18 seconde pour GPT-realtime.
FD-bench et τ-Voice mesurent des éléments différents. FD-bench évalue la qualité de la conversation, le rythme et l’engagement proactif. τ-Voice vérifie si une conversation a produit le bon résultat dans le monde réel. Un modèle peut obtenir de meilleurs résultats sur FD-bench tout en échouant aux tâches de service client qui intéressent les entreprises.
Thinking Machines dispose du financement et de l’infrastructure nécessaires pour poursuivre ses tests. L’aperçu de son modèle d’interaction fait suite à son produit de fine-tuning Tinker, à un tour de table d’amorçage de 2 milliards de dollars US, ainsi qu’à un récent accord avec Google Cloud lié à l’entraînement de modèles de pointe.
Pour les entreprises qui testent actuellement l’IA vocale, la norme doit être concrète : tester de vrais noms et de vraies adresses, utiliser un son bruyant avant un son clair, inclure plusieurs profils d’accent, mesurer les interruptions autant que la vitesse, et vérifier que les appels d’outils ont effectivement modifié la base de données. Un agent vocal qui semble naturel doit tout de même aller au bout de sa tâche.
À lire aussi : les récentes annonces de Gemini AI de Google montrent comment l’IA agentique se répand dans les applications professionnelles, les outils de recherche, la santé et la défense.