Sprachagenten können flüssig klingen und trotzdem an ihrer Aufgabe scheitern. In einem kürzlich durchgeführten τ-Voice-Benchmark erledigten produktive Sprachagenten von OpenAI, Google und xAI unter realistischen Audiobedingungen nur 26 % bis 38 % echter Kundenservice-Aufgaben – verglichen mit 85 % bei einem gleichwertigen Textmodell für entsprechende Aufgaben.
Dieses Leistungsproblem bildet den Hintergrund für die am 11. Mai angekündigte neue Forschungsvorschau von Thinking Machines. Das Unternehmen bezeichnet die Architektur als „Interaktionsmodelle“ und erklärt, sie sei für Live-Gespräche per Sprache und Video ausgelegt, wobei gleichzeitiges Zuhören und Sprechen direkt im Modell statt durch zusätzliche externe Software verarbeitet werde.
Das Modell ist noch nicht öffentlich verfügbar, und alle Leistungswerte stammen von Thinking Machines. Kein unabhängiger Prüfer hat es bislang unter den realitätsnahen Aufgabenbedingungen getestet, die zeigen, ob ein Sprachagent echte Arbeit erledigen kann – und nicht nur ein natürliches Gespräch am Laufen hält.
Sprachagenten scheitern weiterhin an echten Aufgaben
Der τ-Voice benchmarkdeckt 278 Aufgaben in Szenarien aus Einzelhandel, Luftfahrt und Telekommunikation ab, darunter Rücksendungen, Flugumbuchungen und Abrechnungsstreitigkeiten. Für den Erfolg ist eine überprüfbare Änderung in der Datenbank erforderlich, nicht nur eine plausibel klingende gesprochene Antwort.
Bei sauberem Audio erzielten die getesteten Sprachagenten 31 % bis 51 %. Unter realistischen Bedingungen mit Hintergrundgeräuschen, Akzenten und Unterbrechungen sanken diese Werte auf 26 % bis 38 %. Der Benchmark ergab außerdem, dass 79 % bis 90 % der Fehler auf das Verhalten der Agenten und nicht auf Artefakte des Tests zurückzuführen waren.
Die Agenten hatten Schwierigkeiten mit Authentifizierungsschritten, bei denen sie Namen, E-Mail-Adressen und Bestätigungscodes korrekt transkribieren mussten. Außerdem behaupteten sie mitunter, Datenbankaktualisierungen abgeschlossen zu haben, ohne den entsprechenden Tool-Aufruf auszuführen.
Der Sprecherwechsel führte zu weiteren Fehlern. Das Modell von OpenAI behandelte nahezu jedes Füllwort als neue Eingabe, das Modell von xAI unterbrach 84 % der Sprecherwechsel, und das Modell von Google verpasste laut Benchmark mehr als jeden vierten Redebeitrag der Nutzer. Einen Bestätigungscode falsch zu verstehen und einen Kunden mitten im Satz zu unterbrechen, sind unterschiedliche Probleme – und ein besserer Gesprächsrhythmus löst nicht automatisch beide.
Überlappendes Sprechen steht im Mittelpunkt
Thinking Machines zufolge funktionieren herkömmliche Sprachsysteme noch immer wie ein wechselweises Chatgespräch: Der Nutzer spricht, das Modell hört zu, dann antwortet das Modell. Die Architektur der Interaktionsmodelleverwendet ein Multi-Stream-Design, das Audio- und Videoein- und -ausgabe in 200-Millisekunden-Abschnitten gleichzeitig verarbeitet. Ziel ist es, dem Modell zu ermöglichen, während des Sprechens einer Person bestätigende Laute einzustreuen, innezuhalten, wenn der Nutzer „warte kurz“ sagt, und auf visuelle Signale zu reagieren, ohne auf eine separate Eingabeaufforderung zu warten.
Die Architektur trennt das Live-Gespräch von tiefergehender Analyse. Ein Interaktionsmodell übernimmt Timing, bestätigende Laute und unmittelbare Antworten, während ein Hintergrundmodell Tool-Aufrufe, Websuche und mehrstufige Aufgaben ausführt und die Ergebnisse anschließend in den Austausch zurückspeist. Dieses Design könnte bei Unterbrechungen, selektiver Reaktion und langen Pausen während der Tool-Nutzung helfen. Es beweist jedoch nicht, dass das System mit verrauschter Authentifizierung, Akzenten oder einer zuverlässigen Tool-Ausführung umgehen kann.
Thinking Machines meldete für TML-Interaction-Small auf FD-bench V1.5 einen Wert von 77,8, verglichen mit 54,3 für Gemini-3.1-flash-live-preview und 46,8 für GPT-realtime-2.0 minimal. Außerdem meldete das Unternehmen eine Latenz beim Sprecherwechsel von 0,40 Sekunden, verglichen mit 0,57 Sekunden bei Gemini und 1,18 Sekunden bei GPT-realtime.
FD-bench und τ-Voice messen unterschiedliche Aspekte. FD-bench bewertet Gesprächsqualität, Timing und proaktive Interaktion. τ-Voice prüft, ob ein Gespräch das richtige Ergebnis in der realen Welt hervorgebracht hat. Ein Modell kann bei FD-bench besser abschneiden und dennoch bei den Kundenservice-Aufgaben scheitern, die für Unternehmen entscheidend sind.
Thinking Machines verfügt über die Finanzierung und Infrastruktur, um die Tests fortzusetzen. Der Vorschau auf die Interaktionsmodelle ging das Tinker-Feintuning-Produkt, eine Seed-Finanzierungsrunde über 2 Milliarden US-Dollar und ein kürzlich abgeschlossenes Google-Cloud-Abkommen im Zusammenhang mit dem Training von Frontier-Modellen voraus.
Für Unternehmen, die Sprach-KI derzeit testen, sollte der Maßstab konkret sein: echte Namen und Adressen testen, verrauschtes Audio vor sauberem Audio einsetzen, mehrere Akzentprofile einbeziehen, Unterbrechungen ebenso wie die Geschwindigkeit messen und bestätigen, dass Tool-Aufrufe die Datenbank tatsächlich verändert haben. Ein Sprachagent, der natürlich klingt, muss die Aufgabe trotzdem abschließen.
Lesen Sie auch: Die jüngsten Gemini-KI-Ankündigungen von Google zeigen, wie sich agentische KI über Arbeits-Apps, Forschungstools, das Gesundheitswesen und die Verteidigung hinweg ausbreitet.