OpenAI hat seine Realtime API, die KI-Modelle für Live-Interaktionen mit Apps verbindet, für die allgemeine Nutzung freigegeben. Das Unternehmen hat außerdem ein neues Sprachmodell namens gpt-realtime veröffentlicht.
Die Realtime API und das Modell gpt-realtime sind darauf ausgelegt, KI-Sprachagenten für Einsatzbereiche wie den Kundensupport zu betreiben, bei dem ein Kunde eine Hotline anruft und direkt mit einem KI-Agenten spricht. Während andere APIs separate Sprach-zu-Text- und Text-zu-Sprache-Modelle kombinieren, arbeitet die Realtime API als Sprach-zu-Sprache-System. Dadurch werden Latenzen reduziert und subtile Gesprächssignale erfasst, was natürlichere Interaktionen ermöglicht. Mit ihrer breiteren Veröffentlichung führt die Realtime API neue Funktionen ein, darunter Bildeingaben, wiederverwendbare Prompts und Telefonanbindung.
Das Modell gpt-realtime bietet gegenüber seinem Vorgänger gpt-realtime-preview ebenfalls deutliche Verbesserungen beim Befolgen von Anweisungen, bei der Tool-Nutzung und bei der Erzeugung menschenähnlicher Sprache.
„Natürlich klingende Gespräche sind entscheidend, um Sprachagenten in der realen Welt einzusetzen“, sagte OpenAI in einem Blogbeitrag. „Modelle müssen mit der Intonation, Emotion und Geschwindigkeit eines Menschen sprechen, um ein angenehmes Erlebnis zu schaffen und fortlaufende Gespräche mit Nutzern zu fördern.“
Zu den neuen Funktionen der Realtime API gehört die Möglichkeit, mit dem Telefon einen KI-Agenten anzurufen
Die Realtime API wurde um vier neue Funktionen ergänzt: Unterstützung für Model Context Protocol (MCP)-Server, Bildeingaben, Telefonate über das Session Initiation Protocol (SIP) und wiederverwendbare Prompts.
Über die API kann eine Sitzung eine Verbindung zu einem entfernten MCP-Server herstellen, einem Plug-in, das zusätzliche Tools oder Fähigkeiten bereitstellt, indem dessen URL in die Konfiguration eingefügt wird. Sobald die Verbindung hergestellt ist, stehen alle Tools dieses Servers sofort und ohne manuelle Integration zur Verfügung.
Bilder, Fotos und Screenshots können jetzt zusammen mit Audio oder Text an eine Realtime-API-Sitzung gesendet werden. Dadurch kann das Modell verstehen, was visuell dargestellt ist, und darauf reagieren – etwa indem es Text in einem Screenshot liest oder den Inhalt eines Bildes beschreibt.
Die SIP-Unterstützung der Realtime API ermöglicht die direkte Verbindung mit Telefonnetzen, PBX-Systemen und Tischtelefonen, sodass Nutzer ein Echtzeit-Telefongespräch mit der KI führen können. Außerdem können Nutzer Prompts sitzungsübergreifend speichern und wiederverwenden.
gpt-realtime kann Lachen wahrnehmen, seinen Ton von direkt zu herzlich ändern und vieles mehr
OpenAI zufolge ist gpt-realtime sein bislang fortschrittlichstes Sprach-zu-Sprache-Modell – mit Verbesserungen bei Audioqualität, Intelligenz, dem Befolgen von Anweisungen und Funktionsaufrufen.
Das Modell wurde darauf trainiert, Sprache von höherer Qualität zu erzeugen, und kann auf Prompts reagieren, die es auffordern, seine Stimme zu verändern, etwa „sprich schnell und professionell“ oder „sprich einfühlsam mit französischem Akzent“. Die Genauigkeit beim MultiChallenge-Benchmark, der die Leistung in Gesprächen mit mehreren Gesprächsrunden misst, ist gegenüber der Veröffentlichung vom Dezember 2024 um 10,1 % gestiegen.
gpt-realtime reagiert auch intelligenter auf Sprachbefehle: Es erkennt nonverbale Signale wie Lachen, wechselt mitten im Satz die Sprache, passt seinen Ton an den Gesprächskontext an und erkennt alphanumerische Sequenzen in verschiedenen Sprachen. Das Update hat die Punktzahl beim Big-Bench-Audio-Benchmark, der die Denkfähigkeiten von Sprachmodellen mit Audioeingabe bewertet, um 17,2 % gesteigert.
Strikteres Befolgen von Anweisungen und verbesserte Funktionsaufrufe
OpenAI hat die Befolgung der Master-Prompts durch gpt-realtime verbessert, sodass selbst subtile Anweisungen während eines Gesprächs zuverlässiger befolgt werden. Diese Fähigkeit wird mit dem MultiChallenge-Audio-Benchmark gemessen, dessen Wert um 9,9 % gestiegen ist.
Schließlich wurde der Funktionsaufruf von gpt-realtime verbessert, sodass die ausgewählten Tools relevanter sind, zu passenderen Zeitpunkten aufgerufen werden und mit genaueren Daten versorgt werden. Auch bei asynchronen Funktionsaufrufen ist das Modell besser geworden – das bedeutet, dass es ein flüssiges Gespräch fortsetzen kann, während es auf die Ergebnisse eines Funktionsaufrufs wartet.
Alle acht bestehenden Stimmen des Modells werden mit diesen Updates ausgestattet, ebenso wie zwei neue Stimmen namens Cedar und Marin.
Preise und Verfügbarkeit
Sowohl die allgemein verfügbare Realtime API als auch das Modell gpt-realtime sind jetzt verfügbar. Die Preise für gpt-realtime sind wie folgt strukturiert:
- 32 US-Dollar pro 1 Million Audioeingabe-Token
- 0,40 US-Dollar pro 1 Million gecachter Eingabe-Token
- 64 US-Dollar pro 1 Million Audioausgabe-Token
Entwickler können außerdem Token-Limits festlegen und mehrere Gesprächsrunden auf einmal abschneiden, um die Kosten längerer Sitzungen zu senken.
Lesen Sie eine ausführliche Analyse dieser OpenAI-Veröffentlichungen auf unserer Schwesterseite The Neuron.