Die meisten KI-Sprachmodelle benötigen teure GPUs und Cloud-APIs, um Sprache zu erzeugen. Nicht ideal, wenn du einen Sprachassistenten entwickelst oder einfach deine Stimme klonen möchtest, ohne deine Rechenkontingente aufzubrauchen.
Kyutai hat gerade Pocket TTS, ein so kleines Text-to-Speech-Modell (100 Millionen Parameter) veröffentlicht, dass es auf deiner CPU schneller als in Echtzeit läuft – ganz ohne spezielle GPU.
Das Modell liefert hochwertiges Voice-Cloning mit nur 5 Sekunden Audiomaterial. Gib ihm 5 Sekunden der Stimme einer Person, und es klont deren Tonfall, Akzent, Emotionen und sogar die Raumakustik sowie die Qualität des Mikrofons.
Ungefähr so, wie dein Neffe dieses eine nervige TikTok-Video in Dauerschleife perfekt nachmachen kann – jetzt kannst du es also auch. Verbietet noch jemandes Großfamilie seit dem Thanksgiving-Fest im letzten Jahr den Ausdruck „6-7“?
Die Zahlen sprechen für sich
- Klassenbeste Genauigkeit: Niedrigste Wortfehlerrate (1,84 %) unter den Wettbewerbern – einschließlich Modellen, die 7-mal größer sind.
- Wirklich portabel: Läuft auf Apple-M3- oder Intel-Core-Ultra-CPUs ohne dedizierte Grafikkarte.
- Alles offen: Vollständig Open Source unter der MIT-Lizenz, mit dem kompletten Trainingscode und 88.000 Stunden öffentlich zugänglicher Daten.
Der Durchbruch ist den Continuous Audio Language Models (CALM) zu verdanken, einem neuen Framework, das Audio direkt vorhersagt, statt es zunächst in diskrete Tokens umzuwandeln. Dadurch entfällt der Rechenengpass, der frühere TTS-Modelle von GPUs abhängig machte.
Warum das wichtig ist
Sprach-KI ist jetzt für jeden Entwickler (oder auch dich) mit einem Laptop zugänglich (kein Bedarf mehr an einem teuren ElevenLabs-Abo, aber weint ihnen nicht nach: Sie haben gerade 330 Millionen US-Dollar ARR erreicht, was einem annualisierten wiederkehrenden Umsatz entspricht).
Was du heute tun kannst, was gestern noch unmöglich war:
- Ein Solo-Spieleentwickler kann 50 einzigartige Charakterstimmen hinzufügen, ohne auch nur einen einzigen Sprecher engagieren oder für Cloud-API-Aufrufe bezahlen zu müssen.
- Jemand mit ALS kann seine Stimme auf einem Laptop speichern, bevor sie sich verschlechtert, und so seine Identität in einer privaten Datei bewahren, über die er selbst verfügt.
- Eine Sprachlehrkraft erstellt an einem Nachmittag Aussprachehilfen mit der eigenen Stimme für 200 Vokabeln.
Der Datenschutzaspekt ist am wichtigsten. Bislang bedeutete Voice-Cloning, Audiodaten an die Server anderer zu senden. Medizinische Diktate, gerichtliche Zeugenaussagen und vertrauliche Geschäftskommunikation – all das erforderte Vertrauen in einen Drittanbieter. Und jetzt? Deine Stimme verlässt niemals dein Gerät.
Entwickler können Pocket TTS sofort nutzen; wenn du es selbst ausprobieren möchtest, enthält der vollständige technische Bericht von Kyutai Anleitungen zur Einrichtung und Sprachbeispiele.
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich im Newsletter unserer Schwesterpublikation, The Neuron. Um mehr von The Neuron zu lesen, melde dich hier für den Newsletter an.