Haben Sie sich schon einmal gefragt, warum ChatGPT besser Englisch als beispielsweise Suaheli oder Arabisch spricht?
Das ist kein Zufall und auch keine besondere Bevorzugung des Englischen in den Trainingsdaten – es ist Mathematik. KI-Unternehmen sind bei der Entwicklung von Modellen für nicht englischsprachige Sprachen bislang im Blindflug unterwegs gewesen und mussten raten, wie viele Daten sie verwenden und welche Sprachen sie gemeinsam trainieren sollten.
Das Forschungsteam von Google hat gerade die ATLAS (-Studie veröffentlicht – die bislang größte öffentliche Studie zum Training mehrsprachiger KI. Die Forschenden führten 774 Experimente in mehr als 400 Sprachen durch, um Fragen zu beantworten, die Entwickler bislang vor große Probleme gestellt haben: Wie viel größer sollte das Modell sein, wenn es 50 statt 10 Sprachen unterstützen soll? Welche Sprachen helfen sich beim Training tatsächlich gegenseitig?
Der entscheidende Durchbruch
ATLAS erstellt eine „Transfermatrix“, die zeigt, welche Sprachen die Leistung der jeweils anderen verbessern. Norwegisch verbessert sich, wenn es zusammen mit Schwedisch und Deutsch trainiert wird. Malaiisch profitiert von Indonesisch. Arabisch wird durch Hebräisch besser. Das Muster? Sprachen, die dasselbe Alphabet und dieselbe Sprachfamilie teilen, helfen sich am meisten.
Drei praktische Werkzeuge, die ATLAS bereitstellt:
- Skalierungsrechner: Wenn Sie die Sprachunterstützung verdoppeln möchten (von K auf 2K Sprachen), müssen Sie die Modellgröße um den Faktor 1,18 und die Gesamtdatenmenge um den Faktor 1,66 erhöhen.
- Leitfaden zur Sprachkombination: Eine Heatmap, die zeigt, welche Sprachen am besten zusammen funktionieren; Englisch, Französisch und Spanisch helfen insgesamt den meisten Sprachen.
- Entscheidung zwischen Pretraining und Fine-Tuning: Eine Formel zeigt, wann man bei null anfangen und wann man auf einem bestehenden mehrsprachigen Modell aufbauen sollte (bei Modellen mit 2 Milliarden Parametern üblicherweise zwischen 144 und 283 Milliarden Token).
Die Forschenden nahmen sich auch des „Fluchs der Mehrsprachigkeit“ an – also der Tatsache, dass die Leistung typischerweise sinkt, wenn weitere Sprachen hinzukommen. Die gute Nachricht: Der Fluch ist real, aber gering. Sprachen, die Schriftsysteme teilen, erzeugen genügend positive Synergien, um die meisten Kapazitätsbeschränkungen auszugleichen.
Warum das wichtig ist
Mehr als 50 % der KI-Nutzer sprechen nicht englische Sprachen, doch Skalierungsgesetze waren bislang überwiegend auf das Englische ausgerichtet. Entwickler, die mehrsprachige KI entwickeln, mussten bei Modellgröße und Trainingsdaten teure Schätzungen anstellen.
ATLAS liefert ihnen einen datengestützten Leitfaden. Die nächste Generation mehrsprachiger Modelle dürfte in Sprachen jenseits des Englischen tatsächlich gut funktionieren, weil Unternehmen nun genau wissen, wie sie ihr Rechenbudget effizient auf die einzelnen Sprachen verteilen.
Wie es weitergeht: Modellentwickler bei Unternehmen wie Anthropic, OpenAI, und Google werden diese Skalierungsprinzipien in den nächsten 6–12 Monaten wahrscheinlich übernehmen (vielleicht tun das auch die chinesischen Labore!). Wer mehrsprachige KI-Produkte entwickelt oder bewertet, sollte prüfen, welche Sprachen beim Training priorisiert wurden; ATLAS zeigt, dass diese Entscheidungen messbare Auswirkungen haben.
Anmerkung der Redaktion: Dieser Beitrag erschien ursprünglich im Newsletter unserer Schwesterpublikation The Neuron. Weitere Beiträge von The Neuron können Sie hier über den Newsletter abonnieren.