Das neue Startup von Mira Murati, der ehemaligen CTO von OpenAI, hat kürzlich seine erste Forschungsarbeit veröffentlicht – und darin geht es um die Behebung eines Problems, das KI-Ingenieure seit dem Start von ChatGPT beschäftigt.
Die Arbeit von Muratis Startup Thinking Machines Lab (oder einfach Thinky, wie Eingeweihte sagen) trägt den Titel „Defeating Nondeterminism in LLM Inference“ und nimmt sich des Problems der „Reproduzierbarkeit“ bei Sprachmodellen wie ChatGPT an.
Bevor wir anfangen, ein paar Definitionen:
- Nichtdeterminismus: Wenn ChatGPT bei derselben Frage mit identischen Einstellungen zweimal unterschiedliche Antworten liefert.
- LLM: Großes Sprachmodell wie ChatGPT, Claude oder Gemini.
- Inferenz: Wenn man einem Sprachmodell eine Frage stellt und es eine Antwort generiert.
Das Problem
Selbst wenn man KI-Modelle auf die vorhersehbarste Einstellung setzt (temperature = 0), erhält man auf dieselbe Frage weiterhin unterschiedliche Antworten. Ingenieure haben sich die Haare gerauft und gedacht, das sei einfach „so ein Computerding“, das sich nicht beheben lässt. Wie sich herausstellt, lagen sie falsch.
Die Lösung
Die Entdeckung stammt von Horace He, einem PyTorch- (Code für KI-)Genie, der kürzlich von Meta zu Muratis Team gewechselt ist. Er steckt hinter torch.compile – jenem Tool, das KI-Modelle mit einer einzigen Codezeile 2- bis 4-mal schneller laufen lässt.
Horace und sein Team entdeckten, dass nicht der übliche Verdächtige der eigentliche Schuldige ist – die Ungenauigkeiten bei der Gleitkommaarithmetik, die Ingenieure normalerweise verantwortlich machen. Stattdessen geht es um etwas, das „Batch-Invarianz“ genannt wird. Man kann es sich so vorstellen:
- Stell dir vor, du bestellst bei Starbucks jedes Mal denselben Kaffee, aber er schmeckt unterschiedlich, je nachdem, wie viele andere Kunden in der Schlange stehen. Genau das passiert im Grunde bei KI-Modellen.
- Wenn ein KI-Server mit der Bearbeitung zahlreicher Anfragen beschäftigt ist, verarbeitet er sie in Batches.
- Deine Anfrage wird mit anderen gebündelt, weil das effizienter ist – und irgendwie verändert das deine konkrete Antwort … obwohl es das nicht sollte.
- Wenn man der Logik folgt, variieren deine Ergebnisse umso stärker, je stärker der Server ausgelastet ist.
Das passiert auch im echten Leben. Warst du schon einmal während der morgendlichen Stoßzeit für Kaffee bei deinem Starbucks vor Ort? Wenn du keinen Barista auf Götter-Level erwischst, schmeckt deine Bestellung vielleicht nicht jedes Mal gleich!
Warum das wichtig ist
Das ist aus folgenden Gründen wichtig:
- KI-Unternehmen, die forschen, können ihre eigenen Experimente nicht zuverlässig reproduzieren.
- Unternehmen, die KI für kritische Entscheidungen einsetzen, erhalten uneinheitliche Ergebnisse.
- Das Training neuer KI-Modelle wird deutlich teurer, wenn man den eigenen Ausgaben nicht vertrauen kann.
Thinky hat seine Lösung als Open-Source-Codeveröffentlicht – ganz im Sinne von Muratis Versprechen: „Wissenschaft ist besser, wenn sie geteilt wird.“ Das Team nennt seinen Ansatz „batch-invariante Kernels“. Im Grunde bringt er KI-Servern bei, dir unabhängig von der Länge der Schlange denselben Kaffee zu servieren.
Warum die KI-Giganten nervös werden sollten
Das ist nur die Vorspeise eines Teams, das kürzlich 2 Milliarden US-Dollar eingesammelt hat, ohne überhaupt ein Produkt zu haben (obwohl das Team an einem arbeitet, das intern „RL for businesses“ genannt wird und Modelle auf die spezifischen Geschäftskennzahlen eines Unternehmens zuschneidet – was ziemlich cool klingt).
Wenn die Behebung jahrzehntealter „unbehebbarer“ Probleme ihr erster Zug ist, sollten die KI-Giganten vermutlich nervös werden (auch wenn der Code offen ist – also: mjam, mjam, mjam, wie die hungrigen, hungrigen KI-Labore sagen würden).
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich in unserer Schwesterpublikation The Neuron. Um mehr von The Neuron zu lesen, kannst du dich hier für den Newsletter anmelden.