Du kennst sicher das Gefühl: Du liest ein 300-seitiges PDF, und jemand fragt dich etwas zu Seite 47. Du liest nicht alles noch einmal. Du blätterst zum richtigen Abschnitt, überfliegst die relevanten Stellen und setzt daraus eine Antwort zusammen. Wenn du ein wirklich gutes Gedächtnis hast (und, noch wichtiger, dich gut erinnern kannst), kannst du dich direkt aus dem Stegreif auf das Gelesene beziehen.
Aktuelle KI-Modelle? Nicht besonders clever. Sie versuchen, alles gleichzeitig in den Arbeitsspeicher zu quetschen. Sobald dieser Speicher voll ist (typischerweise bei etwa ~100.000 Token), bricht die Leistung ein. Fakten werden durch das, was Forschende als „Kontextverfall“ bezeichnen, durcheinandergebracht, und Informationen gehen in der Mitte verloren.
Die Lösung ist allerdings verblüffend einfach: Hör auf, alles behalten zu wollen.
MITs neuer Recursive-Language-Model-(RLM)-Ansatz kehrt das Prinzip vollständig um. Statt alles in das Aufmerksamkeitsfenster zu zwingen, behandelt er riesige Dokumente wie eine durchsuchbare Datenbank, die das Modell nach Bedarf abfragen kann.
Die zentrale Erkenntnis lautet:
- Der Text wird nicht direkt in das neuronale Netz eingespeist.
- Stattdessen wird er zu einer Umgebung, in der sich das Modell programmgesteuert bewegen kann.
- Stell dir ein gewöhnliches großes Sprachmodell (LLM) als jemanden vor, der versucht, eine komplette Enzyklopädie zu lesen, bevor er deine Frage beantwortet.
- Nach ein paar Bänden sind sie überfordert.
- Ein RLM ist, als würde man dieser Person eine durchsuchbare Bibliothek und Rechercheassistenten geben, die genau das Nötige herbeischaffen können.
Das Ergebnis: RLMs verarbeiten Eingaben, die 100-mal größer sind als das native Aufmerksamkeitsfenster eines Modells. Die Rede ist von kompletten Codebasen, Dokumentarchiven aus mehreren Jahren und Texten in Buchlänge. Bei komplexen Reasoning-Benchmarksschlagen sie sowohl Basismodelle als auch gängige Umgehungslösungen. Und die Kosten bleiben vergleichbar, weil das Modell nur relevante Ausschnitte verarbeitet.
Warum das wichtig ist
Eine herkömmliche Erweiterung des Kontextfensters reicht für Anwendungsfälle aus der Praxis nicht aus. Juristische Teams, die komplette Fallhistorien analysieren, Ingenieurinnen und Ingenieure, die ganze Codebasen durchsuchen, und Forschende, die Hunderte von Fachartikeln zusammenführen: Sie alle brauchen grundsätzlich intelligentere Möglichkeiten, mit riesigen Eingaben zu navigieren.
Die ursprüngliche Studie von Alex Zhang, Tim Kraska und Omar Khattab vom MIT CSAIL umfasst sowohl eine vollständige Implementierungsbibliothek für verschiedene Sandbox-Umgebungen als auch eine Minimalversion als Grundlage für Entwickler.
Außerdem entwickelt Prime Intellect bereits Produktionsversionen.
Statt zu fragen: „Wie bringen wir das Modell dazu, sich mehr zu merken?“, fragten die Forschenden: „Wie bringen wir das Modell dazu, besser zu suchen?“ Die Antwort – den Kontext als eine zu erkundende Umgebung statt als zu speichernde Daten zu behandeln – könnte genau der Weg sein, wie wir KI dazu bringen, die wirklich gewaltigen Informationsherausforderungen der Zukunft zu bewältigen.
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich im Newsletter unserer Schwesterpublikation The Neuron. Mehr von The Neuron kannst du lesen, wenn du dich hier für den Newsletter anmeldest.