Eine aktuelle Studie ergab, dass die Strategien große Sprachmodelle (LLMs) zur Verarbeitung menschlicher Gespräche verwenden, denen des menschlichen Gehirns verblüffend ähnlich sind. Die von Teams mit Forschern von Google AI, der Princeton University, der New York University und der Hebrew University of Jerusalem durchgeführte Studie umfasste fünf Jahre einzelner Untersuchungen, die Unterschiede und Gemeinsamkeiten zwischen der aktuellen Generation von LLMs und dem menschlichen Gehirn untersuchen sollten.
LLMs helfen KI-Systemen, menschliche Sprachen zu verstehen, zu verarbeiten und zu erzeugen, indem sie große Textdatensätze analysieren und letztlich Strategien wie bestärkendes Lernen und die Vorhersage des nächsten Wortes anwenden, um natürliche Sprachmuster zu erzeugen.
Die Forscher verwendeten für den KI-Teil ihrer Untersuchungen von Whisper erzeugten Text. Als sie die Ergebnisse mit denen intrakranieller Elektroden verglichen, die zur Aufzeichnung von 100 Stunden Gesprächen aus der realen Welt verwendet wurden, stellten sie eine „bemerkenswerte Übereinstimmung“ mit dem menschlichen Gehirn und den internen Repräsentationen der KI fest – auch Embeddings genannt.
Whisper extrahiert aus jedem Wort zwei Embeddings: Sprech-Embeddings und Sprach-Embeddings. Die Studie ergab, dass die Embeddings von Whisper der neuronalen Aktivität in den Sprach- und Sprecharealen des menschlichen Gehirns sehr ähnlich sind.
Unterschiede und Gemeinsamkeiten
Frühere Untersuchungen haben gezeigt, dass die Sprachareale des menschlichen Gehirns aktiv versuchen, das nächste Wort in einem Satz vorherzusagen, bevor es überhaupt laut ausgesprochen wird. Die besten LLMs verwenden mehrere verschiedene Strategien, darunter die Vorhersage des nächsten Wortes, um natürliche Sprache besser zu verstehen. Es gibt jedoch auch einige bemerkenswerte Unterschiede zwischen LLMs und dem menschlichen Gehirn. Während die heutigen generativen KI-Tools und LLMs leistungsfähig genug sind, Hunderttausende Wörter gleichzeitig zu verarbeiten, verarbeiten die Sprachareale des menschlichen Gehirns Wörter seriell, also eines nach dem anderen.
Was bedeutet das für die Zukunft der LLMs?
Die Forscher sagen, ihre aktuelle Studie könnte uns helfen, ein tieferes Verständnis der neuronalen Aktivität im menschlichen Gehirn zu erlangen, insbesondere in den Sprech- und Spracharealen. Die Studie zeigt KI-Entwicklern außerdem, wie sie ein KI-Modell trainieren können – effektiver und stärker am menschlichen Gehirn orientiert.
„Unser Ziel für die Zukunft ist es, innovative, biologisch inspirierte künstliche neuronale Netze zu entwickeln, die über verbesserte Fähigkeiten zur Informationsverarbeitung und zum Funktionieren in der realen Welt verfügen“, erklärten die Forscher in einem aktuellen Blogbeitrag. „Wir wollen dies erreichen, indem wir neuronale Architekturen, Lernprotokolle und Trainingsdaten anpassen, die besser zu menschlichen Erfahrungen passen.“