Roboter haben gelernt zu laufen, zu gestikulieren und zu sprechen, doch ihre Gesichter hinkten stets hinterher. Nun hat ein neuer Roboter einen großen Schritt über steife, unnatürliche Gesichtsausdrücke hinaus gemacht, indem er gelernt hat, seine Lippen synchron zur Sprache zu bewegen.
Der Fortschritt zielt auf eines der hartnäckigsten Probleme der humanoiden Robotik: Gesichtsbewegungen, die in einem echten Gespräch überzeugend wirken, nicht nur in Demos. Forschende sagen, dass selbst kleine Verbesserungen beim Realismus der Lippen maßgeblich verändern können, wie Menschen einen Roboter wahrnehmen und auf ihn reagieren.
Das Überqueren des „Uncanny Valley“
Trotz Fortschritten in der humanoiden Robotik, sind realistische Gesichtsbewegungen, insbesondere im Mundbereich, nur schwer zu erreichen. Die meisten Roboter verlassen sich nach wie vor auf vordefinierte, an Audiosignale gekoppelte Gesichtsbewegungen – ein Ansatz, der laut Forschenden von Columbia Engineering oft Sprache hervorbringt, die technisch korrekt aussieht, aber im direkten Kontakt unnatürlich wirkt.
„Einen lustigen Gang oder eine unbeholfene Handbewegung verzeihen wir vielleicht, aber bei selbst dem kleinsten Fehlgriff im Gesicht sind wir unerbittlich“, sagte Hod Lipson, Leiter des Creative Machines Lab von Columbia. Er bezeichnete diesen unerbittlichen Maßstab als das „Uncanny Valley“ – den Punkt, an dem menschenähnliche Roboter auf Menschen leblos oder unheimlich wirken.
Laut Forschenden von Columbia Engineering wurde der Roboter namens EMO nicht mit starren Regeln für Gesichtsausdrücke programmiert; stattdessen lernte er Lippenbewegungen durch Beobachtung. Zunächst untersuchte er sein eigenes Spiegelbild, anschließend beobachtete er, wie Menschen sprechen und singen, sodass er realistische Lippenbewegungen in Echtzeit nachahmen kann.
Von Sprache bis Gesang
In Demonstrationen bewegte sich der Mund des Roboters im Takt der gesprochenen Audiosignale, statt hinterherzuhinken oder zwischen festgelegten Formen hin- und herzuspringen. Während die Wörter erklangen, formten seine Lippen gerundete Vokale, enge Verschlüsse und subtile Übergänge, die dem Rhythmus der Sprache eng folgten – wodurch die Bewegungen bewusst und nicht mechanisch wirkten.
Diese Reaktionsfähigkeit zeigte sich über verschiedene Sprachen und Stimmstile hinweg. Der Roboter wurde dabei gezeigt, wie er in mehreren Sprachen gesprochene Sätze lippensynchron wiedergibt und seine Mundform an ungewohnte Laute anpasst, ohne sprachspezifisch abgestimmt werden zu müssen. Die Forschenden wiesen darauf hin, dass er dies tut, ohne die Wörter selbst zu verstehen, sondern ausschließlich auf das zu reagieren, was er hört.
Am deutlichsten wurde der Effekt, als der Roboter sang. In einem Test sang er ein KI-generiertes Lied aus seinem Debütalbum mit dem Titel „hello world,“ wobei er Änderungen in Tonhöhe und Tempo folgte und gleichzeitig kontinuierliche, ausdrucksstarke Lippenbewegungen beibehielt.
Das fehlende Element bei Robotern für den Umgang mit Menschen
Für das Team von Columbia sind realistische Lippenbewegungen eine Voraussetzung für Roboter, die im Umfeld von Menschen eingesetzt werden sollen.
„Ein großer Teil der humanoiden Robotik konzentriert sich heute auf Bein- und Handbewegungen, etwa beim Gehen und Greifen“, sagte Lipson. „Doch der Gesichtsausdruck ist für jede robotische Anwendung mit menschlicher Interaktion ebenso wichtig.“ Er verwies auf Bereiche wie Bildung, Gesundheitsversorgung und die Betreuung älterer Menschen, in denen sich Menschen während eines Gesprächs ganz selbstverständlich auf Gesichtssignale verlassen.
Das Team erklärte, ausdrucksstarke Gesichter seien ein fehlender Kanal in der Kommunikation zwischen Mensch und Roboter, da sie neben der Sprache Emotionen, Absichten und den zeitlichen Ablauf vermitteln. Ohne sie können selbst fortschrittliche Roboter distanziert oder mechanisch wirken.
Für Roboter , die für die enge Zusammenarbeit mit Menschen entwickelt wurden, betonten die Forschenden, dass Gesichtsbewegungen für die Interaktion ebenso entscheidend sind wie Bewegung oder Sprache.
Ein von SoftBank unterstütztes Robotik-Start-up hat gerade 1,4 Milliarden US-Dollar eingesammelt, um ein gemeinsames KI-„Gehirn“ für Maschinen zu entwickeln.