Nvidias neue KI-gestützte Plattform Signs bringt Nutzern amerikanische Gebärdensprache bei, indem sie die Bewegungen der Lernenden über deren Webcams verfolgt und in Echtzeit Feedback gibt. Das Tool verfügt derzeit über eine Bibliothek mit 100 Zeichen, die von fließend ASL sprechenden Nutzern und Dolmetschern validiert wurden, doch der Datensatz wird erweitert. Signs wurde gemeinsam mit der American Society for Deaf Children (ASDC) und der Kreativagentur DEPT entwickelt und demonstriert Gesten mit einem 3D-Avatar, zeichnet gleichzeitig auf, wie der Nutzer sie übt, und analysiert das Videomaterial mithilfe von AI mit Tipps wie „warten“ und „Handdrehung anpassen“.
„Die meisten gehörlosen Kinder werden hörenden Eltern geboren“, sagte Cheri Dowling, Executive Director der ASDC, in einer Pressemitteilung. „Wenn Familienmitglieder mit zugänglichen Tools wie Signs früh beginnen, ASL zu lernen, können sie schon mit Kindern im Alter von sechs bis acht Monaten einen effektiven Kommunikationskanal eröffnen.“
Dowling merkte an dass die Webplattform es Familien mit gehörlosen Kindern erleichtert, ihre ASL-Ausbildung fortzusetzen, da der Besuch eines formellen Kurses nicht mehr nötig ist und Eltern das Lernen mit dem Spielen mit ihren Kindern verbinden können. Signs ist allerdings noch nicht ganz fertig. Nvidia will die Zahl der validierten Zeichen von 100 auf 1.000 erhöhen, indem 400.000 Videoclips mit Demonstrationen gesammelt werden. Gebärdensprachler aller Kenntnisstufen können auf der Signs-Website die Option „Zeichen aufnehmen“ auswählen und zum Datensatz beitragen.
Bild: Nvidia
Signs weist mit neuen Funktionen in die Zukunft
In seiner derzeitigen Form konzentriert sich Signs auf Handbewegungen und Fingerpositionen, doch ASL umfasst auch Gesichtsausdrücke und Kopfbewegungen. Die Forscher planen, die Videobibliothek zu nutzen, um diese zusätzlichen Elemente sowie weitere Feinheiten wie Slangbegriffe und regionale Varianten in die Lernplattform zu integrieren.
Darüber hinaus möchte Nvidia die Videobibliothek nutzen, um neben Signs weitere Anwendungen zu entwickeln, die „Kommunikationsbarrieren zwischen gehörlosen und hörenden Gemeinschaften abbauen“. Das Unternehmen beabsichtigt, die Bibliothek noch in diesem Jahr als Open Source bereitzustellen, damit andere Unternehmen sie zur Entwicklung zugänglicher Technologien wie KI-Agenten und Videokonferenztools nutzen können.
Nvidia zufolge gibt es erheblich weniger KI-Tools, die mit ASL-Daten entwickelt wurden, als solche mit englischen und spanischen Daten, obwohl diese drei Sprachen zu den am häufigsten gesprochenen Sprachen der USA gehören. Dennoch veröffentlichte Mozilla im November kostenlose, hochwertige Sprachtrainingsdaten in 180 Sprachen und schuf damit einen der größten offenen KI-Sprachdatensätze, wodurch die Inklusion in KI-Tools.