La nouvelle plateforme de Nvidia propulsée par l’IA, Signs, enseigne la langue des signes américaine en suivant les mouvements des apprenants grâce à leur webcam et en leur fournissant un retour en temps réel. L’outil dispose actuellement d’une bibliothèque de 100 signes validés par des utilisateurs maîtrisant couramment l’ASL et des interprètes, mais son jeu de données est en cours d’enrichissement. Créé avec l’American Society for Deaf Children (ASDC) et l’agence créative DEPT, Signs illustre les gestes avec un avatar en 3D, enregistre simultanément l’utilisateur en train de les reproduire et analyse les images à l’aide de AI afin de lui donner des conseils tels que « attendre » ou « ajuster la rotation de la main ».
« La plupart des enfants sourds naissent de parents entendants », a déclaré Cheri Dowling, directrice générale de l’ASDC, dans un communiqué de presse. « Donner aux membres de la famille des outils accessibles comme Signs pour commencer à apprendre l’ASL dès le plus jeune âge leur permet d’établir un moyen de communication efficace avec des enfants dès six à huit mois. »
Dowling a souligné que la plateforme web permet aux familles d’enfants sourds de poursuivre plus facilement leur apprentissage de l’ASL, puisqu’elle élimine la nécessité d’une salle de classe traditionnelle et permet aux parents de mêler apprentissage et jeu avec leurs enfants. Mais Signs n’est pas encore tout à fait finalisé. Nvidia vise à faire passer le nombre de signes validés de 100 à 1 000 en recueillant 400 000 vidéos de démonstration. Les personnes signantes de tous niveaux peuvent choisir l’option « Record Signs » sur le site web de Signs et contribuer au jeu de données.
Image : Nvidia
Signs ouvre la voie à l’avenir avec de nouvelles fonctionnalités
Dans sa forme actuelle, Signs se concentre sur les mouvements des mains et la position des doigts, mais l’ASL intègre également les expressions faciales et les mouvements de la tête. Les chercheurs prévoient d’utiliser la bibliothèque vidéo pour intégrer ces éléments supplémentaires à la plateforme d’apprentissage, ainsi que d’autres nuances comme les termes d’argot et les variations régionales.
En outre, Nvidia souhaite utiliser la bibliothèque vidéo pour développer des applications autres que Signs qui « réduisent les barrières de communication entre les communautés sourde et entendante ». L’entreprise prévoit de rendre la bibliothèque open source plus tard cette année afin que d’autres entreprises puissent l’utiliser pour créer des technologies accessibles, comme des agents d’IA et des outils de visioconférence.
Nvidia affirme que les outils d’IA conçus à partir de données en ASL sont nettement moins nombreux que ceux développés à partir de données en anglais et en espagnol, alors que ces langues constituent les trois langues les plus parlées aux États-Unis. Néanmoins, en novembre, Mozilla a publié des données vocales d’entraînement gratuites et de haute qualité dans 180 langues, créant l’un des plus grands jeux de données vocaux ouverts pour l’IA et contribuant à améliorer l’inclusivité des outils d’IA.