Les robots ont appris à marcher, à faire des gestes et à parler, mais leurs visages ont toujours accusé un retard. Désormais, un nouveau robot a franchi une étape majeure au-delà des expressions rigides et artificielles en apprenant à synchroniser ses mouvements de lèvres avec la parole.
Cette avancée s’attaque à l’un des problèmes les plus tenaces de la robotique humanoïde : produire des mouvements du visage convaincants au cours d’une véritable conversation, et pas seulement dans des démonstrations. Les chercheurs affirment que même de modestes progrès dans le réalisme des lèvres peuvent radicalement changer la manière dont les gens perçoivent un robot et réagissent à sa présence.
Franchir la « vallée de l’étrange »
Malgré les avancées de la robotique humanoïde, les mouvements réalistes du visage, en particulier autour de la bouche, restent difficiles à obtenir. La plupart des robots s’appuient encore sur des mouvements faciaux prédéfinis associés à l’audio, une approche qui, selon les chercheurs de Columbia Engineering, produit souvent une parole techniquement correcte, mais qui sonne faux dans une interaction en personne.
« Nous pouvons pardonner une démarche amusante ou un mouvement de main maladroit, mais nous ne tolérons pas la moindre erreur d’expression faciale », a déclaré Hod Lipson, directeur du Creative Machines Lab de Columbia. Il a décrit cette exigence sans concession comme la « vallée de l’étrange », ce point où les robots presque humains commencent à sembler dépourvus de vie ou inquiétants aux yeux des gens.
Selon les chercheurs de Columbia Engineering, le robot, appelé EMO, n’a pas été programmé avec des règles faciales rigides ; il a plutôt appris les mouvements des lèvres en observant. D’abord en étudiant son propre reflet, puis en observant les humains parler et chanter, ce qui lui permet d’imiter des mouvements de lèvres réalistes en temps réel.
De la parole au chant
Lors des démonstrations, la bouche du robot suivait le rythme de la parole plutôt que de la retarder ou de passer brusquement d’une forme fixe à l’autre. À mesure que les mots étaient prononcés, ses lèvres formaient des voyelles arrondies, des fermetures nettes et des transitions subtiles qui suivaient de près le rythme de la parole, donnant une impression de mouvement intentionnel plutôt que mécanique.
Cette réactivité se retrouvait dans différentes langues et différents styles vocaux. Le robot a été montré en train de synchroniser ses lèvres avec des phrases prononcées dans plusieurs langues, en adaptant la forme de sa bouche à des sons inconnus sans nécessiter de réglage propre à chaque langue. Les chercheurs ont précisé qu’il y parvient sans comprendre les mots eux-mêmes, en réagissant uniquement à ce qu’il entend.
L’effet était particulièrement perceptible lorsque le robot chantait. Lors d’un test, il a interprété une chanson générée par IA tirée de son premier album, intitulée « hello world », en suivant les variations de hauteur et de tempo tout en conservant des mouvements de lèvres continus et expressifs.
La pièce manquante des robots conçus pour interagir avec les humains
Pour l’équipe de Columbia, des mouvements de lèvres réalistes sont indispensables aux robots appelés à évoluer aux côtés des humains.
« Une grande partie de la robotique humanoïde actuelle se concentre sur les mouvements des jambes et des mains, pour des activités comme marcher et saisir des objets, a déclaré Lipson. Mais l’expression faciale est tout aussi importante pour toute application robotique impliquant une interaction humaine. » Il a cité des domaines comme l’éducation, la santé et l’aide aux personnes âgées, où les gens s’appuient naturellement sur les signaux du visage au cours d’une conversation.
L’équipe a déclaré que les visages expressifs constituaient un canal manquant dans la communication entre humains et robots, car ils véhiculent l’émotion, l’intention et le rythme en parallèle de la parole. Sans eux, même les robots avancés peuvent sembler distants ou mécaniques.
Pour les robots conçus pour travailler en étroite collaboration avec les humains, les chercheurs ont souligné que les mouvements du visage sont aussi essentiels à l’interaction que les mouvements du corps ou la parole.
Une start-up de robotique soutenue par SoftBank vient de lever 1,4 milliard de dollars pour construire un « cerveau » partagé d’IA pour les machines.