Google a mis à jour Gemini pour macOS avec la dictée vocale à l’échelle du système et des commandes contextuelles à l’écran, permettant aux utilisateurs d’appeler l’assistant IA dans toutes les applications sans quitter leur flux de travail.
Maintenir la touche Fn active le mode vocal de Gemini à l’échelle du système, permettant aux utilisateurs de dicter du texte dans pratiquement n’importe quel champ. Google affirme que Gemini peut supprimer automatiquement les mots de remplissage, reconnaître les corrections dictées et produire un texte plus propre que les outils classiques de reconnaissance vocale.
Cette fonctionnalité est déployée dans le monde entier pour les utilisateurs de Gemini sur macOS en anglais, d’autres langues étant prévues ultérieurement.
Gemini peut désormais comprendre ce qui s’affiche à l’écran
La mise à jour introduit également un mode de raisonnement contextuel à l’écran, facultatif, qui étend les possibilités de Gemini au-delà de la simple dictée.
Après avoir activé la fonctionnalité dans les réglages, les utilisateurs peuvent permettre à Gemini de comprendre le contenu sélectionné, les fichiers, les images et les documents affichés à l’écran de leur Mac. Ils peuvent ainsi utiliser des commandes vocales pour réécrire du texte, résumer des informations ou créer du contenu directement dans l’application qu’ils utilisent déjà.
Cette fonctionnalité vise à réduire les frictions liées au transfert d’informations entre les applications. Au lieu de copier du texte dans un chatbot, de demander des modifications, puis de recoller le résultat, Gemini peut placer le résultat directement à l’endroit où l’utilisateur en a besoin.
La mise à jour montre la volonté plus large de Google de faire de Gemini moins un chatbot distinct qu’un assistant intégré aux flux de travail informatiques du quotidien.
Cette évolution rapproche Gemini de la direction prise par Apple avec Apple Intelligence, où les fonctionnalités d’IA sont de plus en plus liées à l’écriture, à la productivité et aux actions au niveau du système. L’approche de Google repose largement sur les raccourcis clavier et l’interaction vocale, offrant aux utilisateurs un moyen cohérent d’appeler l’aide de l’IA pendant qu’ils travaillent.
La confidentialité et la précision restent des compromis importants
Comme pour les assistants IA similaires, ces nouvelles fonctionnalités nécessitent l’autorisation d’accéder au contenu affiché à l’écran, ce qui soulève des questions de confidentialité pour les utilisateurs qui travaillent avec des informations sensibles. Les utilisateurs doivent également vérifier les résumés générés par l’IA et les réécritures avant de s’y fier pour leurs communications professionnelles ou avec leurs clients.
La mise à jour poursuit les efforts de Google pour faire de Gemini un assistant de productivité intégré à toute l’expérience sur ordinateur plutôt qu’un chatbot autonome.
Autre actualité : Google a récemment étendu Gemini dans Chrome aux utilisateurs sur ordinateur au Royaume-Uni