Google a ajouté un outil natif d’« utilisation de l’ordinateur » directement dans Gemini 3.5 Flash, permettant au modèle de voir les interfaces graphiques et d’interagir avec elles dans les navigateurs, les applications mobiles et les logiciels de bureau.
Auparavant, cette fonctionnalité résidait dans un système expérimental distinct basé sur Gemini 2.5 Computer Use. Elle est désormais intégrée directement à Flash : les développeurs n’ont donc plus besoin d’un modèle distinct pour créer des agents capables de cliquer, saisir du texte, faire défiler des pages et naviguer dans les applications.
Selon Google, cette intégration permet aux développeurs de « créer des agents personnalisés capables de voir, de raisonner et d’agir dans des environnements de navigateur, mobiles et de bureau », en réunissant compréhension visuelle et action au sein d’un même flux de travail.
Du modèle conversationnel à l’agent actif
Cette mise à niveau fait passer Gemini 3.5 Flash du raisonnement fondé sur le texte et des appels de fonctions traditionnels à ce que Google décrit comme une interaction informatique pleinement agentique. Les développeurs peuvent désormais créer des systèmes capables d’interpréter des captures d’écran, de comprendre les interfaces utilisateur et d’exécuter des tâches en plusieurs étapes, comme remplir des formulaires, lancer des flux de travail ou naviguer dans des tableaux de bord d’entreprise.
Les observateurs du secteur soulignent que cela élimine de fait un obstacle de longue date à l’automatisation par l’IA : la nécessité de créer des API personnalisées pour chaque application. Au lieu de cela, le modèle peut interagir directement avec les logiciels de la même manière qu’un utilisateur humain.
Google a communiqué un score de 78,4 % au test de contrôle des interfaces utilisateur OSWorld-Verified pour cette nouvelle intégration. À titre de comparaison, le modèle Gemini 2.5 autonome précédent a obtenu environ 70 % sur un autre benchmark appelé Online-Mind2Web. Gemini 2.5 model scored roughly 70% on a separate benchmark called Online-Mind2Web.
L’architecture de sécurité et les compromis pour les entreprises
Donner à un modèle d’IA carte blanche pour cliquer dans un système d’exploitation en fonctionnement introduit d’immenses risques de sécurité. Si un agent autonome arrive sur un site web malveillant ou ouvre un e-mail contenant des instructions cachées, il peut facilement être victime d’une injection indirecte de prompt.
Pour y remédier, Google adopte ce qu’il appelle une approche de « défense en profondeur ». L’entreprise a eu recours à un entraînement contradictoire ciblé pour renforcer Gemini 3.5 Flash contre ces types précis d’exploits visuels. Elle propose en outre deux mécanismes de protection facultatifs pour les entreprises, à activer volontairement :
- Confirmation explicite de l’utilisateur : nécessite qu’un humain clique manuellement sur une approbation avant que l’agent puisse exécuter une action à haut risque ou irréversible.
- Arrêt automatique de la tâche : Fige immédiatement le flux de travail de l’agent lorsqu’une attaque par injection de prompt est détectée.
Le principal problème est que ces fonctionnalités sont entièrement facultatives et désactivées par défaut. Google reconnaît qu’aucune mesure de protection n’est infaillible, livrant un avertissement d’entreprise remarquablement franc : cette technologie reste trop imprévisible pour être laissée entièrement à elle-même.
Analyse : au-delà du battage médiatique
Bien que les benchmarks techniques semblent impressionnants sur le papier, les entreprises doivent aller au-delà des promesses marketing avant de refondre leurs flux de travail.
La décision d’intégrer cette fonctionnalité à Gemini 3.5 Flash plutôt qu’à un modèle phare plus lourd relève d’un choix économique délibéré de Google. Flash fonctionne selon un modèle tarifaire à l’usage et figure parmi les options les moins chères du portefeuille de Google. Cela réduit considérablement le coût d’entrée pour les entreprises qui souhaitent déployer une automatisation à grande échelle.
Cependant, l’utilité réelle des agents d’IA visuels reste limitée par des contraintes pratiques. Les modèles d’IA fonctionnant via une boucle capture d’écran-action sont réputés fragiles. S’ils excellent dans des scénarios hautement prévisibles, comme les tests logiciels continus et répétitifs ou l’extraction standard de données à partir de tableaux de bord d’entreprise, ils trébuchent souvent face à des fenêtres pop-up inattendues, des CAPTCHA ou des mises en page dynamiques de sites web qu’ils n’ont encore jamais rencontrées.
De plus, l’écosystème d’entreprise est déjà extrêmement concurrentiel. Anthropic's Claude Computer Use a ouvert la voie dans ce domaine grâce à une polyvalence accrue au niveau du système, et OpenAI se livre à une concurrence agressive sur des fonctionnalités similaires.
Pour les entreprises qui cherchent à choisir un écosystème, le facteur décisif ne sera pas de savoir quelle IA peut cliquer le plus rapidement sur un bouton, mais quelle plateforme peut exécuter ces actions de manière fiable sans créer une brèche béante dans la cybersécurité de l’entreprise.
Si une entreprise déploie ces agents sans cloisonnement strict ni supervision humaine, les économies permises par l’automatisation pourraient rapidement être anéanties par une seule erreur de sécurité automatisée.
À lire aussi : les utilisateurs qui souhaitent recevoir moins d’invites d’IA pendant la rédaction peuvent désactiver Gemini dans Google Docs en modifiant les paramètres des fonctionnalités intelligentes de la barre inférieure et de Workspace.