Google hat Gemini 3.5 Flash direkt um ein natives „Computer-Use“-Tool erweitert, mit dem das Modell grafische Benutzeroberflächen in Browsern, mobilen Apps und Desktopsoftware sehen und bedienen kann.
Bisher war diese Fähigkeit in einem separaten experimentellen System auf Basis von Gemini 2.5 Computer Use untergebracht. Nun ist sie direkt in Flash integriert. Entwickler benötigen damit kein separates Modell mehr, um Agenten zu erstellen, die in Apps klicken, Text eingeben, scrollen und navigieren können.
Google zufolge, ermöglicht die Integration Entwicklern, „individuelle Agenten zu erstellen, die Browser-, Mobil- und Desktopumgebungen sehen, verstehen und in ihnen handeln können“, wodurch visuelles Verständnis und Aktionen in einem einzigen Workflow zusammengeführt werden.
Vom Chatmodell zum aktiven Agenten
Das Upgrade bringt Gemini 3.5 Flash über textbasierte Schlussfolgerungen und herkömmliche Funktionsaufrufe hinaus – hin zu dem, was Google als vollständige agentische Computerinteraktion bezeichnet. Entwickler können nun Systeme erstellen, die Screenshots interpretieren, Benutzeroberflächen verstehen und mehrstufige Aufgaben ausführen, etwa Formulare ausfüllen, Workflows abarbeiten oder Unternehmens-Dashboards bedienen.
Branchenbeobachter weisen darauf hin, dass damit eine langjährige Hürde der KI-Automatisierung praktisch entfällt: die Notwendigkeit individueller APIs für jede Anwendung. Stattdessen kann das Modell direkt mit Software interagieren – genauso wie ein menschlicher Nutzer.
Google meldete für die neue Integration eine auf OSWorld-Verified ermittelte Punktzahl von 78,4 % bei der UI-Steuerung. Zum Vergleich: Das frühere eigenständige Gemini 2.5-Modell erzielte in einem separaten Benchmark namens Online-Mind2Web rund 70 %.
Die Sicherheitsarchitektur und die Kompromisse für Unternehmen
Einem KI-Modell uneingeschränkte Freigaben zu geben, damit es in einem laufenden Betriebssystem herumklicken kann, bringt enorme Sicherheitsrisiken mit sich. Wenn sich ein autonomer Agent auf eine bösartige Website verirrt oder eine E-Mail mit versteckten Anweisungen öffnet, kann er leicht einem indirekten Prompt-Injection-Angriff zum Opfer fallen.
Um dem entgegenzuwirken, verfolgt Google einen Ansatz, den das Unternehmen als „Defense in Depth“ bezeichnet. Google setzte gezieltes adversariales Training ein, um Gemini 3.5 Flash gegen genau diese Arten visueller Exploits zu wappnen. Zusätzlich bietet das Unternehmen zwei optionale, von Unternehmen ausdrücklich aktivierbare Schutzmaßnahmen an:
- Ausdrückliche Nutzerbestätigung: Erfordert, dass ein Mensch manuell seine Zustimmung erteilt, bevor der Agent eine risikoreiche oder irreversible Aktion ausführen kann.
- Automatisches Beenden von Aufgaben: Friert den Workflow des Agenten sofort ein, sobald ein indirekter Prompt-Injection-Angriff erkannt wird.
Der entscheidende Haken ist, dass diese Funktionen vollständig optional und standardmäßig nicht aktiviert sind. Google räumt ein, dass keine einzelne Schutzmaßnahme narrensicher ist – eine bemerkenswert offene Unternehmenswarnung, die signalisiert, dass die Technologie noch zu unberechenbar ist, um sie vollständig sich selbst zu überlassen.
Analyse: Jenseits des Hypes
Auch wenn die technischen Benchmarks auf dem Papier beeindruckend wirken, sollten Unternehmenskunden vor einer Umstellung ihrer Workflows über Marketingversprechen hinausblicken.
Die Entscheidung, diese Fähigkeit in Gemini 3.5 Flash statt in ein schwergewichtiges Spitzenmodell zu integrieren, ist ein bewusst gesetzter wirtschaftlicher Schachzug von Google. Flash basiert auf einem Pay-as-you-go-Preismodell und gehört zu den günstigsten Optionen in Googles Portfolio. Dadurch sinkt die Kostenschwelle für Unternehmen, die groß angelegte Automatisierung einsetzen möchten, deutlich.
Der praktische Nutzen visueller KI-Agenten bleibt jedoch durch praktische Einschränkungen begrenzt. KI-Modelle, die über eine Screenshot-Aktions-Schleife arbeiten, sind notorisch störanfällig. Zwar glänzen sie in stark vorhersehbaren Szenarien wie kontinuierlichen, sich wiederholenden Softwaretests oder der standardisierten Datenextraktion aus Unternehmens-Dashboards, doch bei unerwarteten Pop-up-Fenstern, CAPTCHAs oder dynamischen Website-Layouts, denen sie zuvor noch nicht begegnet sind, stoßen sie häufig an ihre Grenzen.
Darüber hinaus ist das Unternehmensökosystem bereits hart umkämpft. Anthropic's Claude Computer Use hat diesen Bereich mit größerer Vielseitigkeit auf Systemebene vorangetrieben, und OpenAI konkurriert aggressiv mit ähnlichen Funktionen.
Für Unternehmen, die sich für ein Ökosystem entscheiden müssen, wird nicht ausschlaggebend sein, welche KI am schnellsten auf eine Schaltfläche klicken kann, sondern welche Plattform diese Aktionen zuverlässig ausführt, ohne ein klaffendes Loch in der Cybersicherheit des Unternehmens zu hinterlassen.
Wenn ein Unternehmen diese Agenten ohne strikte Sandboxes und menschliche Kontrolle einsetzt, könnten die Kosteneinsparungen durch die Automatisierung durch einen einzigen automatisierten Sicherheitsfehler schnell zunichtegemacht werden.
Außerdem lesenswert: Nutzer, die beim Schreiben weniger KI-Eingabeaufforderungen wünschen, können Gemini in Google Docs deaktivieren , indem sie die Einstellungen für intelligente Funktionen in der unteren Leiste und in Workspace ändern.