Vergesst skriptgesteuerte NPCs. Der aufgerüstete Agent SIMA 2 von Google DeepMind soll verstehen, was ihr wollt, sich selbstständig durch 3D-Welten bewegen und beim Spielen immer besser werden.
In einer Ankündigung erklärte der Tech-Konzern Google DeepMind, dass SIMA 2 nun Geminis Schlussfolgerungs-Engine mit der Fähigkeit verbindet, in komplexen virtuellen Umgebungen zu handeln. Damit wird das experimentelle System zu etwas, das einem fähigen Teamkollegen im Spiel deutlich näherkommt.
Was SIMA 2 jetzt tatsächlich kann
SIMA 2 kommt mit einem größeren Fähigkeitenumfang als das ursprüngliche Modell und erweitert, wie der Agent Anweisungen versteht, sich durch virtuelle Räume bewegt und sich an neue Situationen anpasst. Das kann das verbesserte System laut DeepMind heute.
Schlussfolgern
SIMA 2 ist mit Geminis Logik-Engine ausgestattet. Dadurch kann der Agent Ziele in einzelne Schritte zerlegen, seinen nächsten Zug planen und erklären, was er vorhat. Statt auf kleinschrittige Eingaben zu warten, kann er Anweisungen auf hoher Ebene interpretieren und in sich schnell verändernden virtuellen Umgebungen ausführen.
Verallgemeinerung
Das neue Modell bewältigt anspruchsvollere Anweisungen und funktioniert zuverlässig in Spielen, für die es nie trainiert wurde, darunter ASKA und MineDojo. Es kann Skizzen, mehrsprachige Eingaben, ja sogar Emojis verstehen und anschließend in einem Spiel erlernte Konzepte auf völlig andere Umgebungen übertragen. Zusammen mit Genie 3 kann es sich sogar intelligent durch spontan erzeugte 3D-Welten bewegen.
Selbstverbesserung
SIMA 2 kann selbstständig üben. Nachdem der Agent mit Demonstrationen von Menschen angelernt wurde, erstellt er neue Aufgaben, bewertet seine Versuche und lässt diese Erfahrungen wieder in das Training einfließen. DeepMind bezeichnet dies als einen Schritt hin zu Agenten, die sich kontinuierlich verbessern – und nicht durch manuelle Markierungen beim Spielen.
Die nächsten Schritte auf dem Weg zu verkörperter Intelligenz
Die Fähigkeiten, die SIMA 2 erlernt, etwa Navigation, der Einsatz von Werkzeugen und mehrstufiges Schlussfolgern, sind dieselben übergeordneten Fertigkeiten, die für Robotik in der realen Weltbenötigt werden. DeepMind zufolge trägt diese Forschungsrichtung dazu bei, den Grundstein für Systeme zu legen, die letztlich außerhalb des Bildschirms agieren können.
Verantwortung
Da SIMA 2 selbstständig trainieren kann, hält DeepMind den Zugang streng begrenzt. Google veröffentlicht das System als eingeschränkte Forschungsvorschau; nur ausgewählte Wissenschaftler und Entwickler werden eingeladen, die Fähigkeiten des Agenten zu testen, während die Sicherheitsvorkehrungen weiterentwickelt werden.
Die Live-Tests, die SIMA 2s Sprung bei der Intelligenz belegten
Die Forschenden von DeepMind untermauerten ihre Behauptungen mit Belegen auf dem Bildschirm und führten Reporter durch eine Reihe kontrollierter Tests, in denen SIMA 2s Schlussfolgerungsfähigkeiten zur Schau gestellt wurden.
SIMA 2, Googles neuer Spiele-Agent, zeigt, wie er in 3D-Welten spielt, schlussfolgert und lernt.
Bei einem nicht öffentlichen Test betrat SIMA 2 No Man’s Sky, erkundete ein felsiges Gelände, entdeckte ein Notsignal und bewegte sich darauf zu.
Das Team demonstrierte außerdem, wie SIMA 2 Anweisungen schlussfolgert. Als der Agent aufgefordert wurde, zu „dem Haus in der Farbe einer reifen Tomate“ zu gehen, legte er seine Überlegung dar – reife Tomaten sind rot, also muss das Haus rot sein – und bewegte sich anschließend auf das richtige Gebäude zu.
Die Forschenden stellten dieses Verhalten als echten Bruch mit dem Modell der ersten Generation dar.
In einer weiteren Demo interpretierte SIMA 2 Befehle in Form von Emojis – ein Beil und ein Baum – und führte die angedeutete Aktion aus: Es fällte einen Baum. Außerdem erkundete der Agent von Genie erzeugte fotorealistische Welten und erkannte beim Durchqueren der Szene Objekte wie Bänke, Bäume und sogar Schmetterlinge korrekt.
Ein frühes Gerüst für schlussfolgernde Roboter
DeepMind baut das kognitive Gerüst, auf dem künftige Maschinen nach Ansicht des Unternehmens stehen werden. Das Team erklärte, die Fähigkeit des Agenten, Ziele zu interpretieren, Schritte zu planen und diese Pläne in unvorhersehbaren Umgebungen umzusetzen, zeige die Art von Entscheidungsebene, die Systeme für die reale Welt künftig benötigen werden – den Teil, der versteht, was zu tun ist, bevor sich irgendetwas bewegt.
Die Forschenden betonten, dass diese Arbeit der Robotikhardwarevorgelagert ist und sich auf Urteilsvermögen, Kontext und Aufgabenverständnis statt auf Motoren oder Mechanik konzentriert. Es geht um die strategische, nicht um die physische Seite der Gleichung. DeepMind betrachtet diese Forschungsrichtung als Grundlage für Maschinen, die in unterschiedlichen Umgebungen mit einem klaren Zielbewusstsein agieren müssen.
Google bringt außerdem mit neuen KI-gestützten Shopping-Funktionen.