Bevor Roboter deine Küche putzen können, müssen sie in einer solchen trainieren. Das Massachusetts Institute of Technology (MIT) hat gerade eine virtuelle Welt gebaut, in der sie üben können … ganz ohne zerbrochenes Geschirr.
Ein Team des Computer Science and Artificial Intelligence Laboratory (CSAIL) von MIT und des Toyota Research Institute hat eine neue KI-Methode namens „steerable scene generation“ entwickelt. Damit lassen sich schnell realistische 3D-Räume erstellen – etwa virtuelle Küchen und Wohnzimmer –, in denen Roboter sicher und in großem Maßstab trainieren können.
Im Zentrum des Systems steht eine Planungstechnik namens Monte Carlo Tree Search (MCTS) – dieselbe Strategie, die auch KI-Programme wie AlphaGo einsetzen, um zahlreiche Möglichkeiten abzuwägen, bevor sie die beste auswählen.
„Wir sind die Ersten, die MCTS auf die Szenengenerierung anwenden, indem wir die Aufgabe der Szenengenerierung als sequenziellen Entscheidungsprozess formulieren“, sagt Nicholas Pfaff, Doktorand am MIT und leitender Autor des Projekts. „Wir bauen fortlaufend auf Teilszenen auf, um mit der Zeit bessere oder gewünschtere Szenen zu erzeugen. Dadurch erstellt MCTS Szenen, die komplexer sind als das, worauf das Diffusionsmodell trainiert wurde.“
Roboter brauchen diese Komplexität. Während Chatbots aus Billionen von Wörtern lernen, sind Roboter auf realistische visuelle und physische Demonstrationen angewiesen – Daten, deren Erstellung von Hand langsam und teuer ist. Das neue System automatisiert diesen Prozess mithilfe eines generativen KI-Modells , das sich „steuern“ lässt, um detaillierte, physikalisch korrekte Szenen zu erstellen.
In einem Test konnte die KI mit diesem Ansatz einen virtuellen Restauranttisch mit 34 Gegenständen bestücken, darunter hohe Stapel mit Dim-Sum-Schalen – obwohl sie zuvor nur mit Szenen trainiert worden war, die durchschnittlich 17 Objekte enthielten.
Mehr als nur hübsche Bilder
Das System erstellt nicht nur Bilder, sondern versteht auch physikalische Zusammenhänge.
So stellt es beispielsweise sicher, dass eine Gabel nicht durch eine Schüssel schwebt oder eine Tasse fest auf einem Tisch steht. Nutzer können Befehle wie „eine Küche mit vier Äpfeln und einer Schüssel auf dem Tisch“ eingeben, und das Tool erweckt diese Szene mit beeindruckender Genauigkeit zum Leben – laut den Forschenden mit 98 % bei Vorratsszenen und 86 % bei unaufgeräumten Frühstückstischen, so die Forschenden.
Pfaff zufolge liegt der eigentliche Durchbruch in der Flexibilität des Tools.
„Eine zentrale Erkenntnis aus unseren Ergebnissen ist, dass die Szenen, mit denen wir das Modell vortrainiert haben, nicht exakt den Szenen ähneln müssen, die wir tatsächlich erzeugen möchten“, erklärte er. „Mithilfe unserer Steuerungsmethoden können wir diese breite Verteilung verlassen und aus einer ‚besseren‘ Verteilung Stichproben ziehen.“
Branchenexperten sehen großes Potenzial
Experten, die nicht an dem Projekt beteiligt waren, loben den Ansatz.
Jeremy Binagia, an applied scientist at Amazon Robotics, sagte gegenüber MIT News, die „steerable scene generation“ biete einen „besseren Ansatz“ für realistische Simulationen, da sie physikalische Genauigkeit und ein Bewusstsein für 3D-Räume gewährleiste – etwas, das den meisten früheren Modellen fehlte.
Rick Cory, ein roboticist at the Toyota Research Institute, fügte hinzu, dass das Framework „‚nie zuvor gesehene‘ Szenen“ erzeugen könne, die für das Training von Robotern wichtig seien, die sich an neue Situationen anpassen können.
Obwohl das Projekt noch ein Machbarkeitsnachweis ist, hofft das MIT-Team , noch weiter zu gehen. Geplant ist, mithilfe generativer KI völlig neue Objekte zu erfinden und dynamischere Umgebungen zu schaffen, einschließlich beweglicher Elemente wie Schränken, Gläsern und Schubladen.
Letztlich wollen sie ihre Technologie mit Bilddaten im Maßstab des Internets kombinieren und eine globale Plattform für das Robotertraining aufbauen, die die Vielfalt des echten Lebens nachahmt.
Wie Google die Intelligenz von Robotern voranbringt, erfährst du in unserem Artikel darüber, wie Gemini 1.5 das Spiel verändert.