Mistral AI verlässt die Welt der Chatbots und tritt in die physische Welt ein.
Das französische KI-Unternehmen Mistral AI hat sein erstes Robotikmodell, Robostral Navigate, vorgestellt und bewegt sich damit über Sprachmodelle hinaus und tiefer in den Bereich der physischen KI. Das Modell mit 8 Milliarden Parametern soll Robotern helfen, mithilfe einer herkömmlichen RGB-Kamera und Anweisungen in natürlicher Sprache komplexe Umgebungen zu navigieren.
Statt sich auf LiDAR, Tiefensensoren oder mehrere Kameras zu stützen, nutzt Robostral Navigate die visuellen Informationen einer einzigen Kamera, um zu bestimmen, wohin sich ein Roboter als Nächstes bewegen soll.
Laut Mistral kann das Modell Anweisungen wie das Durchqueren eines Gebäudes, das Betreten eines bestimmten Raums und das Anhalten an einem bestimmten Ort ausführen, ohne dass ein menschlicher Bediener jeden Schritt vorgeben muss. Das Unternehmen will Robostral Navigate in der Fertigung, Logistik, Auslieferung, im Gastgewerbe und in anderen Bereichen einsetzen, in denen autonome Roboter immer häufiger zum Einsatz kommen.
Ein kleineres Modell mit ehrgeizigen Navigationszielen
Nach Angaben von Mistral erreichte Robostral Navigate beim R2R-CE-Validierungsbenchmark für ungesehene Umgebungen eine Erfolgsquote von 76,6 %. Der Benchmark prüft, ob ein Modell Navigationsanweisungen befolgen kann in simulierten Umgebungen, denen es während des Trainings nicht begegnet ist.
Das Unternehmen erklärte, diese Leistung liege 9,7 Prozentpunkte über dem besten Ansatz mit einer einzigen Kamera und 4,5 Punkte über Systemen, die zusätzliche Hardware wie Tiefensensoren oder mehrere Kameras verwenden. In Validierungsumgebungen, die das Modell bereits zuvor gesehen hatte, erreichte es außerdem eine Erfolgsquote von 79,4 %, laut Mistral.
Statt Bewegungen ausschließlich anhand herkömmlicher Distanzangaben zu berechnen, nutzt Robostral Navigate einen „Pointing“-Ansatz. Das Modell sagt die Position im Kamerabild des Roboters voraus, zu der er sich bewegen soll, sowie die Richtung, in die er bei seiner Ankunft blicken soll. Wenn sich ein Ziel außerhalb des Kamerabilds befindet, kann das System zu lokalen Bewegungsanweisungen wechseln.
Für unterschiedliche Roboter und Umgebungen entwickelt
Mistral zufolge wurde das Modell vollständig intern entwickelt und mithilfe von Simulationen trainiert, statt auf bereits existierende quelloffene Vision-Language-Modelle zurückzugreifen.
Das Unternehmen erstellte einen Trainingsdatensatz mit rund 400.000 Robotertrajektorien aus 6.000 simulierten Umgebungen. Außerdem führte es eine auf Prefix-Caching basierende Trainingstechnik ein, durch die sich die Zahl der Trainingstokens nach eigenen Angaben im Vergleich zur separaten Verarbeitung jedes Bewegungsschritts um den Faktor 22 reduzieren ließ.
Nach dem anfänglichen Training setzte Mistral Online-Verstärkungslernen über seinen CISPO-Algorithmus ein, um die Leistung zu verbessern. Nach Angaben des Unternehmens half dieser Prozess dem Modell, durch Versuch und Irrtum zu lernen, sich von Fehlern zu erholen und die Exploration zu verbessern, wodurch die Erfolgsquoten um 3,2 % stiegen.
Warum das für die Robotikbranche wichtig ist
Roboter waren traditionell auf teure Sensorsysteme und sorgfältig kontrollierte Umgebungen angewiesen. Ein Modell, das ausschließlich mit einer herkömmlichen Kamera navigieren kann, könnte die Hardwarekosten senken und den Einsatz für Unternehmen erleichtern, die ihre Automatisierung ausweiten wollen.
Die Navigation ist jedoch nur ein Teil beim Bau leistungsfähiger Roboter. Robostral Navigate konzentriert sich auf die Fortbewegung und befasst sich nicht mit Aufgaben wie dem Aufheben von Gegenständen, der Manipulation von Werkzeugen oder der Ausführung komplexer körperlicher Arbeiten. Der Erfolg des Modells in der realen Welt wird davon abhängen, wie zuverlässig es mit unvorhersehbaren Umgebungen, wechselnden Bedingungen und Sicherheitsanforderungen im Umgang mit Menschen zurechtkommt.
Weitere Nachrichten: Auch die chinesische Robotik macht mit den weltweit ersten menschengroßen, ultra-bionischen humanoiden Robotern erhebliche Fortschritte. Erfahren Sie mehr darüber, was diese Roboter leisten können.