Roboter könnten dank eines MIT-Systems schon bald eine zweite Chance bekommen, sich korrekt an Dinge zu erinnern. Das System hilft Maschinen, fehlerhafte Erinnerungen zu erkennen und sie anhand neuer visueller Belege umzuschreiben.
Forscher am Massachusetts Institute of Technology (MIT) haben ein System der künstlichen Intelligenz namens UQ-DAAAM entwickelt, das Robotern ermöglicht, unzuverlässige Beschreibungen von Objekten in ihrer Umgebung zu erkennen und durch genauere Informationen zu ersetzen.
MIT veranschaulichte das Problem anhand eines medizinischen Notfalls: Ein Roboter, der einen an der Wand montierten Defibrillator holen soll, könnte scheitern, wenn er das Gerät zuvor fälschlicherweise für einen Feuerlöscher gehalten hat. Indem Roboter gespeicherte Informationen hinterfragen und aktualisieren können, hoffen die Forscher, autonome Systeme zuverlässiger zu machen, während diese zunehmend komplexere Aufgaben übernehmen.
Warum Roboter eine Möglichkeit brauchen, fehlerhafte Erinnerungen zu korrigieren
Das System begegnet einem Problem, das zunehmend wichtiger werden könnte, je mehr Roboter in Haushalten, Krankenhäusern und Industrieanlagen komplexere Aufgaben übernehmen: Eine Maschine kann bei der Identifizierung eines Objekts einen Fehler machen und sich noch lange nach ihrer ersten Beobachtung auf diese falsche Information verlassen.
MIT veranschaulichte das Risiko anhand eines medizinischen Notfalls. Ein Roboter, der einen an der Wand montierten Defibrillator holen soll, könnte scheitern, wenn er das Gerät zuvor fälschlicherweise als Feuerlöscher identifiziert hat. UQ-DAAAM, kurz für Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment, soll verhindern, dass solche Fehler dauerhaft werden.
Die Forschungsarbeit baut auf dem früheren DAAAM-Framework von MIT auf, das Vision-Sprachmodelle (VLMs) verwendet, um Beschreibungen von Objekten zu erzeugen, die von den Kameras eines Roboters erfasst werden. Diese Beschreibungen werden für spätere Referenzzwecke in einer dreidimensionalen Karte der Umgebung gespeichert.
Entfernte Objekte, schlechte Lichtverhältnisse und teilweise verdeckte Kamerasichten können jedoch dazu führen, dass das System ungenaue Beschreibungen erzeugt. Ohne einen Korrekturmechanismus können diese Fehler nachfolgende Entscheidungen beeinflussen.
Wie das System fehlerhafte Erinnerungen umschreibt
UQ-DAAAM kombiniert die Messung von Unsicherheit mit Beobachtungen, die aus unterschiedlichen Perspektiven aufgenommen wurden.
Während sich ein Roboter bewegt, nehmen seine Kameras Bilder seiner Umgebung auf. Das System bewertet das Vertrauen in die Beschreibungen des VLM und vergleicht sie mit Bildunterschriften, die aus anderen Aufnahmen desselben Objekts erzeugt wurden. Diese Messwerte werden zu einem Unsicherheitswert zusammengeführt.
Überschreitet der Wert einen zuvor festgelegten Schwellenwert, wählt das System zusätzliche Bilder aus, die dabei helfen könnten, festzustellen, um was es sich bei dem Objekt tatsächlich handelt.
Anstatt das Vision-Sprachmodell wiederholt auf jedes Bild anzuwenden, entwickelten die Forscher eine mathematische Methode, um zu ermitteln, welche Kameraperspektiven am nützlichsten sind, um die Unsicherheit aufzulösen. Dadurch wird die erforderliche Rechenleistung reduziert, während sich der Roboter durch seine Umgebung bewegt.
Ein großes Sprachmodell (LLM) führt anschließend die ausgewählten Beschreibungen zu einem überarbeiteten Erinnerungseintrag zusammen und gewichtet neuere und weniger mehrdeutige Beobachtungen stärker.
Luca Carlone, außerordentlicher Professor am MIT und leitender Autor der Forschungsarbeit, sagte: „Damit diese Technologie sicher eingesetzt werden kann und einen positiven Einfluss auf die Gesellschaft hat, wird es entscheidend sein, dass ein Roboter weiß, was er nicht weiß.“
Frühe Tests zeigen messbare Verbesserungen
In den von MIT gemeldeten Experimenten löste das System bei etwa 92 % der Objekte in der Umgebung des Roboters Mehrdeutigkeiten auf und benötigte dafür nur zwei zusätzliche Bildunterschriften pro Objekt.
Außerdem verbesserte es die Genauigkeit der Objektbeschreibungen gegenüber bestehenden Methoden nach dem neuesten Stand der Technik um 5 %. Die Forscher stellten fest, dass Roboter mit diesem System genauere Antworten zu Objekten gaben, denen sie begegnet waren, dazu, wo sie diese gesehen hatten und wann sie sie zuletzt beobachtet hatten.
Die Ergebnisse werden auf der Conference on Neural Information Processing Systems (NeurIPS) vorgestellt. Zum Forschungsteam gehören Carlone sowie die MIT-Doktoranden Harry Zhang und Nicolas Gorlo. Die Arbeit wurde teilweise vom US Army Research Laboratory und dem US Office of Naval Research unterstützt.
Was eWEEK herausgefunden hat: Bessere Erinnerungen bedeuten nicht automatisch sicherere Roboter
Die wichtigere Entwicklung besteht hier nicht einfach darin, dass Roboter falsche Objektbezeichnungen korrigieren können. Vielmehr geht es darum, dass MIT eine Schwachstelle darin angeht, wie physische KI-Systeme Informationen im Laufe der Zeit nutzen.
eWEEK stellte fest, dass die Fähigkeit, Fehler zu erkennen und zu korrigieren, zu einer entscheidenden Anforderung für Unternehmensroboter werden könnte – insbesondere wenn Unternehmen autonome Maschinen einsetzen, die sich in veränderlichen Umgebungen zurechtfinden und neben Menschen arbeiten müssen.
Ein Roboter, der ein Objekt einmal falsch identifiziert, kann diesen Fehler in mehrere nachfolgende Aufgaben übernehmen. In einer industriellen Umgebung könnte beispielsweise die Verwechslung zweier ähnlich aussehender Komponenten die Handhabung, Inspektion oder Montage von Geräten beeinträchtigen. In einem Krankenhaus könnte eine falsche Objektbeschreibung Probleme verursachen, wenn ein Roboter medizinische Ausrüstung holen soll.
UQ-DAAAM bietet eine Möglichkeit, eine frühere Beobachtung infrage zu stellen, statt gespeicherte Informationen als dauerhaft zuverlässig zu behandeln. Das könnte zu einer wichtigen Fähigkeit werden, wenn Unternehmen autonome Maschinen einsetzen, die sich in veränderlichen Umgebungen zurechtfinden und neben Menschen arbeiten müssen.
Die gemeldete Rate von 92 % bei der Auflösung von Mehrdeutigkeiten bedeutet jedoch nicht, dass das System 92 % aller Roboterfehler beseitigt. Sie misst, wie oft der Verfeinerungsprozess unter den Evaluierungsbedingungen der Forscher Mehrdeutigkeiten auflöste. Außerdem belegt sie nicht, dass jede korrigierte Erinnerung zu einer sicheren physischen Handlung führt.
Unternehmen, die physische KI-Systeme einsetzen, sollten daher über die Genauigkeit der Objekterkennung hinausblicken. Sie benötigen Belege dafür, dass diese Systeme fehlerhafte Korrekturen vermeiden, erkennen können, wenn weiterhin Unsicherheit besteht, und sichere Entscheidungen treffen, wenn ihre Beobachtungen widersprüchlich sind.
Unabhängige Tests in unbekannten Umgebungen werden besonders wichtig sein, bevor diese Fähigkeiten auf sicherheitskritische Aufgaben angewendet werden.
Die MIT-Forscher planen, UQ-DAAAM auf weitere Roboterplattformen, darunter mobile Manipulatoren, auszuweiten und zu untersuchen, ob Roboter unsichere Bereiche gezielt erneut aufsuchen können, um bessere Belege zu sammeln.
Die weiterreichende Erkenntnis ist, dass zuverlässige Roboter möglicherweise mehr als eine präzise Wahrnehmung benötigen. Sie müssen vielleicht auch erkennen können, wann ihrem bisherigen Verständnis der Welt nicht länger zu trauen ist.
Boston Dynamics hat Stretch Gen 2 vorgestellt, einen aufgerüsteten Lagerroboter, der bis zu 1.000 Kartons pro Stunde entladen kann, mit 81 % weniger interner Verkabelung und überarbeiteten Komponenten zur Verringerung wartungsbedingter Ausfallzeiten.