Sand, loser Schotter, nasses Gras und steile Hänge können die Grenzen des Gleichgewichts eines humanoiden Roboters schnell offenlegen.
Forschende des Georgia Institute of Technology haben ein Machine-Learning-Framework namens „Learn to Teach“ entwickelt, das einen zweibeinigen Roboter darauf trainierte, sich mit einem einzigen Controller in unterschiedlichem Außengelände und auf rutschigen Oberflächen im Innenbereich zurechtzufinden. Die auf der IEEE International Conference on Robotics and Automation vorgestellte Methode trainiert zwei Reinforcement-Learning-Modelle gleichzeitig, anstatt zu warten, bis eines fertig ist, bevor das andere beginnt.
Der Durchbruch optimiert eine als Teacher-Student-Learning bekannte Reinforcement-Learning-Methode. Üblicherweise trainieren Forschende einen simulierten „Lehrer“-Agenten mit vollständigeren Informationen über die Umgebung und verwenden dieses ausgereifte Modell dann, um einen „Schüler“-Algorithmus für den physischen Roboter.
Feiyang Wu, ein Doktorand im Bereich Machine Learning, der die Forschung leitete, identifizierte erhebliche Ineffizienzen in dieser Vorgehensweise. „Dieser Ansatz hat zwei Probleme“, sagte Wu. „Es dauert zu lange, sie nacheinander zu trainieren. Außerdem verschwendet man viele Informationen, die der Lehrer gesammelt hat.“
Da diese Simulationen auf teuren GPU-Chips laufen, führt die längere Rechenzeit direkt zu hohen Entwicklungskosten. Das Team von Georgia Tech umging dieses Problem, indem es Lehrer- und Schülermodelle gleichzeitig trainierte.
„Man muss nicht warten, bis der Lehrer ein Experte ist, bevor er beginnt, den Schüler zu unterrichten“, sagte Wu. „Der Lehrer kann dem Schüler nach und nach beibringen, was er auf dem Weg gelernt hat.“
Außerdem ließ das Team den Lehrer aus den Fehlern des Schülers lernen. Damit nahm es die „Imitationslücke zwischen Lehrer und Schüler“ ins Visier, die entsteht, wenn der physische Roboter schlechter abschneidet, weil ihm die umfangreicheren Umgebungsdaten fehlen, die dem simulierten Lehrer zur Verfügung stehen.
Der in der Arbeitsgruppe von Associate Professor Ye Zhao auf einem physischen humanoiden Roboter eingesetzte Controller übertraf die Erwartungen. Er ermöglichte es dem Roboter sogar, seinen Gang anzupassen und aufrecht zu bleiben, wenn Forschende ihn körperlich stießen und zogen. Laut Zhao übertraf das System die Standardsoftware, die der Hersteller des Roboters bereitstellte.
Das Labor demokratisieren
Dieses Framework markiert eine Abkehr von brachialer Rechenleistung hin zu algorithmischer Effizienz. Historisch hatte die Robotikbranche mit hohen Zugangshürden zu kämpfen; nur Technologiekonzerne konnten sich die gewaltigen GPU-Cluster leisten, die zum Trainieren schwerer Maschinen erforderlich waren.
Indem Georgia Tech demonstriert, dass gleichzeitiges Training mit einem Bruchteil der Rechenleistung ein besseres Gleichgewicht auf nicht modelliertem Gelände erzielt, schafft die Universität gleiche Wettbewerbsbedingungen für kleinere Start-ups und akademische Labore.
Da das „Learn to Teach“-Framework zudem universell einsetzbar ist, reichen seine geschäftlichen Auswirkungen weit über das Gehen hinaus. Es kann auf Roboterarme in Fertigungsanlagen oder automatisierte Drohnen in Lagerhäusern angewendet werden und so die Markteinführungszeit für spezialisierte Automatisierung drastisch verkürzen.
Blinde Flecken in der realen Welt
Trotz der auf dem Campusgelände gezeigten Agilität steht einer kommerziellen Einführung kurzfristig einiges im Weg. Die Forschenden haben keine exakten Benchmarks veröffentlicht, sodass die tatsächlichen Einsparungen bei den Rechenkosten in Dollar und Cent eher eine grobe Einschätzung als verifiziert sind.
Zudem birgt der Einsatz in der realen Welt hohe Haftungsrisiken, auch wenn der Roboter mit unebenem Campusgelände zurechtkam. Industrielle Umgebungen erfordern Sicherheitszertifizierungen, die statistische Machine-Learning-Modelle nur schwer garantieren können. Da die Entscheidungsfindung eines neuronalen Netzes unvorhersehbar sein kann, wenn es auf ein Hindernis trifft, das es tatsächlich noch nie gesehen hat, könnten Unternehmen zögern, diese anpassungsfähigen Controller in der Nähe menschlicher Arbeitskräfte einzusetzen, bis die Testprotokolle weitgehend standardisiert sind.
Verwandte Meldung: NVIDIA arbeitet mit Japans größten Robotik- und Fertigungsunternehmen zusammen, um KI-gestützte „physische KI“ in Fabriken zu bringen.