Das neue KI-System Dreamer, das vom DeepMind-Team von Google entwickelt wurde, hat erfolgreich gelernt, in Minecraft Diamanten abzubauen – ohne direkte Anweisungen dazu, wie das Spiel gespielt wird. Der Abbau von Diamanten ist eine anspruchsvolle Aufgabe mit mehreren Phasen, die das KI-Modell durch ein als bestärkendes Lernen bekanntes Trial-and-Error-Verfahren gemeistert hat. Der Entwickler bezeichnet dies als einen bedeutenden Durchbruch auf dem Weg zu KI-Systemen, die Wissen von einem Bereich auf einen anderen übertragen können.
Warum ein KI-Modell mit Minecraft trainieren?
In Minecraft erkunden Spieler eine virtuelle 3D-Welt, die viele verschiedene Umgebungen umfasst, etwa Wüsten, Sümpfe, Berge und Wälder. Sie sammeln Ressourcen aus den verschiedenen Welten und verwandeln sie anschließend in Gegenstände wie Truhen und Schwerter. Außerdem sammeln sie Items, wobei Diamanten zu den begehrtesten Besitztümern im Spiel gehören.
Jedes Mal, wenn jemand Minecraft spielt, erzeugt das Spiel zufällig eine neue Welt, sodass kein Spieldurchlauf exakt dem anderen gleicht. Das macht das Spiel zu einer guten Wahl, wenn Forschende ein System darauf trainieren wollen, ein KI-System zu trainierenWissen auf verschiedene Szenarien zu verallgemeinern.
Diamanten abzubauen, ist für eine KI eine „sehr schwierige Aufgabe“
Mehrere KI-Forschende haben sich speziell auf die Suche nach Diamanten in Minecraft konzentriert, weil es sich um einen komplexen Prozess mit mehreren Schritten handelt. Zunächst müssen Spieler Ressourcen sammeln, um die erforderlichen Werkzeuge wie eine Spitzhacke und einen Werktisch herzustellen. Anschließend müssen sie tief genug graben und dann durch Tunnel nach Diamanten suchen. Außerdem müssen sie Hindernissen ausweichen, etwa der Gefahr, von Lava verbrannt zu werden oder in Höhlen zu stürzen.
Diamanten zu sammeln, ist für künstliche Intelligenz laut Jeff Clune, einem Informatiker an der University of British Columbia in Vancouver, Kanada, eine „sehr schwierige Aufgabe“. „Es besteht kein Zweifel, dass dieses [KI-System Dreamer] einen großen Fortschritt für das Fachgebiet darstellt“, sagte Clune gegenüber der wissenschaftlichen Fachzeitschrift Nature.
Das Dreamer-System erzielt mithilfe bestärkenden Lernens Ergebnisse
Das Dreamer-Team verwendete ein Trial-and-Error-Verfahren des maschinellen Lernensnamens „bestärkendes Lernen“. Das KI-Modell erkundet das Spiel selbstständig und ermittelt, welche Aktionen mit größerer Wahrscheinlichkeit zu Belohnungen im Spiel führen, etwa zum Abbau von Diamanten. Anschließend wiederholt das Modell diese Aktionen und vermeidet andere, bei denen Belohnungen weniger wahrscheinlich sind.
Die Forschenden setzten das Spiel alle halbe Stunde zurück, damit das Dreamer-System nicht zu stark auf eine bestimmte Umgebung konditioniert wurde. Das Modell benötigt etwa neun Tage ununterbrochenes Spielen, um einen Diamanten zu finden. Auch wenn dies exponentiell mehr Zeit ist als bei einem menschlichen Spieler (Experten finden einen Diamanten in der Regel in 20–30 Minuten), sagen die Forschenden, dass dies dennoch einen großen Fortschritt für KI-Modelle.
„Das ist ein notorisch schwieriges Problem, und die Ergebnisse sind fantastisch“, sagte Keyon Vafa, ein Informatiker an der Harvard University in Boston, Massachusetts.