Du möchtest interaktive Videosimulationen auf Abruf erstellen? Oder ein einzelnes Foto in eine vollständig erkundbare 3D-Welt verwandeln? Zwei APIs machen jetzt beides möglich.
Zunächst hat Odyssey Odyssey-2 Pro, ein Weltmodell, auf den Markt gebracht, das interaktive Videos in Echtzeit mit 720p/22 fps streamt.
- Gib „ein lachendes Baby“ ein, und es erzeugt ein fortlaufendes Video, mit dem du interagieren kannst, während es läuft.
- Sende „ein Kätzchen erscheint“, und die Simulation wird sofort aktualisiert (du magst KI-Katzenmüll? Jetzt bekommen wir interaktiven Katzenmüll!).
- Das Modell sagt voraus, wie sich die Welt von Bild zu Bild entwickelt, und lernt Physik und Verhaltensweisen aus Videodaten.
- Derzeit läuft es einige Minuten; als Nächstes kommen Stunden und ganze Tage.
Zweitens hat World Labs wenige Tage zuvor ihre World API mit einem anderen Ansatz gestartet:
- Lade ein beliebiges Bild, Video oder einen Text-Prompt hoch und erhalte in etwa 5 Minuten eine navigierbare 3D-Umgebung.
- Ihr Modell (Marble) erzeugt vollständige Welten mit Layout, Tiefe und Beleuchtung, durch die du in einem Browser.
- laufen kannst. Du kannst diese Welten sogar als Gaussian Splats und Meshes exportieren.
Was wird mit dieser Technologie also möglich?
- Gaming: Escape.ai verwandelt 2D-Filme in erkundbare 3D-Räume. Sieh dir einen Film an und betritt ihn anschließend.
- Robotik: Erzeuge aus wenigen Bildern Tausende von Trainingsumgebungen, statt jede einzelne manuell zu erstellen. Bereits in NVIDIA Isaac Sim integriert.
- Architektur: Interior AI visualisiert Renovierungen sofort. xFigura verwandelt Skizzen in begehbare Räume für Kundenpräsentationen.
- Bildung: Medizinstudierende üben in generierten Operationssälen. Piloten trainieren in prozedural generierten Szenarien. Einsatzkräfte proben in simulierten Katastrophensituationen.
Beide APIs sind auf Experimente ausgelegt: Odyssey bietet SDKs für JavaScript und Python (iOS/Android folgen), während sich World Labs in gängige 3D-Pipelines integrieren lässt. Du kannst Odyssey-2 Pro hier kostenlos ausprobieren, oder – falls du selbst Entwickler bist – auf diese Links klicken und mit ihrer Entwickler-API oder der World Labs API.
loslegenWarum das wichtig ist: Odyssey bezeichnete dies als einen „GPT-2-Moment“ für Weltmodelle, und der Vergleich passt: Als APIs für Sprachmodelle auf den Markt kamen, sagte niemand den kometenhaften Aufstieg von ChatGPT voraus. Die Grenze ist wirklich nur die Vorstellungskraft ()
na ja, und die Rechenleistung … aber wenn der Ausbau der Rechenzentren ein Hinweis ist, wird sich auch das bald von selbst erledigen!Anmerkung der Redaktion: Dieser Beitrag erschien ursprünglich im Newsletter unserer Schwesterpublikation The Neuron. Mehr von The Neuron kannst du .