YOLO lizenzieren
Zurück zum Ultralytics-Glossar

World Model

Ein Weltmodell ist ein KI-System, das lernt, wie sich seine Umgebung entwickelt und wie Handlungen sie verändern. So können Agenten mögliche Folgen gedanklich durchspielen und planen, bevor sie handeln.

Ein Weltmodell ist ein gelerntes Modell dafür, wie sich eine Umgebung im Laufe der Zeit und als Reaktion auf Handlungen verändert. Ausgehend vom aktuellen Zustand oder einer Folge von Beobachtungen und einer Handlung sagt es voraus, was als Nächstes geschieht: die nächste Beobachtung, ein kompakter interner Zustand, eine Belohnung oder eine Folge zukünftiger Schritte. Ein Agent mit Weltmodell kann sich die Folgen von Handlungen vor ihrer Ausführung vorstellen, durch den Vergleich vorgestellter Zukunftsszenarien planen und aus simulierten Erfahrungen lernen, statt sich ausschließlich auf reale Versuche zu stützen. Die Idee stammt aus der modellbasierten Steuerung und dem bestärkenden Lernen. Der Aufsatz World Models von David Ha und Jürgen Schmidhuber aus dem Jahr 2018 machte den Begriff für neuronale Netze populär, die aus Pixeln einen komprimierten Simulator eines Spiels lernen und eine Policy in dessen „Traum“ trainieren. Heute umfasst der Begriff die internen Dynamikmodelle von Agenten wie Dreamer und MuZero, interaktive Videogeneratoren wie Genie 3 von Google DeepMind und Welt-Grundlagenmodelle, die Videos zum Training von Physical AI erzeugen.

So funktionieren Weltmodelle#

Ein Weltmodell besteht in der Regel aus drei Teilen. Ein Encoder komprimiert jede hochdimensionale Beobachtung, etwa ein Kamerabild, zu einem kleinen latenten Zustand. Ein Dynamikmodell sagt anhand des aktuellen Zustands und einer Handlung den nächsten latenten Zustand voraus, oft zusammen mit der Belohnung und der Information, ob die Episode endet. Ein optionaler Decoder wandelt latente Zustände zu Trainingszwecken oder zur Darstellung der Modellvorstellungen wieder in Bilder um. Ha und Schmidhuber entwickelten diese Komponenten aus einem variationalen Autoencoder, einem rekurrenten Netzwerk, das den nächsten latenten Zustand vorhersagt, und einer kleinen linearen Steuerung, die auf den latenten Zuständen trainiert wurde.

Ein Agent nutzt das Modell auf zwei Arten. Bei der Planung spielt er mögliche Handlungsfolgen im Modell durch, bewertet die vorgestellten Ergebnisse und führt die beste Handlung aus, wie bei der modellprädiktiven Regelung oder der Baumsuche von MuZero. Dieser PyTorch-Code lernt anhand zufälliger Übergänge ein Weltmodell für einen einfachen Wagen und plant gedanklich eine Folge von 20 Schüben:

import torch
from torch import nn

torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])

# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
    loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
    imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
    real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin()  # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")

Die Ausgabe lautet chosen plan: imagined final position 3.00, real final position 2.93. Der Agent wählte seinen Plan aus, ohne den echten Wagen zu berühren. Die Abweichung von 0,07 ist ein Modellfehler, der sich über 20 vorgestellte Schritte angesammelt hat. Kleine Fehler summieren sich bei langen Vorhersagefolgen. Deshalb planen praktische Systeme nach jedem Schritt neu und halten die vorgestellten Zeithorizonte kurz.

Beim Lernen durch Vorstellung trainiert der Agent seine Policy anhand von Trajektorien, die im Modell erzeugt werden. DreamerV3, 2025 in Nature veröffentlicht, wechselt zwischen dem Sammeln realer Erfahrungen, der Verbesserung des Weltmodells und dem ausschließlichen Training eines Akteurs und eines Kritikers anhand vorgestellter Trajektorien:

Mit einem einzigen Satz Hyperparameter übertraf DreamerV3 spezialisierte Methoden bei mehr als 150 Aufgaben. Außerdem wurde der Algorithmus als Erster ohne menschliche Daten oder Lernpläne ganz von allein in Minecraft Diamanten sammeln.

Arten von Weltmodellen#

  • Agentendynamikmodelle: Dreamer sagt zukünftige latente Zustände, Belohnungen und Episodenenden voraus. MuZero sagt nur voraus, was für die Planung nötig ist: Belohnung, Policy und Wert. Mit Monte-Carlo-Baumsuche erreichte das Modell bei Go, Schach und Shogi das Niveau von AlphaZero, ohne die Spielregeln vorgegeben zu bekommen.
  • Interaktive Videomodelle: Genie ist ein Modell mit 11 Milliarden Parametern, das mit nicht beschrifteten Internetvideos von 2D-Plattformspielen trainiert wurde. Es lernte eigene latente Aktionen und verwandelt ein einzelnes Bild, Foto oder eine Skizze in eine steuerbare Spielwelt. Genie 3 erzeugt Welten, durch die Nutzer in Echtzeit mit 24 Bildern pro Sekunde und 720p navigieren können. Die Welten bleiben einige Minuten lang konsistent.
  • Welt-Grundlagenmodelle: Cosmos von NVIDIA stellt Modelle mit offenen Gewichten bereit, die aus Text, Bildern oder vorherigen Frames zukünftige Videos vorhersagen. Sie sind für das Nachtraining auf bestimmte Roboter und Fahrzeuge ausgelegt.
  • Modelle mit prädiktiven Einbettungen: Eine Architektur mit prädiktiven gemeinsamen Einbettungen (JEPA) sagt die Repräsentation zukünftiger oder fehlender Inhalte voraus, statt deren Pixel vorherzusagen. So verschwendet das Modell keine Kapazität auf unvorhersehbare Details wie das genaue Bewegungsmuster von Blättern.

Objektzentrierte Weltmodelle stellen eine Szene als Menge von Objekten dar und sagen voraus, wie sich jedes einzelne bewegt. Ultralytics YOLO26 wandelt Videos im Tracking-Modus in eine solche Zustandsdarstellung um: Boxen für jedes Objekt, die über dauerhafte IDs frameübergreifend miteinander verknüpft sind.

  • Videogenerierung: Ein Videogenerator erzeugt aus einer Eingabeaufforderung einen plausiblen Clip. Ein Weltmodell sagt die Folgen von Handlungen voraus und muss daher korrekt reagieren, wenn sich die Handlung ändert. OpenAI beschrieb Videogeneratoren als potenzielle Weltsimulatoren. Modelle wie Genie 3, die Nutzereingaben Bild für Bild berücksichtigen, liegen zwischen diesen beiden Ansätzen.
  • Modellfreies bestärkendes Lernen: Modellfreie Agenten lernen eine Policy oder Wertfunktion direkt aus realen Erfahrungen, ohne vorherzusagen, wie sich die Umgebung verändert. Modellbasierte Agenten lernen ein Weltmodell und verwenden es wieder, um zu planen oder Trainingserfahrungen zu erzeugen. Dadurch benötigen sie in der Regel deutlich weniger reale Interaktionen.
  • Simulatoren und digitale Zwillinge: Ingenieure erstellen Physik-Engines und digitale Zwillinge anhand von Gleichungen, CAD-Modellen und gemessenen Parametern. Ein Weltmodell wird aus Daten gelernt und kann deshalb Effekte erfassen, die sich nur schwer als Gleichungen formulieren lassen, etwa das Falten von Stoff oder die Reaktion von Fußgängern auf den Verkehr.
  • Große Sprachmodelle: Ein Sprachmodell sagt das nächste Text-Token voraus. Ein Weltmodell sagt den nächsten Zustand einer Umgebung voraus, meist anhand von Videos, Sensordaten und Handlungen.

Anwendungen in der Praxis#

  • Autonomes Fahren: Wayves GAIA-1 generiert Fahrvideos, die von vorherigen Videos, Text und den Aktionen des eigenen Fahrzeugs abhängen. Das im Februar 2026 angekündigte Waymo-Weltmodell, das auf Genie 3 basiert, generiert sowohl Kamera- als auch Lidar-Daten, um Situationen zu simulieren, die die Flotte noch nie aufgezeichnet hat, etwa einen Tornado oder einen Elefanten auf der Straße.
  • Spiele und interaktive Medien: Interaktive Videomodelle verwandeln eine Texteingabe oder ein Bild in eine erkundbare Welt, die auf Tastatureingaben reagiert.
  • Robotik: Metas V-JEPA 2 wurde mit mehr als einer Million Stunden Internetvideos vortrainiert. Die aktionskonditionierte Version V-JEPA 2-AC wurde mit weniger als 62 Stunden unbeschrifteter Robotervideos nachtrainiert. Anschließend nahm und platzierte sie Objekte mit Franka-Robotern in zwei neuen Laboren, indem sie anhand von Zielbildern plante – ohne Daten von diesen Robotern oder Umgebungen zu verwenden.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens