Licence YOLO
Retour au glossaire Ultralytics

World Model

Un modèle du monde est un système d’IA qui apprend comment son environnement évolue et comment les actions le modifient, afin que les agents puissent imaginer les résultats et planifier avant d’agir.

Un modèle du monde est un modèle appris de l’évolution d’un environnement au fil du temps et en réponse aux actions. À partir de l’état actuel ou d’un historique d’observations, ainsi que d’une action, il prédit la suite : l’observation suivante, un état interne compact, une récompense ou une séquence d’étapes futures. Un agent doté d’un modèle du monde peut imaginer les résultats d’actions avant de les exécuter, planifier en comparant les futurs imaginés et apprendre d’expériences simulées plutôt que par de seuls essais et erreurs réels. Cette idée vient du contrôle fondé sur un modèle et de l’apprentissage par renforcement. L’article World Models de David Ha et Jürgen Schmidhuber, publié en 2018, a popularisé le terme pour désigner les réseaux neuronaux qui apprennent à partir de pixels un simulateur compressé d’un jeu et entraînent une politique dans son « rêve ». Aujourd’hui, le terme englobe les modèles de dynamique internes d’agents comme Dreamer et MuZero, les générateurs vidéo interactifs comme Genie 3 de Google DeepMind, ainsi que les modèles de fondation du monde qui génèrent des vidéos pour entraîner l’IA physique.

Fonctionnement des modèles du monde#

Un modèle du monde comporte généralement trois éléments. Un encodeur compresse chaque observation de grande dimension, par exemple une image de caméra, en un petit état latent. Un modèle de dynamique prédit l’état latent suivant à partir de l’état actuel et d’une action, souvent avec la récompense et l’indication de fin d’épisode. Un décodeur facultatif reconvertit les états latents en images, pour l’entraînement ou pour afficher ce que le modèle imagine. Ha et Schmidhuber ont construit ces éléments à partir d’un autoencodeur variationnel, d’un réseau récurrent qui prédit le latent suivant et d’un petit contrôleur linéaire entraîné sur les latents.

Un agent utilise le modèle de deux façons. Pour la planification, il fait parcourir au modèle des séquences d’actions candidates, évalue les résultats imaginés et exécute la meilleure, comme dans le contrôle prédictif par modèle ou dans la recherche arborescente de MuZero. Ce code PyTorch apprend un modèle du monde d’un chariot simple à partir de transitions aléatoires et planifie mentalement une poussée de 20 étapes :

import torch
from torch import nn

torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])

# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
    loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
    imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
    real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin()  # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")

Le programme affiche chosen plan: imagined final position 3.00, real final position 2.93. L’agent a choisi son plan sans toucher au vrai chariot, et l’écart de 0,07 correspond à l’erreur du modèle accumulée au fil de 20 étapes imaginées. Les petites erreurs s’accumulent lors des longues simulations, raison pour laquelle les planificateurs pratiques recalculent leur plan après chaque étape et limitent la durée des horizons imaginés.

Avec l’apprentissage par imagination, l’agent entraîne sa politique sur des trajectoires générées dans le modèle. DreamerV3, publié dans Nature en 2025, alterne entre la collecte d’expériences réelles, l’amélioration du modèle du monde et l’entraînement d’un acteur et d’un critique uniquement sur des trajectoires imaginées :

Avec un seul jeu d’hyperparamètres, DreamerV3 a surpassé des méthodes spécialisées sur plus de 150 tâches et est devenu le premier algorithme à récolter des diamants dans Minecraft en partant de zéro, sans données humaines ni programmes d’apprentissage progressifs.

Types de modèles du monde#

  • Modèles de dynamique d’agent : Dreamer prédit les états latents futurs, les récompenses et les fins d’épisode. MuZero prédit uniquement ce dont la planification a besoin — la récompense, la politique et la valeur — et, avec la recherche arborescente Monte-Carlo, a égalé AlphaZero au go, aux échecs et au shogi sans recevoir les règles.
  • Modèles vidéo interactifs : Genie, un modèle de 11 milliards de paramètres entraîné sur des vidéos Internet non annotées de jeux de plateforme 2D, a appris ses propres actions latentes et transforme une image, une photo ou un croquis en un monde de jeu interactif. Genie 3 génère des mondes dans lesquels les utilisateurs se déplacent en temps réel à 24 images par seconde et en 720p, avec une cohérence maintenue pendant quelques minutes.
  • Modèles de fondation du monde : Le Cosmos de NVIDIA propose des modèles à poids ouverts qui prédisent la vidéo future à partir de texte, d’images ou d’images antérieures, conçus pour un post-entraînement sur des robots et des véhicules spécifiques.
  • Modèles d’intégration prédictive : Une architecture prédictive à intégration conjointe (JEPA) prédit la représentation d’un contenu futur ou manquant plutôt que ses pixels ; le modèle ne consacre donc pas de capacité à des détails imprévisibles, comme le motif exact des feuilles en mouvement.

Les modèles du monde centrés sur les objets représentent une scène sous forme d’ensemble d’objets et prédisent le déplacement de chacun. Ultralytics YOLO26 en mode suivi transforme la vidéo en ce type d’état : des boîtes pour chaque objet, reliées d’une image à l’autre par des identifiants persistants.

  • Génération vidéo : Un générateur vidéo produit un clip plausible à partir d’une invite. Un modèle du monde prédit les conséquences des actions ; il doit donc réagir correctement lorsque l’action change. OpenAI a décrit les générateurs vidéo comme de possibles simulateurs du monde, et les modèles comme Genie 3, qui prennent en compte les commandes de l’utilisateur image par image, se situent entre les deux.
  • Apprentissage par renforcement sans modèle : Les agents sans modèle apprennent directement une politique ou une fonction de valeur à partir de l’expérience réelle, sans prédire comment l’environnement évolue. Les agents fondés sur un modèle apprennent un modèle du monde et le réutilisent pour planifier ou générer des données d’entraînement, ce qui nécessite généralement beaucoup moins d’interactions réelles.
  • Simulateurs et jumeaux numériques : Les ingénieurs construisent les moteurs physiques et les jumeaux numériques à partir d’équations, de modèles CAO et de paramètres mesurés. Un modèle du monde est appris à partir de données ; il peut donc saisir des effets difficiles à exprimer sous forme d’équations, comme le pliage d’un tissu ou la réaction des piétons à la circulation.
  • Grands modèles de langage : Un modèle de langage prédit le prochain jeton de texte. Un modèle du monde prédit le prochain état d’un environnement, généralement à partir de vidéos, de données de capteurs et d’actions.

Applications concrètes#

  • Conduite autonome : GAIA-1 de Wayve génère des vidéos de conduite conditionnées par des vidéos antérieures, du texte et les actions du véhicule autonome. Le modèle du monde de Waymo, fondé sur Genie 3 et annoncé en février 2026, génère des données de caméra et de lidar pour simuler des situations que la flotte n’a jamais enregistrées, comme une tornade ou un éléphant sur la route.
  • Jeux et médias interactifs : Les modèles vidéo interactifs transforment une invite textuelle ou une image en un monde explorable qui réagit aux commandes du clavier.
  • Robotique : Meta a préentraîné le V-JEPA 2 sur plus d’un million d’heures de vidéos en ligne. Sa version conditionnée par l’action, V-JEPA 2-AC, a fait l’objet d’un post-entraînement sur moins de 62 heures de vidéos de robots non annotées, puis a saisi et placé des objets à l’aide de bras Franka dans deux nouveaux laboratoires, en planifiant en fonction d’images cibles, sans qu’aucune donnée n’ait été recueillie auprès de ces robots ou dans ces environnements.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique