World Models

Un « Modèle de monde » désigne la représentation interne d'un système d'IA sur le fonctionnement d'un environnement, lui permettant de prédire des états ou des résultats futurs basés sur des observations actuelles et des actions potentielles. Contrairement aux modèles traditionnels qui mappent directement les entrées vers des sorties (comme la classification d'une image), un modèle de monde apprend la dynamique, la physique et les relations causales sous-jacentes d'un système. Ce concept est central pour faire progresser l'Intelligence Artificielle Générale (AGI) car il confère aux machines une forme de raisonnement de « bon sens », leur permettant de simuler mentalement des scénarios avant d'agir dans le monde réel.

Link to this sectionLe mécanisme derrière les modèles de monde#

Dans son essence, un modèle de monde fonctionne de manière similaire à l'intuition humaine. Lorsque tu lances une balle, tu ne calcules pas les équations de résistance au vent ; ton cerveau simule la trajectoire en fonction d'expériences passées. De même, en apprentissage automatique (ML), ces modèles compressent des données sensorielles de haute dimension (comme des images vidéo) en un état latent compact. Cet état compressé permet à l'agent de « rêver » ou d'halluciner efficacement des futurs potentiels.

Des recherches de pointe, comme les travaux sur les Recurrent World Models de Ha et Schmidhuber, démontrent comment des agents peuvent apprendre des politiques entièrement au sein d'un environnement de rêve simulé. Plus récemment, les avancées en IA générative comme Sora d'OpenAI représentent une forme visuelle de modélisation du monde, où le système comprend la physique, l'éclairage et la permanence des objets pour générer une continuité vidéo cohérente.

Link to this sectionApplications en robotique et simulation#

Les modèles de monde sont particulièrement transformateurs dans les domaines nécessitant une prise de décision complexe.

• Véhicules autonomes : Les voitures autonomes utilisent des world models pour prédire le comportement des autres conducteurs et des piétons. En simulant des milliers de scénarios de circulation potentiels par seconde, le véhicule peut choisir la trajectoire la plus sûre. Cela est étroitement lié à la computer vision in automotive solutions, où une perception précise constitue le fondement de la prédiction.
• Robotique : Dans la robotique manufacturière, un bras robotique entraîné avec un modèle de monde peut s'adapter à de nouveaux objets ou à des obstacles inattendus sans nécessiter de réentraînement. Il comprend la physique de la saisie et du mouvement, améliorant ainsi les solutions de fabrication intelligente.

Link to this sectionModèles de monde vs apprentissage par renforcement standard#

Il est utile de distinguer les modèles de monde des approches standard :

• Modèles de monde vs Apprentissage par renforcement (RL) : L'apprentissage par renforcement traditionnel est souvent « sans modèle » (model-free), ce qui signifie que l'agent apprend purement par essais et erreurs dans l'environnement. Une approche par modèle de monde est « basée sur un modèle » (model-based), où l'agent construit un simulateur à partir duquel apprendre, réduisant considérablement le besoin d'interactions dans le monde réel.
• Modèles de monde vs Grands modèles de langage (LLM) : Alors que les LLM prédisent le jeton de texte suivant, les modèles de monde prédisent souvent la trame visuelle ou l'état suivant. Cependant, les frontières s'estompent avec l'essor de l'apprentissage multimodal, où les modèles intègrent le texte, la vision et la physique.

Link to this sectionConcepts de mise en œuvre pratique#

Bien que la construction d'un modèle de monde complet soit complexe, le concept fondamental repose sur la prédiction des états futurs. Pour les tâches de vision par ordinateur, des modèles de détection à haute vitesse comme Ultralytics YOLO26 agissent comme les « yeux » sensoriels qui alimentent la logique de prise de décision en observations.

Le fragment de code Python suivant démontre comment tu pourrais utiliser un modèle YOLO pour extraire l'état actuel (positions des objets), ce qui servirait d'entrée pour l'étape prédictive d'un modèle de monde.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to get the current state of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding boxes (xyxy) representing object states
for result in results:
    boxes = result.boxes.xyxy.cpu().numpy()
    print(f"Observed State (Object Positions): {boxes}")
    # A World Model would take these 'boxes' to predict the NEXT frame's state

Link to this sectionL'avenir de l'IA prédictive#

L'évolution des modèles de monde se dirige vers l'IA physique, où l'intelligence numérique interagit de manière transparente avec le monde physique. Des innovations comme le JEPA (Joint Embedding Predictive Architecture) de Yann LeCun proposent d'apprendre des représentations abstraites plutôt que de prédire chaque pixel, rendant les modèles nettement plus efficaces.

À mesure que ces architectures arrivent à maturité, nous nous attendons à les voir intégrées dans la plateforme Ultralytics, permettant aux développeurs non seulement de détecter des objets, mais aussi de prévoir leurs trajectoires et leurs interactions au sein d'environnements dynamiques. Ce passage de la détection statique à la prédiction dynamique marque le prochain grand bond dans la vision par ordinateur (CV).