World Models

Un « World Model » désigne la représentation interne qu'a un système d'IA du fonctionnement d'un environnement, lui permettant de prédire des états ou des résultats futurs à partir d'observations actuelles et d'actions potentielles. Contrairement aux modèles traditionnels qui associent directement des entrées à des sorties (comme la classification d'une image), un world model apprend la dynamique sous-jacente, la physique et les relations de cause à effet d'un système. Ce concept est essentiel pour progresser vers Artificial General Intelligence (AGI) car il confère aux machines une forme de raisonnement fondé sur le « bon sens », leur permettant de simuler mentalement des scénarios avant d'agir dans le monde réel.

Le mécanisme derrière les modèles de monde#

À la base, un world model fonctionne de manière similaire à l'intuition humaine. Quand tu lances un ballon, tu ne calcules pas d'équations de résistance de l'air ; ton cerveau simule la trajectoire en se basant sur des expériences passées. De même, en machine learning (ML), ces modèles compressent des données sensorielles de haute dimension (comme des trames vidéo) en un état latent compact. Cet état compressé permet à l'agent de « rêver » ou d'halluciner des futurs potentiels de manière efficace.

Des recherches de pointe, telles que les travaux sur les Recurrent World Models de Ha et Schmidhuber, démontrent comment des agents peuvent apprendre des politiques entièrement au sein d'un environnement de rêve simulé. Plus récemment, les avancées en matière de generative AI telles que Sora d'OpenAI représentent une forme visuelle de modélisation du monde, où le système comprend la physique, l'éclairage et la permanence des objets pour générer une continuité vidéo cohérente.

Applications en robotique et simulation#

Les modèles de monde sont particulièrement transformateurs dans les domaines nécessitant une prise de décision complexe.

• Véhicules autonomes : Les voitures autonomes utilisent des world models pour prédire le comportement des autres conducteurs et piétons. En simulant des milliers de scénarios de circulation potentiels par seconde, le véhicule peut choisir la trajectoire la plus sûre. Cela est étroitement lié au computer vision in automotive solutions, où une perception précise est le fondement de la prédiction.
• Robotique : En manufacturing robotics, un bras robotique entraîné avec un world model peut s'adapter à de nouveaux objets ou à des obstacles imprévus sans nécessiter de réentraînement. Il comprend la physique de la saisie et du mouvement, améliorant ainsi les smart manufacturing solutions.

Modèles de monde vs apprentissage par renforcement standard#

Il est utile de distinguer les modèles de monde des approches standard :

• World Models vs. Reinforcement Learning (RL) : Le RL traditionnel est souvent « sans modèle » (model-free), ce qui signifie que l'agent apprend purement par essais et erreurs dans l'environnement. Une approche par world model est « avec modèle » (model-based), où l'agent construit un simulateur à partir duquel apprendre, réduisant considérablement la quantité d'interactions nécessaires dans le monde réel.
• World Models vs. Large Language Models (LLMs) : Alors que les LLMs prédisent le jeton textuel suivant, les world models prédisent souvent la trame visuelle ou l'état suivant. Cependant, les frontières s'estompent avec la montée en puissance du multi-modal learning, où les modèles intègrent le texte, la vision et la physique.

Concepts de mise en œuvre pratique#

Bien que la construction d'un world model complet soit complexe, le concept fondamental repose sur la prédiction des états futurs. Pour les tâches de computer vision, des modèles de détection à haute vitesse tels que Ultralytics YOLO26 agissent comme les « yeux » sensoriels qui alimentent la logique de prise de décision en observations.

Le fragment de code Python suivant démontre comment tu pourrais utiliser un modèle YOLO pour extraire l'état actuel (positions des objets), ce qui servirait d'entrée pour l'étape prédictive d'un modèle de monde.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to get the current state of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding boxes (xyxy) representing object states
for result in results:
    boxes = result.boxes.xyxy.cpu().numpy()
    print(f"Observed State (Object Positions): {boxes}")
    # A World Model would take these 'boxes' to predict the NEXT frame's state

L'avenir de l'IA prédictive#

L'évolution des world models s'oriente vers le physical AI, où l'intelligence numérique interagit de manière transparente avec le monde physique. Des innovations telles que Yann LeCun's JEPA (Joint Embedding Predictive Architecture) proposent d'apprendre des représentations abstraites plutôt que de prédire chaque pixel, rendant les modèles nettement plus efficaces.

À mesure que ces architectures mûrissent, nous prévoyons de les voir intégrées dans Ultralytics Platform, permettant aux développeurs non seulement de détecter des objets, mais aussi de prévoir leurs trajectoires et leurs interactions au sein d'environnements dynamiques. Ce passage de la détection statique à la prédiction dynamique marque le prochain grand bond en avant dans le domaine de la computer vision (CV).