World Models

Un « modèle du monde » désigne la représentation interne qu'un système d'IA se fait du fonctionnement d'un environnement, ce qui lui permet de prédire des états ou des résultats futurs à partir des observations actuelles et des actions possibles. Contrairement aux modèles traditionnels, qui associent directement des entrées à des sorties (par exemple, classer une image), un modèle du monde apprend la dynamique, la physique et les relations causales sous-jacentes d'un système. Ce concept est central pour faire progresser l'intelligence artificielle générale (AGI), car il donne aux machines une forme de raisonnement de « bon sens » et leur permet de simuler mentalement des scénarios avant d'agir dans le monde réel.

Le mécanisme des modèles du monde#

À la base, un modèle du monde fonctionne comme l'intuition humaine. Quand tu lances une balle, tu ne calcules pas les équations de résistance de l'air ; ton cerveau simule sa trajectoire à partir de tes expériences passées. De même, en apprentissage automatique (ML), ces modèles compriment des données sensorielles de grande dimension (comme des images vidéo) en un état latent compact. Cet état compressé permet à l'agent de « rêver » ou d'imaginer efficacement des futurs possibles.

Des travaux de recherche majeurs, comme ceux de Ha et Schmidhuber sur les modèles récurrents du monde, montrent comment des agents peuvent apprendre des politiques entièrement dans un environnement de rêve simulé. Plus récemment, des avancées en IA générative, comme Sora d'OpenAI, illustrent une forme visuelle de modélisation du monde : le système comprend la physique, l'éclairage et la permanence des objets pour générer une continuité vidéo cohérente.

Applications en robotique et en simulation#

Les modèles du monde sont particulièrement transformateurs dans les domaines qui exigent une prise de décision complexe.

• Véhicules autonomes : Les voitures autonomes utilisent des modèles du monde pour prédire le comportement des autres conducteurs et des piétons. En simulant des milliers de scénarios de circulation possibles par seconde, le véhicule peut choisir le trajet le plus sûr. Cela est étroitement lié à la vision par ordinateur pour les solutions automobiles, où une perception précise est le fondement de la prédiction.
• Robotique : En robotique industrielle, un bras robotique entraîné avec un modèle du monde peut s'adapter à de nouveaux objets ou à des obstacles inattendus sans nécessiter de réentraînement. Il comprend la physique de la préhension et du mouvement, ce qui améliore les solutions de fabrication intelligente.

Modèles du monde vs apprentissage par renforcement standard#

Il est utile de distinguer les modèles du monde des approches classiques :

• Modèles du monde vs. apprentissage par renforcement (RL) : Le RL traditionnel est souvent « sans modèle », ce qui signifie que l’agent apprend uniquement par tâtonnement dans l’environnement. Une approche par modèle du monde est « basée sur un modèle » : l’agent construit un simulateur à partir duquel il apprend, ce qui réduit considérablement le besoin d’interactions avec le monde réel.
• Modèles du monde vs. grands modèles de langage (LLMs) : Alors que les LLMs prédisent le prochain jeton de texte, les modèles du monde prédisent souvent la prochaine image visuelle ou le prochain état. Cependant, les frontières s’estompent avec l’essor de l’apprentissage multimodal, dans lequel les modèles intègrent le texte, la vision et la physique.

Concepts pratiques de mise en œuvre#

Bien que la création d’un modèle du monde complet soit complexe, le concept fondamental repose sur la prédiction des états futurs. Pour les tâches de vision par ordinateur, les modèles de détection rapides comme Ultralytics YOLO26 jouent le rôle d’« yeux » sensoriels qui transmettent les observations à la logique décisionnelle.

L’extrait Python suivant montre comment utiliser un modèle YOLO pour extraire l’état actuel (les positions des objets), qui servirait d’entrée à l’étape prédictive d’un modèle du monde.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to get the current state of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding boxes (xyxy) representing object states
for result in results:
    boxes = result.boxes.xyxy.cpu().numpy()
    print(f"Observed State (Object Positions): {boxes}")
    # A World Model would take these 'boxes' to predict the NEXT frame's state

L’avenir de l’IA prédictive#

L’évolution des modèles du monde s’oriente vers l’IA physique, où l’intelligence numérique interagit harmonieusement avec le monde physique. Des innovations comme la JEPA (architecture prédictive à intégration conjointe) de Yann LeCun proposent d’apprendre des représentations abstraites plutôt que de prédire chaque pixel, ce qui rend les modèles nettement plus efficaces.

À mesure que ces architectures gagnent en maturité, nous nous attendons à les voir intégrées à la plateforme Ultralytics, afin de permettre aux développeurs non seulement de détecter des objets, mais aussi de prévoir leurs trajectoires et leurs interactions dans des environnements dynamiques. Ce passage de la détection statique à la prédiction dynamique marque la prochaine grande avancée de la vision par ordinateur (CV).