Embodied AI

L’IA incarnée est le domaine de l’intelligence artificielle qui crée des agents dotés d’un corps, qu’il s’agisse d’un robot physique ou d’un avatar dans un simulateur 3D. Ces agents perçoivent leur environnement à l’aide de capteurs, agissent sur lui au moyen de moteurs ou de commandes simulées, et apprennent des résultats de leurs propres actions. Comme chaque action modifie ce que l’agent voit ensuite, un agent incarné acquiert sa propre expérience au lieu d’apprendre uniquement à partir d’un jeu de données fixe d’images ou de textes. Les tâches typiques de l’IA incarnée consistent à se déplacer dans une maison inconnue pour trouver un objet, explorer une pièce pour répondre à une question à son sujet, suivre des instructions orales et ramasser puis réorganiser des objets. Ce domaine fournit les méthodes d’apprentissage à la base de la robotique moderne.

Origines de l’IA incarnée#

L’IA incarnée est née d’une réaction à l’IA purement symbolique. À la fin des années 1980, Rodney Brooks, au MIT, a construit des robots marcheurs semblables à des insectes, commandés par des couches de comportements simples reliant les capteurs aux moteurs. Dans son article de 1991, « Intelligence Without Representation », il soutenait que l’intelligence devait se construire à partir de l’interaction directe d’une machine avec le monde. En 1988, Hans Moravec a observé que les ordinateurs pouvaient déjà rivaliser avec les adultes aux dames et aux tests d’intelligence, mais pas avec la perception et la mobilité d’un enfant d’un an. Cet écart, désormais appelé paradoxe de Moravec, reste la difficulté centrale du domaine.

Le domaine moderne a pris forme entre 2017 et 2019, lorsque les simulateurs 3D rapides ont rendu possible l’entraînement d’agents sur des milliards d’étapes d’expérience. AI2-THOR, de l’Allen Institute for AI, propose des maisons interactives dans lesquelles les agents ouvrent des tiroirs et déplacent des objets, et l’Habitat de Meta charge des numérisations 3D de maisons réelles et effectue le rendu de plus de 10 000 images par seconde sur un seul GPU. Les tâches de référence standard comprennent la navigation vers un point ou un objet, la réponse incarnée à des questions et la navigation guidée par la vision et le langage. En 2019, Erik Wijmans et ses collègues ont entraîné un agent Habitat par apprentissage par renforcement profond sur 2,5 milliards d’étapes, soit l’équivalent de 80 ans d’expérience humaine. L’agent a atteint presque parfaitement des objectifs dans des maisons qu’il n’avait jamais vues, en utilisant seulement une caméra RGB-D et un capteur GPS et boussole.

La boucle perception-action#

Un agent incarné fonctionne en boucle fermée : il lit les données de ses capteurs, se représente la scène, choisit une action, l’exécute et observe ce qui a changé.

La perception transforme les données brutes des capteurs en informations utiles à la prise de décision. La détection d’objets et la segmentation d’instances repèrent les éléments avec lesquels un agent peut interagir, l’estimation de profondeur et la fusion de capteurs les situent en 3D, l’estimation de pose suit les personnes et leurs mouvements, et le SLAM visuel construit une carte tout en localisant l’agent sur celle-ci. Le guide de démarrage rapide ROS d’Ultralytics exécute Ultralytics YOLO26 dans un nœud ROS1 ou ROS2 qui s’abonne aux flux caméra d’un robot ; dans son exemple avec profondeur, un masque de segmentation sélectionne les pixels d’un objet dans l’image de profondeur alignée, puis le nœud publie la distance moyenne de l’objet par rapport à la caméra.

Les décisions proviennent de planificateurs classiques, de la commande prédictive par modèle ou de politiques apprises qui transforment directement les observations en commandes moteur. Les modèles du monde, qui prédisent comment une scène évoluera en réponse à une action, permettent à un agent de tester mentalement un plan avant de se déplacer.

Comment les agents incarnés apprennent à agir#

L’apprentissage par renforcement en simulation permet aux agents d’apprendre à partir de récompenses au fil de millions d’essais, et la randomisation du domaine fait varier les textures, l’éclairage et la physique pour que les politiques entraînées en simulation puissent être transférées à des robots réels ; OpenAI a utilisé cette méthode en 2019 pour entraîner une main robotique à résoudre un Rubik’s Cube. L’apprentissage par imitation entraîne des politiques à partir de démonstrations téléopérées, depuis le simple clonage comportemental jusqu’aux politiques de diffusion et au découpage en séquences d’actions, qui prédisent simultanément de courtes séquences d’actions futures.

Les grands modèles préentraînés fournissent désormais des connaissances générales sur les objets et le langage. RT-1 (2022) de Google a appris plus de 700 tâches à partir de 130 000 démonstrations recueillies avec 13 robots sur 17 mois, et RT-2 (2023) a affiné un modèle vision-langage pour produire des actions robotiques sous forme de jetons textuels, introduisant ainsi le terme de modèle vision-langage-action (VLA). La collaboration Open X-Embodiment a regroupé des démonstrations issues de 22 types de robots dans 21 institutions afin d’entraîner des modèles de fondation sur différents corps robotiques. π0 de Physical Intelligence (octobre 2024) a ajouté un expert en actions à correspondance de flux à un modèle vision-langage de 3 milliards de paramètres pour commander des robots jusqu’à 50 Hz. Les modèles Gemini Robotics de Google DeepMind, publiés en mars 2025, construisent un modèle VLA à partir de Gemini 2.0.

Ces méthodes sont utilisées dans les véhicules autonomes, les robots mobiles d’entrepôt, les bras de préhension et placement guidés par la vision, les robots agricoles et les drones. Tous doivent agir en temps réel à partir de ce qu’ils voient, souvent à l’aide de matériel d’IA en périphérie embarqué.

IA incarnée et notions connexes#

• IA physique : Terme largement synonyme popularisé par NVIDIA pour désigner l’IA qui perçoit le monde réel et agit sur lui au moyen de robots, de véhicules et d’autres machines. L’IA incarnée englobe aussi les agents qui n’existent qu’en simulation.
• Robotique : Discipline d’ingénierie consacrée à la construction de robots, notamment à leur mécanique, à leurs actionneurs et à la commande classique. L’IA incarnée fournit la perception et la prise de décision apprises qui permettent à un robot de gérer des situations que ses programmeurs n’avaient pas anticipées.
• Agents IA : Agents logiciels qui agissent au moyen d’API, de navigateurs et de code. Ils suivent la même boucle observer-décider-agir, sans physique, forces de contact ni flux continu de capteurs.
• Intelligence spatiale : Capacité à comprendre et à raisonner sur l’espace 3D à partir d’images et d’autres capteurs. Les agents incarnés en ont besoin pour se déplacer dans leur environnement et manipuler ce qui s’y trouve.