Embodied AI

L'IA incarnée représente un changement majeur, passant d'algorithmes passifs à des systèmes intelligents capables de percevoir, de raisonner et d'interagir dans un environnement 3D physique ou simulé. Contrairement aux modèles traditionnels de machine learning qui fonctionnent uniquement à partir de jeux de données statiques, ces systèmes possèdent un « corps » — qu'il s'agisse d'un châssis robotique physique ou d'un avatar virtuel — qui leur permet d'exécuter des actions et d'apprendre grâce aux retours continus de leur environnement. En combinant les données des capteurs avec une prise de décision intelligente, les agents incarnés comblent le fossé entre le calcul numérique et l'exécution dans le monde réel.

Comment les systèmes incarnés perçoivent le monde#

Au cœur de ces systèmes dynamiques se trouve la vision par ordinateur avancée, qui permet à l'agent de comprendre spatialement son environnement. Pour se déplacer de manière sûre et efficace, les agents incarnés s'appuient largement sur la détection d'objets en temps réel et l'estimation continue de la pose. Lorsqu'ils conçoivent les voies neuronales de ces agents, les développeurs intègrent souvent des frameworks de deep learning de l'écosystème PyTorch ou des outils de déploiement TensorFlow pour traiter des données spatiales complexes.

Pour atteindre une véritable autonomie, ces systèmes utilisent de plus en plus des modèles vision-langage associés à de puissants moteurs d'inférence en temps réel. Cela permet à l'IA non seulement de reconnaître une tasse, mais aussi de comprendre des instructions complexes telles que « prends la tasse rouge près du bord de la table ». Les recherches menées par des institutions comme l'Institut de l'intelligence artificielle centrée sur l'humain de Stanford (HAI) continuent de repousser les limites de l'intégration des données multisensorielles par ces agents.

Distinguer les termes connexes de l'intelligence artificielle#

Pour comprendre ce domaine, il faut le distinguer de concepts étroitement liés :

• Robotique : la robotique se concentre principalement sur le matériel mécanique, les actionneurs et le contrôle des moteurs. L'IA incarnée fournit la couche logicielle cognitive qui rend le matériel autonome, comme dans des projets tels que le robot Atlas de Boston Dynamics.
• IA physique : bien que ces termes soient souvent utilisés indifféremment, l'IA physique exige strictement du matériel tangible dans le monde réel. L'IA incarnée est plus large et englobe des agents virtuels entraînés dans des environnements simulés avec une physique 3D, comme la plateforme de robotique Isaac de NVIDIA.
• Agent d'IA : les agents d'IA traditionnels opèrent dans des espaces numériques (par exemple, pour naviguer sur le Web ou écrire du code). Les agents incarnés sont spécialisés dans la gestion de la dimension spatiale, des contraintes physiques et des flux sensoriels continus.

Applications concrètes#

L'intégration du raisonnement cognitif à l'action physique a donné lieu à des applications transformatrices dans de nombreux secteurs, largement documentées dans la bibliothèque numérique de l'ACM consacrée à la recherche en IA.

• Véhicules autonomes : les voitures autonomes s'appuient sur l'intelligence incarnée pour circuler dans les rues urbaines. Elles traitent en continu les données lidar et celles des caméras afin d'interpréter les panneaux de signalisation et les mouvements des piétons, à l'image de la technologie de conduite autonome de Waymo, qui interagit en toute sécurité avec des environnements urbains dynamiques.
• Fabrication intelligente : des bras robotisés équipés de modèles Ultralytics YOLO26 exécutent des tâches complexes sur les chaînes d'assemblage. Ils identifient, saisissent et trient dynamiquement les pièces défectueuses, illustrant les principes étudiés dans de récentes recherches de DeepMind en robotique.
• Drones agricoles : les véhicules aériens sans pilote utilisent leur perception spatiale pour surveiller la santé des cultures et pulvériser intelligemment les ressources uniquement là où elles sont nécessaires, réduisant ainsi le gaspillage et augmentant les rendements.

Construire la perception des agents incarnés#

Les développeurs qui construisent ces systèmes physiques s'appuient souvent sur l'Ultralytics Platform pour annoter des données d'entraînement dynamiques et déployer de manière fluide des modèles d'IA en périphérie légers directement sur du matériel à faible consommation.

Voici un exemple Python qui montre comment un agent robotique pourrait utiliser un modèle de vision pour détecter en continu des objets interactifs dans son environnement.

from ultralytics import YOLO

# Load the lightweight YOLO26 model designed for real-time edge hardware
model = YOLO("yolo26n.pt")

# Perform continuous object detection on a robotic camera feed
results = model.predict(source="camera_feed.mp4", stream=True)

# Process the spatial bounding boxes to guide robotic interaction
for r in results:
    print(f"Detected {len(r.boxes)} objects ready for physical interaction.")

À mesure que les domaines de la conception matérielle et de la modélisation cognitive gagnent en maturité — sous l'impulsion d'initiatives d'alignement telles que les recherches d'Anthropic sur la sécurité de l'IA et les derniers modèles de raisonnement d'OpenAI — les systèmes incarnés continueront de passer des laboratoires de recherche aux environnements du quotidien, comme le souligne régulièrement la couverture de la robotique par IEEE Spectrum.