Licence YOLO
Retour au glossaire Ultralytics

Physical AI

L’IA physique permet aux robots, aux véhicules et à d’autres machines de percevoir le monde réel, de raisonner à son sujet et d’agir dans celui-ci. Découvre sa pile technologique, son entraînement et ses usages.

L’intelligence artificielle (IA) physique perçoit le monde réel, y raisonne et y agit par l’intermédiaire d’un corps : robots, drones, véhicules autonomes et machines industrielles intelligentes. Un chatbot produit du texte à l’écran, tandis qu’un système d’IA physique produit une commande moteur dont le résultat dépend du frottement, de la gravité, des collisions et des personnes à proximité. Le système doit donc comprendre suffisamment l’espace 3D et les liens de cause à effet pour agir en toute sécurité en temps réel. NVIDIA a placé ce terme au cœur de ses plateformes de robotique et de simulation, et il s’est largement répandu lorsque de grands modèles préentraînés ont commencé à piloter de vrais robots. C’est presque un synonyme d’IA incarnée, terme plus ancien du domaine de la recherche ; l’expression « IA physique » est plus courante dans l’industrie.

Fonctionnement des systèmes d’IA physique#

Tout système d’IA physique boucle entre perception et action, plusieurs fois par seconde :

  • Perception par les capteurs : Les caméras, le lidar, le radar, les centrales inertielles, les codeurs articulaires et les capteurs de force mesurent l’environnement et l’état de la machine elle-même.
  • Perception : Les modèles de vision transforment les pixels bruts en objets, profondeurs, poses et cartes qu’un planificateur peut exploiter.
  • Prise de décision : Les planificateurs, les politiques apprises ou les grands modèles de fondation pour la robotique choisissent l’action suivante.
  • Actionnement : Les moteurs, pinces, roues et freins exécutent l’action, et les capteurs en mesurent l’effet à l’étape suivante.

La fusion de capteurs combine les atouts de différents capteurs, la vision par ordinateur effectue l’essentiel du travail de perception, et les décisions s’appuient sur des contrôleurs fondés sur la commande prédictive par modèle, sur des politiques entraînées par apprentissage par renforcement ou sur des modèles de fondation pour la robotique. Ces modèles de fondation répartissent de plus en plus la prise de décision entre un modèle plus lent qui interprète les instructions et la scène et un modèle plus rapide qui produit les commandes motrices, comme dans le modèle humanoïde ouvert GR00T N1 de NVIDIA, qui associe un modèle de vision et de langage à un module d’action distinct :

Les modèles vision-langage-action (VLA) réunissent les deux rôles dans un seul réseau. En 2023, RT-2 de Google DeepMind a montré qu’un modèle vision-langage affiné pour produire des actions robotisées sous forme de jetons pouvait transférer à la commande les connaissances acquises à partir de données Web. Le modèle π0 de Physical Intelligence ajoute un expert en action fondé sur l’appariement de flux, proche dans son principe des politiques de diffusion, qui produit simultanément des blocs d’actions fluides couvrant de nombreuses étapes futures. Les modèles Gemini Robotics de Google DeepMind étendent cette approche à des tâches de dextérité en plusieurs étapes, comme le pliage d’origami.

De la perception à l’action dans le code#

La perception est le premier maillon de la boucle, et sa vitesse limite celle à laquelle la machine peut réagir. Ultralytics YOLO26 est conçu pour ce rôle en périphérie et s’exécute sur des ordinateurs de robot comme le NVIDIA Jetson après un export TensorRT. Cet exemple détecte des personnes dans une image de caméra et transforme la détection la plus fiable en commande de direction à l’aide d’un contrôleur proportionnel, la forme la plus simple de servocommande visuelle :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]

# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0])  # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5)  # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")

Le programme affiche la position de la personne sélectionnée dans l’image et une commande de rotation dont le signe indique la direction vers laquelle le robot doit se tourner et dont l’amplitude augmente avec le décalage. Sur un robot, ces deux mêmes étapes s’exécutent à chaque image de la caméra ; la commande diminue donc jusqu’à zéro lorsque le robot se tourne vers sa cible.

Entraîner l’IA physique#

Les données constituent le principal goulot d’étranglement : Internet contient des milliers de milliards de mots, mais très peu d’enregistrements de robots en action, et chaque enregistrement est lié au corps et aux capteurs d’un robot particulier. Les équipes recueillent des démonstrations par téléopération, où des personnes font exécuter une tâche au robot tout en enregistrant ses capteurs et ses commandes, puis entraînent des politiques à les imiter. Les simulateurs physiques comme NVIDIA Isaac Lab font fonctionner des milliers de robots en parallèle pour l’apprentissage profond par renforcement, avec une randomisation de domaine de la physique et de l’apparence afin de réduire l’écart entre simulation et réalité. Les scènes rendues et les jumeaux numériques fournissent des données synthétiques annotées portant sur des situations rares, pour les modèles de perception. Les modèles du monde génèrent quant à eux de nouvelles variantes des scènes enregistrées, par exemple la même rue sous la pluie ou de nuit.

Applications concrètes#

  • Logistique : Les robots mobiles autonomes se déplacent dans les entrepôts à l’aide de cartes qu’ils construisent eux-mêmes, en contournant les personnes et les chariots élévateurs, tandis que les véhicules à guidage automatique suivent des itinéraires fixes.
  • Fabrication : Des bras guidés par la vision saisissent des pièces empilées aléatoirement, assemblent des composants et inspectent leur propre travail. Des robots humanoïdes sont aussi déployés à titre pilote pour déplacer des bacs et des pièces.
  • Santé : En 2025, le robot SRT-H de Johns Hopkins, entraîné sur des vidéos de chirurgiens, a réalisé une étape clé de l’ablation de la vésicule biliaire sur huit vésicules de porcs ex vivo, sans qu’un humain contrôle ses bras, tout en réagissant à des corrections vocales.
  • Agriculture : Les robots de récolte et de désherbage identifient chaque plante à l’aide de caméras et agissent sur chacune d’elles, par exemple en arrachant une mauvaise herbe sans pulvériser tout le champ.
  • Conduite : Les robotaxis et les systèmes d’aide à la conduite constituent les plus grandes flottes déployées d’IA physique : ils perçoivent la circulation et contrôlent le véhicule plusieurs fois par seconde.
  • Robotique : Le domaine de l’ingénierie consacré à la conception et à la construction de robots, notamment à leur mécanique, leur électronique et leur commande. L’IA physique est l’intelligence apprise qui perçoit et prend des décisions ; elle équipe aussi des véhicules et des machines qui ne sont pas qualifiés de robots.
  • IA générative : Produit du texte, des images, des vidéos et du code. Ses techniques alimentent désormais aussi l’IA physique, des modèles de diffusion qui génèrent des mouvements robotiques aux modèles du monde qui génèrent des scènes d’entraînement.
  • Intelligence spatiale : Capacité à comprendre et à raisonner sur l’espace 3D, les objets et leurs relations ; l’IA physique en dépend.
  • IA en périphérie : Exécution des modèles directement sur l’appareil. L’IA physique fonctionne presque toujours en périphérie, car un robot ne peut pas attendre un aller-retour réseau avant de freiner.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique