Licencia YOLO
Volver al glosario de Ultralytics

Physical AI

La IA física permite que los robots, los vehículos y otras máquinas perciban el mundo real, razonen sobre él y actúen en él. Incluye la pila tecnológica, el entrenamiento y los usos.

La inteligencia artificial (IA) física percibe, razona y actúa en el mundo físico mediante un cuerpo: robots, drones, vehículos autónomos y máquinas industriales inteligentes. Un chatbot genera texto en una pantalla, mientras que la salida de un sistema de IA física es una orden para un motor, cuyo resultado depende de la fricción, la gravedad, las colisiones y las personas cercanas. Por eso, el sistema debe comprender el espacio 3D y la causa y el efecto lo bastante bien como para actuar con seguridad en tiempo real. NVIDIA convirtió el término en un elemento central de sus plataformas de robótica y simulación, y su uso se extendió cuando los grandes modelos preentrenados empezaron a controlar robots reales. Es casi sinónimo de IA incorporada, el término de investigación más antiguo; IA física es más habitual en el sector.

Cómo funcionan los sistemas de IA física#

Todo sistema de IA física cierra un ciclo entre la detección y la acción, muchas veces por segundo:

  • Detección: Las cámaras, el lidar, el radar, las unidades de medición inercial, los codificadores de articulaciones y los sensores de fuerza miden el mundo y el estado de la propia máquina.
  • Percepción: Los modelos de visión convierten los píxeles sin procesar en objetos, profundidad, poses y mapas sobre los que puede razonar un planificador.
  • Toma de decisiones: Los planificadores, las políticas aprendidas o los grandes modelos fundacionales de robótica eligen la siguiente acción.
  • Accionamiento: Los motores, las pinzas, las ruedas y los frenos ejecutan la acción, y los sensores miden su efecto en el siguiente paso.

La fusión de sensores combina las ventajas de distintos sensores; la visión artificial realiza la mayor parte del trabajo de percepción, y las decisiones se toman con controladores como el control predictivo basado en modelos, políticas entrenadas mediante aprendizaje por refuerzo o modelos fundacionales de robótica. Cada vez más, estos modelos fundacionales distribuyen la toma de decisiones entre un modelo más lento, que interpreta las instrucciones y la escena, y otro más rápido, que genera órdenes para los motores, como el modelo humanoide abierto GR00T N1 de NVIDIA, que combina un modelo de visión y lenguaje con un módulo de acción independiente:

Los modelos de visión, lenguaje y acción (VLA) integran ambas funciones en una sola red. En 2023, RT-2, de Google DeepMind, demostró que un modelo de visión y lenguaje ajustado para generar acciones robóticas como tokens trasladaba al control los conocimientos adquiridos a partir de datos de la web. El modelo π0 de Physical Intelligence incorpora un experto en acciones basado en la técnica de ajuste de flujo, similar en esencia a las políticas de difusión y capaz de generar de una sola vez fragmentos de acciones fluidos que abarcan muchos pasos futuros, y los modelos Gemini Robotics de Google DeepMind amplían este enfoque a tareas de varios pasos que requieren destreza, como plegar figuras de papiroflexia.

De la percepción a la acción en código#

La percepción es el primer eslabón del ciclo y su velocidad limita la rapidez de reacción de la máquina. Ultralytics YOLO26 está diseñado para este papel en el borde y se ejecuta en ordenadores para robots, como NVIDIA Jetson, tras la exportación a TensorRT. Este ejemplo detecta personas en un fotograma de cámara y convierte la detección con mayor confianza en una orden de dirección mediante un controlador proporcional, la forma más sencilla de servo visual:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]

# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0])  # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5)  # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")

Imprime la posición de la persona elegida en el fotograma y una orden de giro cuyo signo indica la dirección hacia la persona y cuya magnitud aumenta con el desplazamiento. En un robot, los mismos dos pasos se ejecutan en cada fotograma de la cámara, por lo que la orden se reduce a cero cuando el robot gira para orientarse hacia su objetivo.

Entrenamiento de la IA física#

Los datos son el principal cuello de botella: Internet contiene billones de palabras, pero muy pocas grabaciones de robots en acción, y cada grabación corresponde al cuerpo y los sensores de un robot concreto. Los equipos recopilan demostraciones de teleoperación, en las que una persona guía al robot durante una tarea mientras se registran sus sensores y órdenes, y entrenan políticas para imitarlas. Los simuladores físicos, como NVIDIA Isaac Lab, ejecutan miles de robots en paralelo para el aprendizaje profundo por refuerzo, con aleatorización del dominio en la física y la apariencia para reducir la brecha entre la simulación y la realidad. Las escenas renderizadas y los gemelos digitales proporcionan datos sintéticos etiquetados de situaciones poco frecuentes para los modelos de percepción, y los modelos del mundo generan nuevas variaciones de escenas grabadas, como una misma calle bajo la lluvia o de noche.

Aplicaciones en el mundo real#

  • Logística: Los robots móviles autónomos recorren almacenes con mapas que crean por sí mismos y cambian de ruta para esquivar a personas y carretillas elevadoras, mientras que los vehículos de guiado automático siguen rutas fijas.
  • Fabricación: Los brazos guiados por visión recogen piezas amontonadas al azar, ensamblan componentes e inspeccionan su propio trabajo; además, hay robots humanoides en proyectos piloto que trasladan cajas y piezas.
  • Sanidad: En 2025, el robot SRT-H de Johns Hopkins, entrenado con vídeos de cirujanos, realizó una fase clave de una extirpación de vesícula biliar en ocho vesículas de cerdo ex vivo sin que ninguna persona controlara sus brazos, mientras respondía a correcciones verbales.
  • Agricultura: Los robots de cosecha y desherbado identifican plantas individuales con cámaras y actúan sobre cada una, por ejemplo, eliminando una mala hierba sin fumigar todo el campo.
  • Conducción: Los robotaxis y los sistemas de asistencia al conductor son las mayores flotas desplegadas de IA física; perciben el tráfico y controlan el vehículo muchas veces por segundo.
  • Robótica: Campo de la ingeniería que diseña y construye robots, incluidos sus componentes mecánicos, electrónicos y de control. La IA física es la inteligencia aprendida que percibe y decide, y también se ejecuta en vehículos y máquinas que no se consideran robots.
  • IA generativa: Genera texto, imágenes, vídeo y código. Sus técnicas también impulsan la IA física, desde modelos de difusión que generan movimientos robóticos hasta modelos del mundo que generan escenas de entrenamiento.
  • Inteligencia espacial: Capacidad para comprender y razonar sobre el espacio 3D, los objetos y sus relaciones, de la que depende la IA física.
  • IA en el borde: Ejecutar modelos en el propio dispositivo. La IA física casi siempre se ejecuta en el borde, porque un robot no puede esperar a que la red complete un viaje de ida y vuelta antes de frenar.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático