Лицензия YOLO
Назад к глоссарию Ultralytics

Physical AI

Физический ИИ позволяет роботам, транспортным средствам и другим машинам воспринимать реальный мир, рассуждать о нём и действовать в нём. Рассматриваются технологический стек, обучение и сферы применения.

Физический AI — это искусственный интеллект (AI), который воспринимает физический мир, рассуждает о нём и действует в нём посредством физического тела: роботов, дронов, автономных транспортных средств и умных промышленных машин. Чат-бот выдаёт текст на экране, а физическая AI-система — команду двигателю; её результат зависит от трения, гравитации, столкновений и находящихся рядом людей. Поэтому система должна достаточно хорошо понимать трёхмерное пространство и причинно-следственные связи, чтобы действовать безопасно в реальном времени. NVIDIA сделала этот термин ключевым для своих платформ робототехники и симуляции; широкое распространение он получил, когда крупные предварительно обученные модели начали управлять реальными роботами. Это почти синоним воплощённого AI — более старого термина из научных исследований; в промышленности чаще используют термин «физический AI».

Как работают системы Physical AI#

Каждая система Physical AI многократно в секунду замыкает цикл между восприятием и действием:

  • Сенсоры: камеры, лидары, радары, инерциальные измерительные блоки, датчики положения суставов и силы измеряют состояние мира и самой машины.
  • Восприятие: модели компьютерного зрения преобразуют исходные пиксели в объекты, глубину, положения и карты, с которыми может работать планировщик.
  • Принятие решений: планировщики, обученные политики или крупные базовые модели для роботов выбирают следующее действие.
  • Приведение в действие: моторы, захваты, колёса и тормоза выполняют действие, а на следующем шаге сенсоры измеряют его эффект.

Слияние данных с датчиков объединяет сильные стороны разных датчиков, основную часть задач восприятия решает компьютерное зрение, а решения принимают контроллеры, например контроллеры модельного предиктивного управления, политики, обученные с помощью обучения с подкреплением, или базовые модели для робототехники. В таких базовых моделях принятие решений всё чаще разделено между более медленной моделью, которая интерпретирует инструкции и сцену, и более быстрой, которая выдаёт команды двигателям. Так устроена открытая гуманоидная модель NVIDIA GR00T N1, сочетающая модель компьютерного зрения и языка с отдельным модулем действий:

Модели «зрение — язык — действие» (VLA) объединяют обе роли в одной сети. В 2023 году RT-2 от Google DeepMind показала, что модель для работы с изображениями и языком, дообученная выдавать действия робота в виде токенов, переносит знания из веб-данных в управление. Модель π0 от Physical Intelligence добавляет экспертную модель действий на основе сопоставления потоков, близкую по идее к диффузионным политикам, которая сразу выдаёт плавные фрагменты последовательности действий для множества будущих шагов. Модели Gemini Robotics от Google DeepMind развивают этот подход для многошаговых задач, требующих ловкости, например складывания оригами.

От восприятия к действию в коде#

Восприятие — первое звено цикла, а его скорость ограничивает скорость реакции машины. Ultralytics YOLO26 создана для работы на периферийных устройствах и после экспорта в TensorRT запускается на робототехнических компьютерах, например NVIDIA Jetson. В этом примере модель обнаруживает людей в кадре камеры и преобразует обнаружение с наибольшей уверенностью в команду управления рулём с помощью пропорционального регулятора — простейшей формы визуального сервопривода:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]

# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0])  # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5)  # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")

Вывод показывает, где выбранный человек находится в кадре, и команду поворота: её знак указывает, в какую сторону роботу нужно повернуть, а величина растёт вместе со смещением человека от центра. На роботе те же два шага выполняются для каждого кадра камеры, поэтому по мере поворота к цели команда стремится к нулю.

Обучение Physical AI#

Главное ограничение — данные: в интернете есть триллионы слов, но очень мало записей действий роботов, и каждая запись привязана к корпусу и сенсорам конкретного робота. Команды собирают демонстрации с телеуправлением: люди выполняют задачу с помощью робота, записывая его сенсорные данные и команды, а затем обучают политики повторять эти действия. Физические симуляторы, такие как NVIDIA Isaac Lab, одновременно запускают тысячи роботов для глубокого обучения с подкреплением, используя рандомизацию домена физических свойств и внешнего вида, чтобы сократить разрыв между симуляцией и реальностью. Визуализированные сцены и цифровые двойники предоставляют размеченные синтетические данные о редких ситуациях для моделей восприятия, а модели мира создают новые варианты записанных сцен, например ту же улицу в дождь или ночью.

Примеры применения в реальных условиях#

  • Логистика: Автономные мобильные роботы перемещаются по складам, самостоятельно строят карты и объезжают людей и погрузчики, а автоматизированные транспортные средства следуют по фиксированным маршрутам.
  • Производство: Роботизированные руки с управлением на основе компьютерного зрения выбирают случайно расположенные детали, собирают компоненты и проверяют свою работу; гуманоидные роботы проходят пилотные испытания по перемещению контейнеров и деталей.
  • Здравоохранение: В 2025 году робот SRT-H из Университета Джонса Хопкинса, обученный на видеозаписях операций, самостоятельно выполнил ключевой этап удаления желчного пузыря на восьми извлечённых желчных пузырях свиньи, реагируя на устные поправки и не требуя управления руками со стороны человека.
  • Сельское хозяйство: Роботы для сбора урожая и прополки распознают отдельные растения с помощью камер и воздействуют на каждое из них, например удаляют сорняк, не опрыскивая всё поле.
  • Вождение: роботакси и системы помощи водителю — крупнейшие развёрнутые парки физических систем ИИ, которые много раз в секунду распознают дорожную обстановку и управляют автомобилем.
  • Робототехника: инженерная область, занимающаяся проектированием и созданием роботов, включая механику, электронику и управление. Physical AI — это обученный интеллект, который воспринимает окружающую обстановку и принимает решения; он также используется в автомобилях и машинах, которые не называют роботами.
  • Генеративный ИИ: создаёт текст, изображения, видео и код. Его методы теперь используются и в Physical AI: от диффузионных моделей, генерирующих движения роботов, до моделей мира, создающих сцены для обучения.
  • Пространственный интеллект: способность понимать и анализировать трёхмерное пространство, объекты и отношения между ними; именно на этой способности основана Physical AI.
  • Периферийный ИИ: запуск моделей непосредственно на устройстве. Physical AI почти всегда относится к периферийному ИИ, поскольку робот не может ждать ответа после сетевого обмена, прежде чем затормозить.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения