Embodied AI

Воплощённый ИИ — это область искусственного интеллекта, в которой создают агентов с телом: физическим роботом или аватаром в 3D-симуляторе. Такие агенты воспринимают окружение с помощью датчиков, воздействуют на него через моторы или смоделированные органы управления и учатся на результатах собственных действий. Поскольку каждое действие меняет то, что агент увидит дальше, воплощённый агент накапливает собственный опыт, а не учится только на фиксированном наборе изображений или текстов. К типичным задачам воплощённого ИИ относятся навигация по незнакомому дому в поисках объекта, исследование комнаты для ответа на вопрос о ней, выполнение устных указаний, а также подбор и перемещение предметов. Эта область предоставляет методы обучения, лежащие в основе современной робототехники.

Истоки воплощённого ИИ#

Воплощённый ИИ возник как реакция на исключительно символический ИИ. В конце 1980-х Родни Брукс из MIT создал шагающих роботов, похожих на насекомых, которыми управляли уровни простых поведенческих реакций от датчиков к моторам. В статье 1991 года «Интеллект без репрезентации» он утверждал, что интеллект должен формироваться благодаря непосредственному взаимодействию машины с миром. В 1988 году Ханс Моравец заметил, что компьютеры уже могли соперничать со взрослыми в шашках и тестах на интеллект, но не могли сравниться с годовалым ребёнком в восприятии и подвижности. Этот разрыв, ныне известный как парадокс Моравеца, остаётся главной трудностью этой области.

Современная область сформировалась в 2017–2019 годах, когда быстрые 3D-симуляторы позволили обучать агентов на миллиардах шагов опыта. AI2-THOR от Allen Institute for AI предлагает интерактивные дома, где агенты открывают ящики и перемещают предметы, а Habitat от Meta загружает 3D-сканы настоящих домов и визуализирует более 10 000 кадров в секунду на одном GPU. Стандартные задачи тестирования включают навигацию к заданной точке и объекту, воплощённый ответ на вопросы и навигацию на основе зрения и языка. В 2019 году Эрик Вайманс и коллеги обучили агента Habitat с помощью глубокого обучения с подкреплением на протяжении 2,5 миллиарда шагов — это эквивалент 80 лет человеческого опыта. Агент почти безошибочно достигал целей в домах, которых раньше не видел, используя только камеру RGB-D, GPS и компас.

Цикл восприятия и действия#

Воплощённый агент работает в замкнутом цикле: считывает данные с датчиков, формирует представление сцены, выбирает действие, выполняет его и наблюдает за изменениями.

Восприятие преобразует необработанные данные датчиков в величины, необходимые для принятия решения. Обнаружение объектов и сегментация экземпляров находят объекты, с которыми агент может взаимодействовать; оценка глубины и объединение данных датчиков размещают их в 3D-пространстве; оценка позы отслеживает людей и их движения; а визуальная SLAM строит карту и определяет положение агента на ней. Краткое руководство Ultralytics ROS запускает Ultralytics YOLO26 внутри узла ROS1 или ROS2, который подписывается на топики камеры робота. В примере с глубиной маска сегментации выбирает пиксели объекта на выровненном изображении глубины, а узел публикует среднее расстояние от объекта до камеры.

Для принятия решений используют классические планировщики, модельно-прогнозирующее управление или обученные политики, которые напрямую преобразуют наблюдения в команды для моторов. Модели мира, предсказывающие, как сцена изменится в ответ на действие, позволяют агенту мысленно проверить план до его выполнения.

Как воплощённые агенты учатся действовать#

Обучение с подкреплением в симуляции позволяет агентам учиться на вознаграждении в ходе миллионов попыток, а рандомизация предметной области меняет текстуры, освещение и физические параметры, чтобы политики, обученные в симуляции, переносились на настоящих роботов. В 2019 году OpenAI использовала этот метод для обучения роботизированной руки, которая собрала кубик Рубика. При имитационном обучении политики обучаются на демонстрациях, управляемых оператором дистанционно: от простого клонирования поведения до политик на основе диффузии и пакетной генерации действий, при которой за раз предсказываются короткие последовательности будущих действий.

Крупные предварительно обученные модели теперь обеспечивают общее понимание объектов и языка. RT-1 от Google (2022) научилась выполнять более 700 задач на основе 130 000 демонстраций, собранных 13 роботами за 17 месяцев. RT-2 (2023) дообучила визуально-языковую модель выдавать действия робота в виде текстовых токенов, благодаря чему появился термин «визуально-языковая модель действий» (VLA). В ходе сотрудничества Open X-Embodiment объединили демонстрации с 22 типов роботов из 21 организации, чтобы обучать фундаментальные модели для разных типов роботов. π0 от Physical Intelligence (октябрь 2024 года) добавила к визуально-языковой модели с 3 миллиардами параметров экспертную модель действий на основе сопоставления потоков, чтобы управлять роботами с частотой до 50 Гц. Модели Gemini Robotics от Google DeepMind, выпущенные в марте 2025 года, строят VLA на базе Gemini 2.0.

Эти методы применяют в автономных транспортных средствах, мобильных складских роботах, манипуляторах для захвата и перемещения с помощью зрения, сельскохозяйственных роботах и дронах. Все они должны в реальном времени реагировать на то, что видят, часто используя установленное на борту оборудование для периферийного ИИ.

Воплощённый ИИ и смежные термины#

• Физический ИИ: Во многом синонимичный термин, популяризированный NVIDIA и обозначающий ИИ, который воспринимает реальный мир и действует в нём с помощью роботов, транспортных средств и других машин. Воплощённый ИИ также охватывает агентов, существующих только в симуляции.
• Робототехника: Инженерная дисциплина, занимающаяся созданием роботов, включая механику, исполнительные механизмы и классическое управление. Воплощённый ИИ обеспечивает обученное восприятие и принятие решений, благодаря которым робот справляется с ситуациями, не предусмотренными разработчиками.
• ИИ-агенты: Программные агенты, действующие через API, браузеры и код. Они следуют тому же циклу «наблюдение — решение — действие», но без физики, контактных сил и непрерывных потоков данных с датчиков.
• Пространственный интеллект: Способность понимать и анализировать трёхмерное пространство по изображениям и данным других датчиков. Воплощённым агентам она необходима, чтобы перемещаться по окружению и взаимодействовать с его объектами.