Embodied AI

체화 AI는 물리적 로봇이나 3D 시뮬레이터 속 아바타처럼 몸체를 가진 에이전트를 구축하는 인공지능 분야입니다. 이러한 에이전트는 센서로 주변 환경을 인식하고, 모터나 시뮬레이션 제어를 통해 환경에 작용하며, 자신의 행동 결과를 학습합니다. 모든 행동은 에이전트가 다음에 보게 되는 것을 바꾸므로, 체화 에이전트는 고정된 이미지 또는 텍스트 데이터셋만 학습하는 대신 자체 경험을 수집합니다. 체화 AI의 일반적인 작업에는 낯선 집에서 객체를 찾도록 탐색하기, 방에 관한 질문에 답하기 위해 방을 살펴보기, 음성 지시 따르기, 객체를 집어 옮겨 재배치하기 등이 있으며, 이 분야는 현대 로보틱스의 기반이 되는 학습 방법을 제공합니다.

체화 AI의 기원#

체화 AI는 순수한 기호형 AI에 대한 반작용에서 비롯되었습니다. 1980년대 후반 MIT의 Rodney Brooks는 단순한 센서-모터 동작을 여러 층으로 제어하는 곤충형 보행 로봇을 제작했으며, 1991년 논문 "표상 없는 지능"에서 지능은 기계가 세계와 직접 상호작용하는 과정에서 구축되어야 한다고 주장했습니다. 1988년 Hans Moravec은 컴퓨터가 이미 체커와 지능 검사에서 성인 수준에 도달했지만 한 살배기의 지각 능력과 이동 능력에는 미치지 못한다고 관찰했습니다. 현재 Moravec의 역설이라고 불리는 이 격차는 여전히 이 분야의 핵심 난제로 남아 있습니다.

현대적인 분야는 빠른 3D 시뮬레이터를 활용해 에이전트를 수십억 단계의 경험으로 학습하는 일이 가능해진 2017년부터 2019년 사이에 자리 잡았습니다. Allen Institute for AI의 AI2-THOR는 에이전트가 서랍을 열고 객체를 옮길 수 있는 상호작용형 주택을 제공하며, Meta의 Habitat는 실제 주택의 3D 스캔을 불러와 GPU 하나에서 초당 10,000개가 넘는 프레임을 렌더링합니다. 표준 벤치마크 작업에는 지점 목표 및 객체 목표 탐색, 체화 질문 응답, 비전 및 언어 기반 탐색이 포함됩니다. 2019년 Erik Wijmans와 동료들은 Habitat 에이전트를 심층 강화 학습으로 25억 단계, 즉 인간 경험 80년에 해당하는 시간 동안 학습시켰습니다. 이 에이전트는 RGB-D 카메라와 GPS 및 나침반 센서만 사용해 한 번도 본 적 없는 집에서도 거의 완벽하게 목표에 도달했습니다.

지각-행동 루프#

체화 에이전트는 폐쇄 루프를 실행합니다. 센서를 읽고, 장면을 파악하고, 행동을 선택해 실행한 뒤, 무엇이 달라졌는지 관찰합니다.

지각은 원시 센서 데이터를 의사결정에 필요한 값으로 변환합니다. 객체 감지와 인스턴스 분할은 에이전트가 상호작용할 수 있는 대상을 찾고, 깊이 추정과 센서 융합은 대상을 3D 공간에 배치하며, 자세 추정은 사람과 움직임을 추적하고, 시각 SLAM은 에이전트의 위치를 파악하면서 지도를 생성합니다. Ultralytics ROS 빠른 시작 가이드는 로봇의 카메라 토픽을 구독하는 ROS1 또는 ROS2 노드 안에서 Ultralytics YOLO26을 실행합니다. 깊이 예제에서는 분할 마스크로 정렬된 깊이 이미지에서 객체의 픽셀을 선택하고, 노드는 카메라와 객체 사이의 평균 거리를 게시합니다.

의사결정에는 고전적 플래너, 모델 예측 제어, 또는 관측값을 모터 명령에 직접 매핑하는 학습된 정책이 사용됩니다. 행동에 따라 장면이 어떻게 변할지 예측하는 월드 모델은 에이전트가 움직이기 전에 상상 속에서 계획을 시험해 볼 수 있게 합니다.

체화 에이전트가 행동을 학습하는 방법#

시뮬레이션에서 강화 학습을 사용하면 에이전트가 수백만 번의 시도에서 보상을 바탕으로 학습할 수 있으며, 도메인 무작위화는 텍스처, 조명, 물리 조건을 다양하게 바꾸어 시뮬레이션에서 학습한 정책을 실제 로봇에 적용할 수 있게 합니다. OpenAI는 2019년 이 방법을 사용해 루빅스 큐브를 맞추는 로봇 손을 학습시켰습니다. 모방 학습은 원격 조작 시연을 통해 정책을 학습하며, 단순한 행동 복제부터 디퓨전 정책, 짧은 미래 행동 시퀀스를 한 번에 예측하는 행동 청킹까지 포함합니다.

대규모 사전 학습 모델은 이제 객체와 언어에 관한 일반 지식을 제공합니다. Google의 RT-1(2022)은 13대의 로봇으로 17개월 동안 수집한 130,000건의 시연을 통해 700개가 넘는 작업을 학습했으며, RT-2(2023)는 비전 언어 모델을 파인튜닝해 로봇 행동을 텍스트 토큰으로 출력하도록 하여 비전-언어-행동(VLA) 모델이라는 용어를 도입했습니다. Open X-Embodiment 협업에서는 21개 기관의 22가지 로봇 유형에서 수집한 시연을 모아 여러 몸체에 적용할 파운데이션 모델을 학습했습니다. Physical Intelligence의 π0(2024년 10월)은 30억 파라미터 비전 언어 모델에 플로 매칭 행동 전문가를 추가해 최대 50Hz로 로봇을 제어했습니다. 2025년 3월에 공개된 Google DeepMind의 Gemini Robotics 모델은 Gemini 2.0을 기반으로 VLA를 구축합니다.

이러한 방법은 자율주행차, 창고용 모바일 로봇, 비전 유도 픽 앤 플레이스 로봇 팔, 농업 로봇, 드론에 적용됩니다. 이들 모두 실시간으로 시각 정보를 바탕으로 행동해야 하며, 흔히 기내에 탑재된 엣지 AI 하드웨어를 사용합니다.

체화 AI와 관련 용어 비교#

• 물리 AI: NVIDIA가 대중화한, 로봇과 차량을 비롯한 기계를 통해 현실 세계를 인식하고 이에 작용하는 AI를 가리키는 대체로 동의어인 용어입니다. 체화 AI에는 시뮬레이션 안에만 존재하는 에이전트도 포함됩니다.
• 로보틱스: 기계 구조, 액추에이터, 고전 제어를 비롯해 로봇을 제작하는 공학 분야입니다. 체화 AI는 프로그래머가 예상하지 못한 상황을 로봇이 처리할 수 있도록 학습된 지각 및 의사결정 기능을 제공합니다.
• AI 에이전트: API, 브라우저, 코드를 통해 작동하는 소프트웨어 에이전트입니다. 물리 법칙, 접촉력, 연속적인 센서 스트림이 없는 환경에서 동일한 관찰-결정-행동 루프를 따릅니다.
• 공간 지능: 이미지와 기타 센서로부터 3D 공간을 이해하고 추론하는 능력으로, 체화 에이전트가 주변 환경을 이동하고 조작하는 데 필요합니다.