YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Physical AI

피지컬 AI를 통해 로봇, 차량 및 기타 기계는 현실 세계를 인식하고 추론하며 행동할 수 있습니다. 기술 스택, 학습 및 활용 사례를 다룹니다.

피지컬 AI는 인공지능(AI)이 로봇, 드론, 자율주행 차량, 스마트 산업용 기계와 같은 물리적 신체를 통해 현실 세계를 인식하고 추론하며 행동하는 기술입니다. 챗봇의 출력은 화면에 표시되는 텍스트지만, 피지컬 AI 시스템의 출력은 마찰, 중력, 충돌, 주변 사람에 따라 결과가 달라지는 모터 명령입니다. 따라서 시스템은 실시간으로 안전하게 작동할 수 있도록 3D 공간과 인과관계를 충분히 이해해야 합니다. NVIDIA는 로보틱스 및 시뮬레이션 플랫폼의 핵심 용어로 이 개념을 내세웠으며, 대규모 사전 학습 모델이 실제 로봇을 제어하기 시작하면서 널리 사용되기 시작했습니다. 피지컬 AI는 기존 연구 용어인 체화된 AI와 거의 같은 뜻이며, 업계에서는 피지컬 AI라는 용어가 더 자주 쓰입니다.

피지컬 AI 시스템 작동 방식#

모든 피지컬 AI 시스템은 초당 여러 차례 감지와 행동 사이의 루프를 완성합니다.

  • 감지: 카메라, 라이다, 레이더, 관성 측정 장치, 관절 인코더, 힘 센서가 외부 환경과 기계 자체의 상태를 측정합니다.
  • 인식: 비전 모델은 원시 픽셀을 플래너가 추론에 활용할 수 있는 객체, 깊이, 포즈, 맵으로 변환합니다.
  • 의사결정: 플래너, 학습된 정책 또는 대규모 로봇 파운데이션 모델이 다음 행동을 선택합니다.
  • 구동: 모터, 그리퍼, 바퀴, 브레이크가 행동을 실행하고, 센서는 다음 단계에서 그 결과를 측정합니다.

센서 퓨전은 서로 다른 센서의 강점을 결합하고, 컴퓨터 비전은 인식 작업의 대부분을 수행합니다. 의사결정은 모델 예측 제어와 같은 제어기, 강화 학습으로 훈련한 정책 또는 로봇 파운데이션 모델을 통해 이루어집니다. 이러한 파운데이션 모델은 지시와 장면을 해석하는 느린 모델과 모터 명령을 출력하는 빠른 모델로 의사결정을 점점 더 많이 분리하고 있습니다. NVIDIA의 오픈 휴머노이드 모델 GR00T N1은 비전 언어 모델과 별도의 액션 모듈을 결합한 사례입니다.

비전-언어-행동(VLA) 모델은 두 가지 역할을 하나의 네트워크에 담습니다. Google DeepMind의 RT-2는 2023년에 로봇 행동을 토큰으로 출력하도록 파인튜닝한 비전 언어 모델이 웹 데이터에서 얻은 지식을 제어에 활용할 수 있음을 보였습니다. Physical Intelligence의 π0는 확산 정책과 유사한 플로 매칭 액션 전문가를 추가해 여러 미래 단계의 부드러운 액션 청크를 한 번에 출력합니다. Google DeepMind의 Gemini Robotics 모델은 이 접근 방식을 종이접기와 같은 손재주가 필요한 다단계 작업으로 확장합니다.

코드에서 인식부터 행동까지#

지각은 루프의 첫 단계이며, 지각 속도가 기계의 반응 속도를 제한합니다. Ultralytics YOLO26은 이 엣지 역할에 맞게 설계되었으며 TensorRT 내보내기 후 NVIDIA Jetson과 같은 로봇 컴퓨터에서 실행됩니다. 이 예제는 카메라 프레임에서 사람을 감지하고 가장 신뢰도가 높은 감지 결과를 비례 제어기를 통해 조향 명령으로 변환합니다. 이는 시각 서보잉의 가장 간단한 형태입니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]

# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0])  # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5)  # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")

선택된 사람이 프레임의 어느 위치에 있는지와 로봇을 사람 쪽으로 향하게 하는 부호를 갖고 오프셋이 클수록 크기가 커지는 회전 명령을 출력합니다. 로봇에서는 같은 두 단계를 모든 카메라 프레임에서 실행하므로, 로봇이 목표를 향해 회전하면 명령값이 0으로 줄어듭니다.

피지컬 AI 학습#

데이터가 핵심 병목입니다. 인터넷에는 수조 개의 단어가 있지만 로봇이 행동하는 모습을 담은 기록은 매우 적으며, 각 기록은 특정 로봇의 몸체와 센서에 종속됩니다. 팀은 사람이 로봇을 조종해 작업을 수행하는 동안 센서 데이터와 명령을 기록하는 원격 조작 시연을 수집하고, 이를 모방하도록 정책을 훈련합니다. NVIDIA Isaac Lab과 같은 물리 시뮬레이터는 심층 강화 학습을 위해 수천 대의 로봇을 병렬로 실행하며, 물리 특성과 외형에 도메인 무작위화를 적용해 시뮬레이션과 현실 간 격차를 줄입니다. 렌더링된 장면과 디지털 트윈은 인식 모델을 위해 드문 상황의 라벨링된 합성 데이터를 제공하고, 월드 모델은 기록된 장면을 비가 내리거나 밤이 된 동일한 거리처럼 새로운 형태로 생성합니다.

실제 적용 사례#

  • 물류: 자율 이동 로봇은 자체적으로 구축한 지도를 사용해 창고를 탐색하고 사람과 지게차를 피해 경로를 변경하며, 무인 운반차는 고정된 경로를 따라 이동합니다.
  • 제조: 비전 유도 로봇 팔은 무작위로 쌓인 부품을 집어 조립하고 자체 작업을 검사하며, 휴머노이드 로봇은 토트와 부품을 옮기는 파일럿 배치에 투입되고 있습니다.
  • 의료: 2025년에는 외과의사 영상으로 훈련된 Johns Hopkins의 SRT-H 로봇이 사람의 팔 제어 없이 8개의 생체 외 돼지 담낭에서 담낭 절제술의 핵심 단계를 수행했으며, 음성으로 전달된 수정 지시에 반응했습니다.
  • 농업: 수확 및 제초 로봇은 카메라로 개별 식물을 식별하고 각 식물에 맞춰 작업합니다. 예를 들어 밭 전체에 약제를 살포하지 않고 잡초만 제거할 수 있습니다.
  • 주행: 로보택시와 운전자 보조 시스템은 실제 배포된 물리 AI 차량 중 가장 규모가 큰 분야로, 초당 여러 번 교통 상황을 인식하고 차량을 제어합니다.
  • 로보틱스: 기계, 전자, 제어를 포함해 로봇을 설계하고 제작하는 엔지니어링 분야입니다. 피지컬 AI는 인식하고 판단하는 학습된 지능이며, 로봇이라고 부르지 않는 차량과 기계에서도 실행됩니다.
  • 생성형 AI: 텍스트, 이미지, 비디오, 코드를 생성합니다. 로봇 동작을 생성하는 확산 모델부터 학습 장면을 생성하는 월드 모델까지, 생성형 AI 기법은 이제 피지컬 AI에도 활용됩니다.
  • 공간 지능: 3D 공간과 객체, 객체 간 관계를 이해하고 추론하는 능력으로, 피지컬 AI가 의존하는 역량입니다.
  • 엣지 AI: 기기 자체에서 모델을 실행하는 방식입니다. 로봇은 제동하기 전에 네트워크 왕복을 기다릴 수 없으므로 피지컬 AI는 거의 항상 엣지 AI 방식으로 실행됩니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요