World Models

"세계 모델"은 환경이 작동하는 방식에 대한 AI 시스템 내부의 표현을 의미하며, 이를 통해 현재 관측과 가능한 행동을 바탕으로 미래 상태나 결과를 예측할 수 있습니다. 이미지를 분류하는 것처럼 입력을 출력에 직접 매핑하는 기존 모델과 달리, 세계 모델은 시스템의 기저 역학, 물리 법칙 및 인과 관계를 학습합니다. 이 개념은 기계에 "상식"에 기반한 추론 능력을 부여하여 현실 세계에서 행동하기 전에 상황을 머릿속으로 시뮬레이션할 수 있게 한다는 점에서 인공 일반 지능(AGI) 발전의 핵심입니다.

세계 모델의 작동 원리#

세계 모델은 기본적으로 인간의 직관과 유사하게 작동합니다. 공을 던질 때 바람 저항 방정식을 계산하는 대신, 뇌는 과거 경험을 바탕으로 궤적을 시뮬레이션합니다. 마찬가지로 머신러닝(ML)에서 이러한 모델은 동영상 프레임과 같은 고차원 감각 데이터를 압축된 잠재 상태로 변환합니다. 이 압축된 상태를 통해 에이전트는 가능한 미래를 효율적으로 "상상하거나" 환각할 수 있습니다.

Ha와 Schmidhuber의 순환 세계 모델 연구와 같은 선도적인 연구는 에이전트가 시뮬레이션된 꿈의 환경 안에서만 정책을 학습할 수 있음을 보여줍니다. 최근에는 OpenAI의 Sora와 같은 생성형 AI 발전이 세계 모델링의 시각적 형태를 보여줍니다. 이 시스템은 물리 법칙, 조명 및 객체 영속성을 이해하여 일관된 동영상 흐름을 생성합니다.

로보틱스 및 시뮬레이션 분야의 응용#

세계 모델은 복잡한 의사결정이 필요한 분야에서 특히 혁신적인 효과를 발휘합니다.

• 자율주행차: 자율주행차는 세계 모델을 사용해 다른 운전자와 보행자의 행동을 예측합니다. 초당 수천 가지의 교통 상황을 시뮬레이션하여 가장 안전한 경로를 선택할 수 있습니다. 이는 정확한 인지가 예측의 기반이 되는 자동차 솔루션의 컴퓨터 비전과 밀접하게 연관됩니다.
• 로보틱스: 제조 로보틱스에서 세계 모델로 학습된 로봇 팔은 재학습 없이도 새로운 객체나 예상치 못한 장애물에 적응할 수 있습니다. 로봇은 파지와 이동의 물리적 원리를 이해하여 스마트 제조 솔루션을 개선합니다.

세계 모델과 표준 강화 학습#

월드 모델과 표준 접근 방식을 구분하면 이해에 도움이 됩니다:

• 월드 모델과 강화 학습(RL)의 비교: 기존 RL은 흔히 "모델 프리" 방식으로, 에이전트가 환경에서 시행착오를 거치며 학습하는 것을 의미합니다. 월드 모델 접근 방식은 "모델 기반"으로, 에이전트가 학습에 사용할 시뮬레이터를 구축하므로 실제 환경과 상호작용해야 하는 횟수를 크게 줄입니다.
• 월드 모델과 대규모 언어 모델(LLMs)의 비교: LLM은 다음 텍스트 토큰을 예측하지만, 월드 모델은 흔히 다음 시각 프레임이나 상태를 예측합니다. 하지만 모델이 텍스트, 시각 정보, 물리학을 통합하는 멀티모달 학습이 발전하면서 두 분야의 경계가 점차 흐려지고 있습니다.

실제 구현을 위한 개념#

월드 모델 전체를 구축하는 작업은 복잡하지만, 그 기초 개념은 미래 상태를 예측하는 데 있습니다. 컴퓨터 비전 작업에서는 Ultralytics YOLO26과 같은 고속 탐지 모델이 감각 기관인 "눈" 역할을 하며, 관측 결과를 의사 결정 로직에 전달합니다.

다음 Python 코드 조각은 YOLO 모델을 사용해 현재 상태(객체 위치)를 추출하는 방법을 보여줍니다. 추출한 상태는 월드 모델의 예측 단계에 입력으로 사용됩니다.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to get the current state of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding boxes (xyxy) representing object states
for result in results:
    boxes = result.boxes.xyxy.cpu().numpy()
    print(f"Observed State (Object Positions): {boxes}")
    # A World Model would take these 'boxes' to predict the NEXT frame's state

예측형 AI의 미래#

월드 모델은 디지털 지능이 물리적 세계와 원활하게 상호작용하는 물리 AI로 발전하고 있습니다. Yann LeCun의 JEPA(공동 임베딩 예측 아키텍처)와 같은 혁신적인 접근 방식은 모든 픽셀을 예측하는 대신 추상적인 표현을 학습하도록 제안하며, 이를 통해 모델의 효율성을 크게 높입니다.

이러한 아키텍처가 성숙해지면 Ultralytics Platform에 통합되어 개발자가 객체를 탐지할 뿐만 아니라 동적 환경에서 객체의 궤적과 상호작용까지 예측할 수 있을 것으로 기대됩니다. 정적 탐지에서 동적 예측으로의 전환은 컴퓨터 비전(CV)의 다음 도약을 의미합니다.