Diffusion Policies

Diffusion Policies는 robotics 및 machine learning 분야의 패러다임 전환을 나타내며, 여기서 AI agent의 시각-운동(visuomotor) 정책은 조건부 노이즈 제거 확산 과정으로 모델링됩니다. 전통적으로 imitation learning의 한 형태인 behavior cloning은 직접 회귀(direct regression)에 의존하여 감각 입력으로부터 단일 결정론적 행동을 예측합니다. 단순한 작업에는 기능적이지만, 직접 회귀는 유효한 행동이 여러 개 존재할 때 종종 실패하며, 이로 인해 불안정하거나 안전하지 않은 평균화된 움직임이 발생합니다. Diffusion policies는 행동 생성을 시퀀스 정제 작업으로 구성함으로써 이 문제를 해결합니다. 순수한 랜덤 노이즈에서 시작하여, 알고리즘은 이미지나 공간 상태 데이터와 같은 감각 관찰을 조건으로 신호를 반복적으로 노이즈 제거하여 매우 정확하고 강력하며 다중 모달인 행동 시퀀스를 생성합니다.

Link to this sectionDiffusion Policies 작동 원리#

핵심 메커니즘은 generative modeling에서 발견되는 수학적 원리에 기반하며, original visuomotor diffusion policy paper의 고충실도 이미지 합성을 위해 처음 개발된 기법을 적용합니다. 순방향 과정(forward process)으로 알려진 학습 단계 동안, 최적의 전문가 행동 궤적에 소량의 노이즈가 점진적으로 추가됩니다. 이후 neural network는 주어진 관찰 컨텍스트를 기반으로 이 노이즈를 예측하고 제거하도록 학습됩니다.

추론 과정에서 로봇은 환경과 상호작용하며 주변을 관찰하고, 랜덤 행동 시퀀스를 초기화한 다음 확률적 Langevin dynamics를 사용하여 노이즈를 제거합니다. 이 반복적 최적화는 복잡하고 고차원적인 행동 공간을 처리할 수 있는 정교하고 부드러운 모터 명령을 생성합니다.

Link to this section실제 애플리케이션 사례#

mode collapse 없이 복잡한 분포를 정확하게 표현함으로써, diffusion policies는 현대적인 물리적 artificial intelligence를 활발히 재편하고 있습니다.

• Robotic Manipulation: 산업 환경에서 로봇 팔은 이러한 정책을 활용하여 불규칙한 모양의 물체 잡기, 복잡한 전자 부품 조립 또는 유연한 붓기 동작 수행과 같은 정교하고 접촉이 많은 작업을 수행합니다.
• Autonomous Navigation: 자율 주행 시스템과 드론은 depth estimation을 diffusion policies와 결합하여 동적 환경에서 안전하고 연속적인 궤적을 계획하며, 표준 reinforcement learning 모델을 혼란스럽게 할 수 있는 갑작스러운 장애물에도 능숙하게 적응합니다.

Link to this section주요 용어 구분#

Diffusion policies의 구체적인 기능을 명확히 하기 위해, 밀접하게 관련된 생성 아키텍처와 구별하는 것이 도움이 됩니다:

• Diffusion Policies vs. Diffusion Models: Diffusion Models는 텍스트-이미지 합성처럼 정적인 데이터를 생성하는 데 사용되는 기반 생성 아키텍처를 광범위하게 지칭합니다. Diffusion Policies는 이 특정 메커니즘을 적용하여 능동형 로봇을 위한 연속적인 시계열 모터 명령을 예측합니다.
• Diffusion Policies vs. Diffusion Forcing: Diffusion Forcing은 토큰당 서로 다른 노이즈 수준을 사용하여 causal transformers를 학습시키는 일반적인 시퀀스 생성 프레임워크입니다. 관련성은 있지만, diffusion forcing은 자기회귀 예측에 중점을 두는 반면, diffusion policies는 시각-운동 제어를 위한 모방 학습 전략을 엄격히 나타냅니다.

Link to this section정책 학습의 최근 발전#

OpenAI research initiatives 및 Google DeepMind robotics를 포함한 주요 기관의 연구는 이러한 알고리즘이 달성할 수 있는 영역의 한계를 계속 확장하고 있습니다. 특히 2024년에 published on arXiv in 2024된 3D Diffusion Policy (DP3)는 간단한 2D 이미지 대신 소형 3D point cloud representations에 정책을 조건화함으로써 획기적인 발전을 이루었습니다. 이는 로봇의 공간 인지 능력을 크게 향상시키면서도 필요한 전문가 시연 횟수를 획기적으로 줄였습니다. D3P: Dynamic Denoising Diffusion Policy와 같은 추가적인 혁신은 일상적인 작업에 대해 노이즈 제거 단계를 동적으로 건너뜀으로써 표준 확산 방식의 느린 추론 속도 문제를 해결하기 시작하여 실시간 대응 능력을 확보했습니다.

Link to this section컴퓨터 비전을 활용한 실무 구현#

diffusion policy가 작업을 생성하기 전에 환경에 대한 명확하고 구조화된 이해가 필요합니다. 엔지니어들은 강력한 object detection 모델과 정책 알고리즘을 결합하여 완전한 computer vision pipeline을 형성합니다. 예를 들어, Ultralytics YOLO26과 같은 빠른 인지 모델은 실시간으로 대상 객체를 분리하여 PyTorch library 기반의 diffusion policy에 공간 좌표를 제공할 수 있습니다.

import torch
from ultralytics import YOLO

# Load the Ultralytics YOLO26 Nano model for high-speed robotic perception
model = YOLO("yolo26n.pt")

# Predict bounding boxes on the robot's active camera feed
results = model.predict("robot_camera_feed.jpg")

# Condition the policy by extracting the bounding box center coordinate
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xyxy.squeeze()
    center_x = (box[0] + box[2]) / 2.0
    center_y = (box[1] + box[3]) / 2.0

    # Create a spatial observation tensor to condition the PyTorch Diffusion Policy.
    # This directly guides the denoising process to generate accurate motor actions.
    observation_state = torch.tensor([center_x, center_y])
    print(f"Conditioning action trajectory on object center: {observation_state}")

이 워크플로우를 간소화하기 위해 개발자는 Ultralytics Platform을 사용하여 맞춤형 데이터셋을 위한 빠른 auto-annotation tools을 활용할 수 있습니다. 이러한 엔드투엔드 지원은 원시 카메라 피드에서 실행 가능한 로봇 지능으로의 model deployment를 가속화합니다.