Diffusion Policies

Diffusion Policies는 robotics 및 machine learning 분야의 패러다임 전환을 나타내며, AI agent의 시각운동 정책(visuomotor policy)을 조건부 노이즈 제거 확산 프로세스(conditional denoising diffusion process)로 모델링합니다. 전통적으로 imitation learning의 일종인 behavior cloning은 센서 입력으로부터 단일 확정적 행동을 예측하기 위해 직접 회귀(direct regression)에 의존해 왔습니다. 단순한 작업에는 유용하지만, 직접 회귀는 유효한 행동이 여러 개인 경우 자주 실패하여 불안정하거나 안전하지 않은 평균화된 움직임을 초래합니다. Diffusion policies는 행동 생성을 시퀀스 개선 작업으로 구성하여 이 문제를 해결합니다. 순수한 무작위 노이즈에서 시작하여, 알고리즘은 이미지나 공간 상태 데이터 같은 감각 관찰을 조건으로 하여 신호를 반복적으로 정제(denoise)함으로써 매우 정확하고 강건하며 다중 모드인 행동 시퀀스를 생성합니다.

Diffusion Policies 작동 원리#

핵심 메커니즘은 generative modeling에 있는 수학적 원리에 기반을 두고 있으며, original visuomotor diffusion policy paper에서 고 fidelity 이미지 합성을 위해 원래 개발된 기법들을 적용합니다. 순방향 프로세스(forward process)로 알려진 훈련 단계에서는 최적의 전문가 행동 궤적에 소량의 노이즈가 점진적으로 추가됩니다. 그런 다음 주어진 관찰 컨텍스트를 기반으로 이 노이즈를 예측하고 역전시키도록 neural network가 훈련됩니다.

추론 단계에서 로봇이 환경과 상호작용할 때, 주변 환경을 관찰하고 무작위 행동 시퀀스를 초기화한 후 확률적 Langevin dynamics를 사용하여 노이즈를 제거합니다. 이 반복적인 최적화는 복잡하고 고차원적인 행동 공간을 처리할 수 있는 세밀하고 부드러운 모터 제어 명령을 산출합니다.

실제 애플리케이션 사례#

mode collapse 없이 복잡한 분포를 정확하게 표현함으로써, diffusion policies는 현대의 물리적 artificial intelligence를 적극적으로 재형성하고 있습니다.

• Robotic Manipulation: 산업 환경에서 로봇 팔은 불규칙한 모양의 물체 잡기, 복잡한 전자 장치 조립, 유연한 액체 따기 동작과 같이 정교하고 접촉이 많은 작업을 위해 이러한 정책을 활용합니다.
• Autonomous Navigation: 자율주행 시스템과 드론은 depth estimation과 diffusion policies를 결합하여 동적 환경 속에서 안전하고 지속적인 궤적을 계획하며, 자칫 표준 reinforcement learning 모델을 혼란스럽게 할 수 있는 갑작스러운 장애물에 우아하게 적응합니다.

주요 용어 구분#

Diffusion policies의 구체적인 기능을 명확히 하기 위해, 밀접하게 관련된 생성 아키텍처와 구별하는 것이 도움이 됩니다:

• Diffusion Policies vs. Diffusion Models: Diffusion Models는 텍스트-이미지 합성 같은 정적 데이터를 생성하는 데 사용되는 기본 생성 아키텍처를 광범위하게 지칭합니다. Diffusion Policies는 이 특정 메커니즘을 적용하여 활성 로봇을 위한 연속적인 시계열 모터 명령을 예측합니다.
• Diffusion Policies vs. Diffusion Forcing: Diffusion Forcing은 토큰마다 다양한 노이즈 수준을 사용하여 causal transformers를 훈련시키는 일반적인 시퀀스 생성 프레임워크입니다. 관련성은 있지만, diffusion forcing은 자기회귀적 예측에 크게 초점을 맞추는 반면, diffusion policies는 시각운동 제어를 위한 모방 학습 전략을 엄격하게 나타냅니다.

정책 학습의 최근 발전#

OpenAI research initiatives와 Google DeepMind robotics를 포함한 최고 기관들의 연구는 이러한 알고리즘이 달성할 수 있는 한계를 계속해서 넓혀가고 있습니다. 특히 published on arXiv in 2024에 발표된 3D Diffusion Policy (DP3)는 단순한 2D 이미지 대신 압축된 3D point cloud representations에 정책을 조건화함으로써 혁신을 이뤄냈습니다. 이는 전문가 시연을 획기적으로 적게 요구하면서도 로봇의 공간 인식 능력을 크게 향상시켰습니다. D3P: Dynamic Denoising Diffusion Policy와 같은 추가적인 혁신은 일상적인 작업에 대해 노이즈 제거 단계를 동적으로 건너뜀으로써 표준 확산의 느린 추론 속도를 해결하기 시작했고, 실시간 응답성을 열어주었습니다.

컴퓨터 비전을 활용한 실무 구현#

diffusion policy가 행동을 생성하기 전에, 환경에 대한 명확하고 구조화된 이해가 필요합니다. 엔지니어들은 완전한 computer vision pipeline을 형성하기 위해 강력한 object detection 모델을 정책 알고리즘과주로 결합합니다. 예를 들어, Ultralytics YOLO26과 같은 빠른 지각 모델은 실시간으로 타겟 객체를 격리할 수 있으며, 공간 좌표를 PyTorch library 기반 diffusion policy에 공급합니다.

import torch
from ultralytics import YOLO

# Load the Ultralytics YOLO26 Nano model for high-speed robotic perception
model = YOLO("yolo26n.pt")

# Predict bounding boxes on the robot's active camera feed
results = model.predict("robot_camera_feed.jpg")

# Condition the policy by extracting the bounding box center coordinate
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xyxy.squeeze()
    center_x = (box[0] + box[2]) / 2.0
    center_y = (box[1] + box[3]) / 2.0

    # Create a spatial observation tensor to condition the PyTorch Diffusion Policy.
    # This directly guides the denoising process to generate accurate motor actions.
    observation_state = torch.tensor([center_x, center_y])
    print(f"Conditioning action trajectory on object center: {observation_state}")

이 워크플로우를 간소화하기 위해 개발자는 Ultralytics Platform을 사용하여 맞춤형 데이터셋을 위한 빠른 auto-annotation tools을 활용할 수 있습니다. 이 엔드투엔드 지원은 원시 카메라 피드에서 실행 가능한 로봇 지능으로의 model deployment를 가속화합니다.