Diffusion Forcing

Diffusion Forcing은 2024년에 도입된 고급 생성 모델링 패러다임으로, 자기회귀 방식의 다음 토큰 예측과 전체 시퀀스 디퓨전의 강점을 결합합니다. 이 기술은 시퀀스 내의 서로 다른 단계에 독립적이고 가변적인 노이즈 레벨을 적용하여 machine learning 모델이 일관성이 매우 높은 시계열 데이터를 생성할 수 있도록 합니다. 이산 토큰을 하나씩 예측하거나 전체 시퀀스를 동시에 디노이징하는 전통적인 방식과 달리, Diffusion Forcing은 모델이 강력한 플래너 및 시퀀스 생성기로 작동하도록 훈련시키며 복잡하고 장기적인 종속성을 가진 연속 상태를 처리합니다.

Diffusion Forcing의 작동 원리#

핵심적으로 Diffusion Forcing은 순환 신경망에서 사용되는 고전적인 teacher forcing에서 영감을 받았습니다. 그러나 다음 단계를 예측하기 위해 정답(Ground-truth) 이산 토큰을 주입하는 대신, 부분적으로 노이즈가 추가된 연속 히스토리를 인과적 Transformer에 입력합니다. 모델은 과거를 조건으로 하여 현재 상태를 디노이징하는 법을 학습합니다. 이를 통해 네트워크는 프레임별로 노이즈 레벨을 동적으로 조정할 수 있어, 국소적인 정밀도와 넓은 시간적 인식이 모두 필요한 작업에 유연한 프레임워크를 제공합니다.

이 접근 방식은 표준 자기회귀 모델에서 흔히 발생하는 누적 오차 문제를 우회하면서, 장기적인 계획을 준수하는 동시에 예측 불가능한 환경에 반응해야 하는 지능형 AI agents를 구축할 때 매우 유익합니다.

실제 애플리케이션 사례#

Diffusion Forcing은 여러 복잡한 artificial intelligence 영역에서 빠르게 주목을 받고 있습니다.

• Robotics and Visuo-Motor Control: 자율주행 로봇 팔과 자율주행 시스템은 Diffusion Forcing을 사용하여 부드럽고 연속적인 궤적 계획을 생성합니다. 로봇은 연속적인 모터 명령 시퀀스를 예측함으로써 목표를 향한 안정적인 경로를 유지하면서 동적 장애물에 적응할 수 있습니다.
• Video Generation and Forecasting: 고급 computer vision 파이프라인에서 모델은 이 기술을 활용하여 엄격한 시간적 일관성을 유지하면서 미래의 비디오 프레임을 예측하며, 이전 생성 접근 방식에서 흔히 볼 수 있는 깜빡임 아티팩트를 방지합니다.

Diffusion Forcing과 표준 Diffusion Models 비교#

Diffusion Forcing은 기본적인 디노이징 메커니즘을 공유하지만, 표준 Diffusion Models과는 확연히 다릅니다. text-to-image 생성에 사용되는 것과 같은 전통적인 디퓨전 모델은 일반적으로 단일 정적 출력의 모든 픽셀 또는 잠재 변수를 동시에 디노이징합니다. 이와 대조적으로 Diffusion Forcing은 시계열을 명시적으로 모델링하여 네트워크가 인과적 시퀀스 순서를 준수하도록 강제합니다. 이로 인해 궤적 예측 및 action recognition과 같은 시계열 작업에 훨씬 더 적합합니다.

실무에서의 시퀀스 처리 통합#

Diffusion Forcing은 주로 생성 시퀀스 작업에 적용되지만, 현대 비전 파이프라인에서는 시계열 시퀀스를 해석하는 것도 마찬가지로 중요합니다. 예를 들어, object tracking 과정에서 시간적 일관성을 기본적으로 처리하는 Ultralytics YOLO26을 사용하여 순차적 비디오 프레임 전체에서 객체를 효율적으로 추적할 수 있습니다.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed inference
model = YOLO("yolo26n.pt")

# Process a temporal sequence (video) to maintain consistent object identities
results = model.track(source="path/to/video.mp4", stream=True)

# Iterate through the sequence of frames
for frame_result in results:
    # Access temporal tracking IDs for objects in the current state
    print(f"Tracked {len(frame_result.boxes)} objects in the current frame.")

시퀀스 데이터 수집을 확장하고 고급 비전 모델을 훈련하려는 팀을 위해 Ultralytics Platform은 복잡한 데이터셋을 관리하고, 실험을 추적하며, 모델을 엣지에 기본적으로 배포할 수 있는 강력한 클라우드 기반 도구를 제공합니다. PyTorch 환경에서 최첨단 인과적 transformers를 실험하든 실시간 추적 시스템을 배포하든, 공간 데이터와 시간 데이터의 교차점을 마스터하는 것은 AI의 미래를 위해 필수적입니다.