Flow Matching

Flow matching은 데이터 포인트의 연속적인 흐름을 시간 경과에 따라 직접 모델링하여 단순한 노이즈 분포를 복잡한 데이터 분포로 변환하는 방법을 학습하는 생성 모델링 프레임워크입니다. 복잡한 다단계 노이즈 제거 과정에 의존하는 기존 방법과 달리, flow matching은 소스 분포(노이즈)와 타겟 분포(데이터) 사이에 직선과 같은 더 간단하고 직접적인 경로를 정의합니다. 이 접근 방식은 generative AI 모델의 학습을 크게 간소화하여 더 빠른 수렴, 향상된 안정성, 그리고 더 높은 품질의 결과물을 만들어냅니다. prior 상태에서 원하는 데이터 상태로 확률 밀도를 이동시키는 벡터 필드를 학습함으로써, 표준 diffusion models에 대한 강력한 대안을 제공합니다.

Link to this section핵심 개념 및 메커니즘#

flow matching의 핵심은 단순한 주변 확률보다는 데이터 변환의 속도에 초점을 맞추어 생성 과정을 단순화하는 데 있습니다. 이 방법은 연속 정규화 흐름(continuous normalizing flows)에서 영감을 얻었지만, 정확한 우도를 계산하는 데 드는 높은 계산 비용을 피합니다.

• Vector Fields: flow matching의 핵심 구성 요소는 시공간의 주어진 지점에 대해 속도 벡터를 예측하는 신경망입니다. 이 벡터는 데이터 포인트가 현실적인 샘플이 되기 위해 어느 방향으로 이동해야 하는지를 알려줍니다.
• Optimal Transport: flow matching은 종종 한 분포에서 다른 분포로 질량을 이동시키는 가장 효율적인 경로를 찾는 것을 목표로 합니다. 이동 거리를 최소화함으로써 모델은 더 빠른 추론 시간을 달성할 수 있습니다. optimal transport와 같은 기법은 이러한 직선 경로를 정의하여 노이즈가 기하학적으로 일관된 방식으로 데이터에 매핑되도록 돕습니다.
• Conditional Generation: Ultralytics YOLO26이 입력 이미지에 따라 감지를 조건화하는 방식과 유사하게, flow matching은 클래스 레이블이나 텍스트 프롬프트를 기반으로 생성을 조건화할 수 있습니다. 이를 통해 생성된 콘텐츠를 정밀하게 제어할 수 있으며, 이는 최신 text-to-image 및 text-to-video 파이프라인의 핵심 기능입니다.

Link to this sectionFlow Matching 대 Diffusion Models#

flow matching과 diffusion models 모두 생성 모델링의 목적을 수행하지만, 수학적 공식화와 학습 효율성 면에서 차이가 있습니다.

• Diffusion Models: 이 모델들은 일반적으로 데이터에 점진적으로 노이즈를 추가한 후 이 과정을 역으로 학습하는 확률 미분 방정식(SDE)에 의존합니다. 역방향 경로는 종종 곡선 형태이며 inference 과정에서 많은 이산적 단계를 요구하므로 생성 속도가 느려질 수 있습니다.
• Flow Matching: 이 접근 방식은 본질적으로 노이즈와 데이터 사이의 궤적을 '직선화'합니다. 더 곧은 경로를 가진 결정론적 상미분 방정식(ODE)을 학습함으로써, flow matching은 샘플링 중에 더 큰 스텝 크기를 사용할 수 있게 합니다. 이는 품질 저하 없이 생성 속도를 더 빠르게 하며, real-time inference 시나리오에서의 주요 병목 현상을 해결합니다.

Link to this section실제 애플리케이션 사례#

flow matching의 효율성과 높은 충실도는 다양한 최첨단 AI 분야에서 빠른 채택을 이끌어냈습니다.

• 고해상도 이미지 합성: flow matching은 최신 이미지 생성기를 구동하는 데 점점 더 많이 사용되고 있습니다. 궤적을 더 직선으로 만들어줌으로써, 이 모델들은 Stable Diffusion과 같은 이전 아키텍처에 비해 더 적은 샘플링 단계로도 사실적인 이미지를 생성할 수 있습니다. 이러한 효율성은 소비자용 하드웨어나 데이터 증강을 위한 Ultralytics Platform 내에서 생성 도구를 배포하는 데 매우 중요합니다.
• 생성 음성 및 오디오: speech synthesis 영역에서 flow matching은 매우 자연스러운 인간 음성 생성을 가능하게 합니다. 자기회귀 모델(autoregressive models)보다 음높이와 톤의 연속적인 변화를 더 효과적으로 모델링할 수 있어, 더 부드럽고 표현력이 풍부한 text-to-speech 시스템을 구현할 수 있습니다.
• 3D 포인트 클라우드 생성: 3D 에셋을 생성하려면 복잡한 공간 관계를 모델링해야 합니다. flow matching은 더 높은 차원으로 효과적으로 확장되므로 상세한 3D object detection 데이터셋이나 가상 환경용 에셋을 만드는 데 적합합니다.

Link to this sectionFlow Matching 개념 구현#

flow matching에는 복잡한 학습 루프가 포함되지만, 노이즈를 변환한다는 개념은 기본적인 텐서 연산을 사용하여 시각화할 수 있습니다. 다음 예제는 flow matching 벡터 필드가 데이터를 안내하는 방식과 유사하게, 방향 벡터를 사용하여 노이즈 분포에서 타겟으로 포인트를 이동시키는 단순화된 개념을 보여줍니다.

import torch

# Simulate 'noise' data (source distribution)
noise = torch.randn(5, 2)

# Simulate 'target' data means (destination distribution)
target_means = torch.tensor([[2.0, 2.0], [-2.0, -2.0], [2.0, -2.0], [-2.0, 2.0], [0.0, 0.0]])

# Calculate a simple linear path (velocity) from noise to target
# In a real Flow Matching model, a neural network predicts this velocity
time_step = 0.5  # Move halfway
velocity = target_means - noise
next_state = noise + velocity * time_step

print(f"Start:\n{noise}\nNext State (t={time_step}):\n{next_state}")

Link to this section향후 방향 및 연구#

2025년 기준으로, flow matching은 계속해서 진화하고 있으며 연구는 이러한 모델을 더 큰 데이터셋과 더 복잡한 모달리티로 확장하는 데 집중하고 있습니다. 연구자들은 생성 작업에서 의미론적 이해를 향상하기 위해 flow matching과 large language models을 결합하는 방법을 조사하고 있습니다. 또한, 비디오 생성 파이프라인에 flow matching을 통합함으로써 AI 생성 비디오에서 흔히 보이는 '깜빡임' 현상을 해결하고 시간적 일관성을 확보하는 길을 열고 있습니다. 이는 멀티모달 작업을 원활하게 처리할 수 있는 통합된 foundation models을 향한 광범위한 산업 트렌드와 일치합니다.