Consistency Models
일관성 모델은 확산 궤적상의 임의의 노이즈 지점을 깨끗한 데이터로 바로 매핑하므로 한두 단계로 이미지를 생성합니다. 학습 방식을 알아봅니다.
일관성 모델은 확산 모델의 노이즈 제거 궤적에서 어느 지점을 입력해도 해당 궤적의 깨끗한 시작점으로 바로 매핑하는 생성형 AI 모델입니다. 따라서 네트워크를 한 번만 실행해 순수 노이즈를 샘플로 변환할 수 있습니다. 확산 모델은 수십~수백 단계에 걸쳐 노이즈를 제거해 같은 결과를 얻으므로 실시간 추론에 사용하기에는 느립니다. OpenAI의 Yang Song, Prafulla Dhariwal, Mark Chen, Ilya Sutskever는 2023년 3월 일관성 모델 논문에서 일관성 모델을 소개했습니다. 이들은 한 단계 생성 기준으로 CIFAR-10에서 프레셰 인셉션 거리(FID) 점수 3.55, ImageNet 64 x 64에서 6.20을 보고했으며, 당시 한 단계 생성 결과 중 최고 성능이었습니다.
일관성 속성#
확산 샘플링은 각 노이즈 샘플을 결정론적 경로를 따라 정확히 하나의 데이터 샘플에 연결하는 확률 흐름 상미분방정식(ODE)으로 표현할 수 있습니다. 약한 노이즈에서 순수 노이즈에 이르기까지 경로상의 모든 지점은 동일한 시작점을 공유합니다. 일관성 함수 f(x, t)는 노이즈 수준 t의 지점 x를 시작점으로 매핑하며, 자기 일관성이란 하나의 궤적에 속한 모든 지점에서 같은 출력을 반환하는 것을 뜻합니다. 가장 낮은 노이즈 수준에서는 함수가 입력을 변경 없이 반환해야 합니다. 이 경계 조건은 해당 수준에서 입력에 적용되는 스킵 연결의 가중치를 1로, 신경망 출력의 가중치를 0으로 설정해 네트워크에 반영합니다.
1차원 가우시안 데이터에서는 일관성 함수를 닫힌 형태로 표현할 수 있으므로 PyTorch 코드 몇 줄로 두 가지 속성을 모두 확인할 수 있습니다:
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")궤적의 네 지점인 2.6, 3.34, 14.01, 98.0은 모두 2.6으로 매핑됩니다. 한 번 호출하면 순수 노이즈 표본 100,000개를 평균 1.99, 표준편차 0.50인 샘플로 변환해 데이터 분포와 일치시킵니다. 이미지에는 이러한 공식이 없으므로 네트워크가 데이터에서 f를 학습합니다.
증류 또는 처음부터 학습#
- 일관성 증류: 사전 학습된 확산 모델과 ODE 솔버가 노이즈가 있는 샘플을 한 단계 낮은 노이즈 수준으로 이동시키며, 손실 함수는 두 지점에서 모델이 출력한 결과가 일치하도록 학습합니다.
- 일관성 학습: 교사 모델이 필요하지 않습니다. 깨끗한 이미지 하나에 같은 노이즈 표본을 서로 다른 두 노이즈 수준으로 추가해 인접한 두 지점을 만들며, ODE를 풀지 않고 궤적을 추정합니다.
원 논문에서는 노이즈가 적은 지점의 출력을 모델 자체 가중치의 지수 이동 평균(EMA)으로 계산했습니다. 이 방식은 대상을 천천히 업데이트해 매 단계마다 대상이 바뀌는 것을 방지합니다. Ultralytics YOLO26도 학습 중 같은 유형의 평균을 유지합니다. 각 옵티마이저 단계 이후 EMA 모델 복사본을 업데이트하며, 감쇠율은 0.9999까지 증가합니다. 검증 및 저장되는 last.pt와 best.pt 체크포인트에는 이 복사본을 사용합니다. Song과 Dhariwal은 2023년 10월에 개선된 일관성 학습(iCT)을 제안하면서 대상 복사본의 EMA 감쇠율을 0으로 설정하고, LPIPS 지각 손실을 Pseudo-Huber 손실로 교체했습니다. 이들은 사전 학습된 확산 모델 없이 CIFAR-10에서 2.51, ImageNet 64 x 64에서 3.25의 한 단계 FID를 달성했습니다. Cheng Lu와 Yang Song의 연속 시간 sCM은 2024년 10월에 이 접근 방식을 15억 개의 파라미터 규모로 확장했으며, ImageNet 512 x 512에서 두 단계 FID 1.88을 기록했습니다.
다단계 샘플링 및 제로샷 편집#
한 단계로 가장 빠르게 샘플을 생성할 수 있으며, 단계를 몇 차례 더 추가하면 품질이 향상됩니다. 다단계 샘플링은 깨끗한 데이터로의 도약과 더 낮은 노이즈 수준으로의 노이즈 재주입을 번갈아 수행하므로, 각 단계에서 이전 추정값을 개선합니다:
같은 반복 과정을 태스크별 추가 학습 없이 이미지 편집에도 사용할 수 있습니다. 도약할 때마다 알려진 픽셀을 다시 적용하면 이미지 인페인팅이 되고, 다운샘플링하거나 그레이스케일로 변환한 결과를 제약 조건으로 사용하면 초해상도 또는 컬러화가 됩니다. 원 논문은 세 가지 방법을 모두 시연했습니다.
활용 분야 및 관련 방법#
- 잠재 일관성 모델(LCM): Stable Diffusion을 잠재 공간에서 실행되는 모델로 증류하여, 2023년 10월 오픈 모델에서 한 단계부터 네 단계까지의 텍스트-이미지 생성을 가능하게 했습니다.
- 확산 정책: 동작 시퀀스의 노이즈를 제거하는 로봇 제어기입니다. Stanford와 Princeton의 Aaditya Prasad 등은 2024년에 이를 Consistency Policy로 증류해 가장 빠른 대안보다 추론 속도를 10배 높였으며, 노트북 GPU에서 실행했습니다.
- 정류 흐름: 노이즈에서 데이터로 이어지는 경로 자체를 직선화하므로 일반 ODE 솔버도 적은 단계만으로 실행할 수 있습니다.
- 점진적 증류: Tim Salimans와 Jonathan Ho가 2022년에 제안한 방법으로, 증류를 반복할 때마다 확산 모델의 스텝 수를 절반으로 줄여 여러 차례 반복한 뒤 4스텝에 도달합니다. 반면 일관성 증류는 한 번에 한 스텝을 건너뛰도록 직접 학습합니다.










