YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Consistency Models

일관성 모델은 확산 궤적상의 임의의 노이즈 지점을 깨끗한 데이터로 바로 매핑하므로 한두 단계로 이미지를 생성합니다. 학습 방식을 알아봅니다.

일관성 모델은 확산 모델의 노이즈 제거 궤적에서 어느 지점을 입력해도 해당 궤적의 깨끗한 시작점으로 바로 매핑하는 생성형 AI 모델입니다. 따라서 네트워크를 한 번만 실행해 순수 노이즈를 샘플로 변환할 수 있습니다. 확산 모델은 수십~수백 단계에 걸쳐 노이즈를 제거해 같은 결과를 얻으므로 실시간 추론에 사용하기에는 느립니다. OpenAI의 Yang Song, Prafulla Dhariwal, Mark Chen, Ilya Sutskever는 2023년 3월 일관성 모델 논문에서 일관성 모델을 소개했습니다. 이들은 한 단계 생성 기준으로 CIFAR-10에서 프레셰 인셉션 거리(FID) 점수 3.55, ImageNet 64 x 64에서 6.20을 보고했으며, 당시 한 단계 생성 결과 중 최고 성능이었습니다.

일관성 속성#

확산 샘플링은 각 노이즈 샘플을 결정론적 경로를 따라 정확히 하나의 데이터 샘플에 연결하는 확률 흐름 상미분방정식(ODE)으로 표현할 수 있습니다. 약한 노이즈에서 순수 노이즈에 이르기까지 경로상의 모든 지점은 동일한 시작점을 공유합니다. 일관성 함수 f(x, t)는 노이즈 수준 t의 지점 x를 시작점으로 매핑하며, 자기 일관성이란 하나의 궤적에 속한 모든 지점에서 같은 출력을 반환하는 것을 뜻합니다. 가장 낮은 노이즈 수준에서는 함수가 입력을 변경 없이 반환해야 합니다. 이 경계 조건은 해당 수준에서 입력에 적용되는 스킵 연결의 가중치를 1로, 신경망 출력의 가중치를 0으로 설정해 네트워크에 반영합니다.

1차원 가우시안 데이터에서는 일관성 함수를 닫힌 형태로 표현할 수 있으므로 PyTorch 코드 몇 줄로 두 가지 속성을 모두 확인할 수 있습니다:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

궤적의 네 지점인 2.6, 3.34, 14.01, 98.0은 모두 2.6으로 매핑됩니다. 한 번 호출하면 순수 노이즈 표본 100,000개를 평균 1.99, 표준편차 0.50인 샘플로 변환해 데이터 분포와 일치시킵니다. 이미지에는 이러한 공식이 없으므로 네트워크가 데이터에서 f를 학습합니다.

증류 또는 처음부터 학습#

  • 일관성 증류: 사전 학습된 확산 모델과 ODE 솔버가 노이즈가 있는 샘플을 한 단계 낮은 노이즈 수준으로 이동시키며, 손실 함수는 두 지점에서 모델이 출력한 결과가 일치하도록 학습합니다.
  • 일관성 학습: 교사 모델이 필요하지 않습니다. 깨끗한 이미지 하나에 같은 노이즈 표본을 서로 다른 두 노이즈 수준으로 추가해 인접한 두 지점을 만들며, ODE를 풀지 않고 궤적을 추정합니다.

원 논문에서는 노이즈가 적은 지점의 출력을 모델 자체 가중치의 지수 이동 평균(EMA)으로 계산했습니다. 이 방식은 대상을 천천히 업데이트해 매 단계마다 대상이 바뀌는 것을 방지합니다. Ultralytics YOLO26도 학습 중 같은 유형의 평균을 유지합니다. 각 옵티마이저 단계 이후 EMA 모델 복사본을 업데이트하며, 감쇠율은 0.9999까지 증가합니다. 검증 및 저장되는 last.pt와 best.pt 체크포인트에는 이 복사본을 사용합니다. Song과 Dhariwal은 2023년 10월에 개선된 일관성 학습(iCT)을 제안하면서 대상 복사본의 EMA 감쇠율을 0으로 설정하고, LPIPS 지각 손실을 Pseudo-Huber 손실로 교체했습니다. 이들은 사전 학습된 확산 모델 없이 CIFAR-10에서 2.51, ImageNet 64 x 64에서 3.25의 한 단계 FID를 달성했습니다. Cheng Lu와 Yang Song의 연속 시간 sCM은 2024년 10월에 이 접근 방식을 15억 개의 파라미터 규모로 확장했으며, ImageNet 512 x 512에서 두 단계 FID 1.88을 기록했습니다.

다단계 샘플링 및 제로샷 편집#

한 단계로 가장 빠르게 샘플을 생성할 수 있으며, 단계를 몇 차례 더 추가하면 품질이 향상됩니다. 다단계 샘플링은 깨끗한 데이터로의 도약과 더 낮은 노이즈 수준으로의 노이즈 재주입을 번갈아 수행하므로, 각 단계에서 이전 추정값을 개선합니다:

같은 반복 과정을 태스크별 추가 학습 없이 이미지 편집에도 사용할 수 있습니다. 도약할 때마다 알려진 픽셀을 다시 적용하면 이미지 인페인팅이 되고, 다운샘플링하거나 그레이스케일로 변환한 결과를 제약 조건으로 사용하면 초해상도 또는 컬러화가 됩니다. 원 논문은 세 가지 방법을 모두 시연했습니다.

  • 잠재 일관성 모델(LCM): Stable Diffusion을 잠재 공간에서 실행되는 모델로 증류하여, 2023년 10월 오픈 모델에서 한 단계부터 네 단계까지의 텍스트-이미지 생성을 가능하게 했습니다.
  • 확산 정책: 동작 시퀀스의 노이즈를 제거하는 로봇 제어기입니다. Stanford와 Princeton의 Aaditya Prasad 등은 2024년에 이를 Consistency Policy로 증류해 가장 빠른 대안보다 추론 속도를 10배 높였으며, 노트북 GPU에서 실행했습니다.
  • 정류 흐름: 노이즈에서 데이터로 이어지는 경로 자체를 직선화하므로 일반 ODE 솔버도 적은 단계만으로 실행할 수 있습니다.
  • 점진적 증류: Tim Salimans와 Jonathan Ho가 2022년에 제안한 방법으로, 증류를 반복할 때마다 확산 모델의 스텝 수를 절반으로 줄여 여러 차례 반복한 뒤 4스텝에 도달합니다. 반면 일관성 증류는 한 번에 한 스텝을 건너뛰도록 직접 학습합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요