Latent Consistency Models (LCMs)
잠재 일관성 모델(LCM)은 Stable Diffusion을 1~4단계로 이미지를 생성하는 모델로 증류합니다. 증류, LCM-LoRA, 속도를 다룹니다.
잠재 일관성 모델(LCM)은 텍스트-이미지 모델로, 일반적인 20~50회의 샘플링 단계 대신 1~4회의 샘플링 단계만으로 이미지를 생성하도록 잠재 확산 모델(예: Stable Diffusion)에서 증류되었습니다. 이 모델은 디노이징 경로상의 임의의 노이즈 지점을 노이즈가 제거된 종점으로 직접 매핑하는 네트워크인 일관성 모델의 개념을 원본 모델의 압축된 잠재 공간 내에 적용합니다. 텍스트 인코더와 이미지 디코더는 변경 없이 재사용되며, 학생 모델은 교사 모델의 U-Net 가중치로 초기화됩니다. 칭화대학교의 Simian Luo, Yiqin Tan, Longbo Huang, Jian Li, Hang Zhao는 2023년 10월 잠재 일관성 모델: 소수 단계 추론을 통한 고해상도 이미지 합성에서 LCM을 소개했으며, 2~4단계로 샘플링하는 768 x 768 모델을 학습하는 데 A100 GPU 기준으로 단 32시간이 걸렸다고 보고했습니다.
잠재 일관성 증류의 작동 방식#
표준 확산 모델은 순수 노이즈 잠재 변수에서 깨끗한 잠재 변수로 이동하는 확률 흐름 상미분방정식(ODE)을 한 번에 조금씩 풀어 이미지를 생성합니다. 오토인코더의 디코더가 깨끗한 잠재 변수를 픽셀로 변환합니다. 잠재 일관성 증류는 U-Net의 학생 모델을 학습시켜 이 전체 과정을 한 번의 호출로 수행하도록 합니다. 각 학습 단계에서 고정된 교사 모델은 궤적을 따라 ODE 솔버를 한 단계 실행하며, 학생 모델은 해당 단계의 양 끝에서 동일한 깨끗한 잠재 변수를 예측해야 합니다:
무작위 시점에 대해 이를 반복하면 궤적의 모든 지점이 동일한 출력으로 수렴합니다. 텍스트-이미지 모델에 적용하려면 두 가지 변경이 필요합니다. 교사 모델의 단계에는 이미 스케일 w의 분류기 없는 안내가 포함되어 있으며, w를 학생 모델의 입력으로 사용하면 안내 이미지를 순전파 두 번이 아니라 한 번으로 생성할 수 있습니다. 스킵 단계 스케줄은 교사 모델이 한 번에 한 시점 대신 k개 시점을 건너뛰게 하여 수렴 속도를 높입니다. 교사 모델이 필요 없는 잠재 일관성 미세 조정 방식은 기존 LCM을 사용자 지정 데이터셋에 맞게 조정합니다.
일관성 증류는 지식 증류의 한 형태입니다. 교사-학생 학습 방식은 Ultralytics YOLO26 학습에서도 지원되며, distill_model 인자를 통해 사용할 수 있습니다. yolo26n.pt을 distill_model="yolo26s.pt"와 함께 학습하면 나노 학생 모델이 더 큰 모델의 특징 맵을 모방하므로 추론 비용을 추가하지 않고 COCO에서 학생 모델의 mAP를 높일 수 있습니다.
네 단계로 샘플링#
LCM은 도약과 노이즈 재주입을 번갈아 수행해 샘플링합니다. 순수 노이즈에서 깨끗한 잠재 변수를 예측한 뒤, 새로운 노이즈를 더해 그 예측을 더 작은 시점으로 되돌리고 다시 예측한 다음 마지막 예측을 디코딩합니다. Hugging Face diffusers의 LCMScheduler은 Stable Diffusion의 1,000단계 학습 스케줄에서 해당 시점을 선택합니다:
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")DDIM 샘플러는 U-Net을 단계마다 한 번 호출하며 시점 980부터 20씩 감소해 진행합니다. 반면 LCM은 시점 999, 759, 499, 259만 방문합니다. 단계를 추가할 때마다 모델이 이전 예측의 세부 사항을 보정하므로, 한 단계에서 네 단계로 늘리면 품질이 높아집니다.
LCM-LoRA 및 실시간 활용#
원 논문 발표 한 달 후, 저자들과 Hugging Face 엔지니어들은 증류 결과를 새로운 가중치 전체 대신 LoRA 어댑터에 저장하는 LCM-LoRA를 공개했습니다. Stable Diffusion v1.5, SSD-1B, SDXL용으로 학습했으며, 추가 학습 없이 동일한 기본 모델의 미세 조정된 체크포인트 및 스타일 LoRA와 결합할 수 있습니다. 적은 단계로 샘플링할 수 있어 대화형 도구의 실시간 추론이 가능해졌습니다. 오픈 소스 StreamDiffusion 파이프라인은 RTX 4090 GPU 한 대에서 KohakuV2 체크포인트와 LCM-LoRA를 사용해 텍스트-이미지를 4회의 노이즈 제거 단계와 초당 38프레임으로 처리했습니다.
LCM과 관련 용어 비교#
- 일관성 모델: OpenAI의 최초 공식으로, 픽셀에서 직접 작동하며 CIFAR-10과 ImageNet 64 x 64에서 벤치마크를 수행했습니다. LCM은 이를 잠재 공간으로 확장하고 텍스트 조건 입력과 안내를 추가합니다.
- 적대적 확산 증류: 2023년 11월에 발표된 Stability AI의 SDXL Turbo는 증류 손실에 판별기를 추가해 한 단계에서 네 단계로 생성합니다.
- 대규모 개념 모델: Meta의 대규모 개념 모델도 LCM이라는 약어를 사용하지만, 이미지 생성과는 관련이 없는 언어 모델이며 문장 전체의 임베딩을 예측합니다.
- 정류 흐름: 노이즈에서 데이터로 향하는 경로를 더 직선에 가깝게 학습해 샘플러에 필요한 단계를 줄입니다. Stable Diffusion 3과 FLUX가 이 접근 방식을 사용합니다.










