YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Latent Consistency Models (LCMs)

잠재 일관성 모델(LCM)은 Stable Diffusion을 1~4단계로 이미지를 생성하는 모델로 증류합니다. 증류, LCM-LoRA, 속도를 다룹니다.

잠재 일관성 모델(LCM)은 텍스트-이미지 모델로, 일반적인 20~50회의 샘플링 단계 대신 1~4회의 샘플링 단계만으로 이미지를 생성하도록 잠재 확산 모델(예: Stable Diffusion)에서 증류되었습니다. 이 모델은 디노이징 경로상의 임의의 노이즈 지점을 노이즈가 제거된 종점으로 직접 매핑하는 네트워크인 일관성 모델의 개념을 원본 모델의 압축된 잠재 공간 내에 적용합니다. 텍스트 인코더와 이미지 디코더는 변경 없이 재사용되며, 학생 모델은 교사 모델의 U-Net 가중치로 초기화됩니다. 칭화대학교의 Simian Luo, Yiqin Tan, Longbo Huang, Jian Li, Hang Zhao는 2023년 10월 잠재 일관성 모델: 소수 단계 추론을 통한 고해상도 이미지 합성에서 LCM을 소개했으며, 2~4단계로 샘플링하는 768 x 768 모델을 학습하는 데 A100 GPU 기준으로 단 32시간이 걸렸다고 보고했습니다.

잠재 일관성 증류의 작동 방식#

표준 확산 모델은 순수 노이즈 잠재 변수에서 깨끗한 잠재 변수로 이동하는 확률 흐름 상미분방정식(ODE)을 한 번에 조금씩 풀어 이미지를 생성합니다. 오토인코더의 디코더가 깨끗한 잠재 변수를 픽셀로 변환합니다. 잠재 일관성 증류는 U-Net의 학생 모델을 학습시켜 이 전체 과정을 한 번의 호출로 수행하도록 합니다. 각 학습 단계에서 고정된 교사 모델은 궤적을 따라 ODE 솔버를 한 단계 실행하며, 학생 모델은 해당 단계의 양 끝에서 동일한 깨끗한 잠재 변수를 예측해야 합니다:

무작위 시점에 대해 이를 반복하면 궤적의 모든 지점이 동일한 출력으로 수렴합니다. 텍스트-이미지 모델에 적용하려면 두 가지 변경이 필요합니다. 교사 모델의 단계에는 이미 스케일 w의 분류기 없는 안내가 포함되어 있으며, w를 학생 모델의 입력으로 사용하면 안내 이미지를 순전파 두 번이 아니라 한 번으로 생성할 수 있습니다. 스킵 단계 스케줄은 교사 모델이 한 번에 한 시점 대신 k개 시점을 건너뛰게 하여 수렴 속도를 높입니다. 교사 모델이 필요 없는 잠재 일관성 미세 조정 방식은 기존 LCM을 사용자 지정 데이터셋에 맞게 조정합니다.

일관성 증류는 지식 증류의 한 형태입니다. 교사-학생 학습 방식은 Ultralytics YOLO26 학습에서도 지원되며, distill_model 인자를 통해 사용할 수 있습니다. yolo26n.pt을 distill_model="yolo26s.pt"와 함께 학습하면 나노 학생 모델이 더 큰 모델의 특징 맵을 모방하므로 추론 비용을 추가하지 않고 COCO에서 학생 모델의 mAP를 높일 수 있습니다.

네 단계로 샘플링#

LCM은 도약과 노이즈 재주입을 번갈아 수행해 샘플링합니다. 순수 노이즈에서 깨끗한 잠재 변수를 예측한 뒤, 새로운 노이즈를 더해 그 예측을 더 작은 시점으로 되돌리고 다시 예측한 다음 마지막 예측을 디코딩합니다. Hugging Face diffusers의 LCMScheduler은 Stable Diffusion의 1,000단계 학습 스케줄에서 해당 시점을 선택합니다:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

DDIM 샘플러는 U-Net을 단계마다 한 번 호출하며 시점 980부터 20씩 감소해 진행합니다. 반면 LCM은 시점 999, 759, 499, 259만 방문합니다. 단계를 추가할 때마다 모델이 이전 예측의 세부 사항을 보정하므로, 한 단계에서 네 단계로 늘리면 품질이 높아집니다.

LCM-LoRA 및 실시간 활용#

원 논문 발표 한 달 후, 저자들과 Hugging Face 엔지니어들은 증류 결과를 새로운 가중치 전체 대신 LoRA 어댑터에 저장하는 LCM-LoRA를 공개했습니다. Stable Diffusion v1.5, SSD-1B, SDXL용으로 학습했으며, 추가 학습 없이 동일한 기본 모델의 미세 조정된 체크포인트 및 스타일 LoRA와 결합할 수 있습니다. 적은 단계로 샘플링할 수 있어 대화형 도구의 실시간 추론이 가능해졌습니다. 오픈 소스 StreamDiffusion 파이프라인은 RTX 4090 GPU 한 대에서 KohakuV2 체크포인트와 LCM-LoRA를 사용해 텍스트-이미지를 4회의 노이즈 제거 단계와 초당 38프레임으로 처리했습니다.

  • 일관성 모델: OpenAI의 최초 공식으로, 픽셀에서 직접 작동하며 CIFAR-10과 ImageNet 64 x 64에서 벤치마크를 수행했습니다. LCM은 이를 잠재 공간으로 확장하고 텍스트 조건 입력과 안내를 추가합니다.
  • 적대적 확산 증류: 2023년 11월에 발표된 Stability AI의 SDXL Turbo는 증류 손실에 판별기를 추가해 한 단계에서 네 단계로 생성합니다.
  • 대규모 개념 모델: Meta의 대규모 개념 모델도 LCM이라는 약어를 사용하지만, 이미지 생성과는 관련이 없는 언어 모델이며 문장 전체의 임베딩을 예측합니다.
  • 정류 흐름: 노이즈에서 데이터로 향하는 경로를 더 직선에 가깝게 학습해 샘플러에 필요한 단계를 줄입니다. Stable Diffusion 3과 FLUX가 이 접근 방식을 사용합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요