Latent Consistency Models (LCMs)
Model nhất quán tiềm ẩn (LCM) chưng cất Stable Diffusion thành model tạo ảnh chỉ trong một đến bốn bước. Nội dung bao gồm chưng cất, LCM-LoRA và tốc độ.
Model nhất quán tiềm ẩn (LCM) là model văn bản thành ảnh được chưng cất từ một model khuếch tán tiềm ẩn như Stable Diffusion, nhờ đó tạo ảnh chỉ trong một đến bốn bước lấy mẫu thay vì 20 đến 50 bước như thông thường. Phương pháp này áp dụng ý tưởng model nhất quán—một mạng ánh xạ trực tiếp mọi điểm nhiễu trên quỹ đạo khử nhiễu về điểm cuối sạch của quỹ đạo—bên trong không gian tiềm ẩn đã nén của model gốc. Text encoder và image decoder được tái sử dụng nguyên trạng, còn student bắt đầu từ trọng số U-Net của teacher. Simian Luo, Yiqin Tan, Longbo Huang, Jian Li và Hang Zhao thuộc Đại học Thanh Hoa giới thiệu LCM vào tháng 10 năm 2023 trong bài báo Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference, báo cáo rằng model 768 x 768 lấy mẫu trong 2 đến 4 bước chỉ cần 32 giờ GPU A100 để huấn luyện.
Cách hoạt động của chưng cất nhất quán tiềm ẩn#
Model khuếch tán tiêu chuẩn tạo mẫu bằng cách giải phương trình vi phân thường của dòng xác suất (ODE), từng bước nhỏ một, từ latent nhiễu hoàn toàn đến latent sạch mà decoder của autoencoder chuyển thành pixel. Chưng cất nhất quán tiềm ẩn huấn luyện một bản sao student của U-Net để hoàn thành toàn bộ quá trình chỉ trong một lần gọi. Ở mỗi bước huấn luyện, teacher đã đóng băng thực hiện một bước của bộ giải ODE dọc theo quỹ đạo, còn student phải dự đoán cùng một latent sạch từ cả hai đầu của bước đó:
Lặp lại trên các mốc thời gian ngẫu nhiên sẽ kéo mọi điểm trên quỹ đạo về cùng một đầu ra. Hai thay đổi giúp phương pháp này hoạt động với model văn bản thành ảnh. Bước của teacher vốn đã bao gồm classifier-free guidance với hệ số w; w trở thành đầu vào của student, nhờ vậy ảnh có hướng dẫn chỉ tốn một lượt forward pass thay vì hai. Lịch bỏ qua bước cho teacher nhảy cùng lúc k mốc thời gian thay vì một, giúp tăng tốc độ hội tụ. Một biến thể không dùng teacher, gọi là fine-tuning nhất quán tiềm ẩn, điều chỉnh LCM hiện có cho tập dữ liệu tùy chỉnh.
Chưng cất nhất quán là một dạng chưng cất tri thức, theo mô hình teacher-student mà quá trình huấn luyện Ultralytics YOLO26 cũng hỗ trợ thông qua đối số distill_model: huấn luyện yolo26n.pt với distill_model="yolo26s.pt" giúp student nano khớp với feature map của model lớn hơn, qua đó cải thiện mAP của student trên COCO mà không làm tăng chi phí inference.
Lấy mẫu trong bốn bước#
LCM lấy mẫu bằng cách luân phiên các bước nhảy và thêm nhiễu trở lại. Model dự đoán latent sạch từ nhiễu thuần, thêm nhiễu mới để đưa dự đoán đó về một mốc thời gian nhỏ hơn, dự đoán lại rồi giải mã dự đoán cuối cùng. LCMScheduler trong Hugging Face diffusers chọn các mốc thời gian này từ lịch huấn luyện 1.000 bước của Stable Diffusion:
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")Sampler DDIM đi xuống từ mốc thời gian 980 theo từng bước 20, mỗi bước gọi U-Net một lần; trong khi đó, LCM chỉ đi qua các mốc thời gian 999, 759, 499 và 259. Mỗi bước bổ sung cho phép model hiệu chỉnh chi tiết của dự đoán trước, nên chất lượng tăng dần từ một bước lên bốn bước.
LCM-LoRA và các ứng dụng thời gian thực#
Một tháng sau bài báo gốc, các tác giả và kỹ sư Hugging Face phát hành LCM-LoRA, lưu phần chưng cất dưới dạng adapter LoRA thay vì một tập trọng số mới đầy đủ. Họ huấn luyện adapter cho Stable Diffusion v1.5, SSD-1B và SDXL; adapter có thể gắn vào các checkpoint đã fine-tune và LoRA phong cách của cùng model cơ sở mà không cần huấn luyện thêm. Lấy mẫu với ít bước giúp inference thời gian thực trở nên khả thi trong các công cụ tương tác: pipeline mã nguồn mở StreamDiffusion chạy LCM-LoRA với checkpoint KohakuV2 ở 4 bước khử nhiễu và 38 khung hình mỗi giây cho tác vụ văn bản thành ảnh trên một GPU RTX 4090.
LCM và các thuật ngữ liên quan#
- Model nhất quán: Cách xây dựng ban đầu của OpenAI, hoạt động trực tiếp trên pixel và được benchmark trên CIFAR-10 và ImageNet 64 x 64. LCM đưa phương pháp này vào không gian tiềm ẩn, đồng thời bổ sung điều kiện hóa văn bản và guidance.
- Chưng cất khuếch tán đối kháng: SDXL Turbo của Stability AI, cũng ra mắt vào tháng 11 năm 2023, đạt kết quả trong một đến bốn bước bằng cách thêm discriminator vào loss chưng cất.
- Model khái niệm lớn: Model khái niệm lớn của Meta dùng chung chữ viết tắt LCM, nhưng là các model ngôn ngữ dự đoán embedding của cả câu và không liên quan đến việc tạo ảnh.
- Rectified flow: Huấn luyện các quỹ đạo từ nhiễu đến dữ liệu thẳng hơn để sampler cần ít bước hơn; đây là phương pháp đứng sau Stable Diffusion 3 và FLUX.










