Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Latent Consistency Models (LCMs)

Model nhất quán tiềm ẩn (LCM) chưng cất Stable Diffusion thành model tạo ảnh chỉ trong một đến bốn bước. Nội dung bao gồm chưng cất, LCM-LoRA và tốc độ.

Model nhất quán tiềm ẩn (LCM) là model văn bản thành ảnh được chưng cất từ một model khuếch tán tiềm ẩn như Stable Diffusion, nhờ đó tạo ảnh chỉ trong một đến bốn bước lấy mẫu thay vì 20 đến 50 bước như thông thường. Phương pháp này áp dụng ý tưởng model nhất quán—một mạng ánh xạ trực tiếp mọi điểm nhiễu trên quỹ đạo khử nhiễu về điểm cuối sạch của quỹ đạo—bên trong không gian tiềm ẩn đã nén của model gốc. Text encoder và image decoder được tái sử dụng nguyên trạng, còn student bắt đầu từ trọng số U-Net của teacher. Simian Luo, Yiqin Tan, Longbo Huang, Jian Li và Hang Zhao thuộc Đại học Thanh Hoa giới thiệu LCM vào tháng 10 năm 2023 trong bài báo Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference, báo cáo rằng model 768 x 768 lấy mẫu trong 2 đến 4 bước chỉ cần 32 giờ GPU A100 để huấn luyện.

Cách hoạt động của chưng cất nhất quán tiềm ẩn#

Model khuếch tán tiêu chuẩn tạo mẫu bằng cách giải phương trình vi phân thường của dòng xác suất (ODE), từng bước nhỏ một, từ latent nhiễu hoàn toàn đến latent sạch mà decoder của autoencoder chuyển thành pixel. Chưng cất nhất quán tiềm ẩn huấn luyện một bản sao student của U-Net để hoàn thành toàn bộ quá trình chỉ trong một lần gọi. Ở mỗi bước huấn luyện, teacher đã đóng băng thực hiện một bước của bộ giải ODE dọc theo quỹ đạo, còn student phải dự đoán cùng một latent sạch từ cả hai đầu của bước đó:

Lặp lại trên các mốc thời gian ngẫu nhiên sẽ kéo mọi điểm trên quỹ đạo về cùng một đầu ra. Hai thay đổi giúp phương pháp này hoạt động với model văn bản thành ảnh. Bước của teacher vốn đã bao gồm classifier-free guidance với hệ số w; w trở thành đầu vào của student, nhờ vậy ảnh có hướng dẫn chỉ tốn một lượt forward pass thay vì hai. Lịch bỏ qua bước cho teacher nhảy cùng lúc k mốc thời gian thay vì một, giúp tăng tốc độ hội tụ. Một biến thể không dùng teacher, gọi là fine-tuning nhất quán tiềm ẩn, điều chỉnh LCM hiện có cho tập dữ liệu tùy chỉnh.

Chưng cất nhất quán là một dạng chưng cất tri thức, theo mô hình teacher-student mà quá trình huấn luyện Ultralytics YOLO26 cũng hỗ trợ thông qua đối số distill_model: huấn luyện yolo26n.pt với distill_model="yolo26s.pt" giúp student nano khớp với feature map của model lớn hơn, qua đó cải thiện mAP của student trên COCO mà không làm tăng chi phí inference.

Lấy mẫu trong bốn bước#

LCM lấy mẫu bằng cách luân phiên các bước nhảy và thêm nhiễu trở lại. Model dự đoán latent sạch từ nhiễu thuần, thêm nhiễu mới để đưa dự đoán đó về một mốc thời gian nhỏ hơn, dự đoán lại rồi giải mã dự đoán cuối cùng. LCMScheduler trong Hugging Face diffusers chọn các mốc thời gian này từ lịch huấn luyện 1.000 bước của Stable Diffusion:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

Sampler DDIM đi xuống từ mốc thời gian 980 theo từng bước 20, mỗi bước gọi U-Net một lần; trong khi đó, LCM chỉ đi qua các mốc thời gian 999, 759, 499 và 259. Mỗi bước bổ sung cho phép model hiệu chỉnh chi tiết của dự đoán trước, nên chất lượng tăng dần từ một bước lên bốn bước.

LCM-LoRA và các ứng dụng thời gian thực#

Một tháng sau bài báo gốc, các tác giả và kỹ sư Hugging Face phát hành LCM-LoRA, lưu phần chưng cất dưới dạng adapter LoRA thay vì một tập trọng số mới đầy đủ. Họ huấn luyện adapter cho Stable Diffusion v1.5, SSD-1B và SDXL; adapter có thể gắn vào các checkpoint đã fine-tune và LoRA phong cách của cùng model cơ sở mà không cần huấn luyện thêm. Lấy mẫu với ít bước giúp inference thời gian thực trở nên khả thi trong các công cụ tương tác: pipeline mã nguồn mở StreamDiffusion chạy LCM-LoRA với checkpoint KohakuV2 ở 4 bước khử nhiễu và 38 khung hình mỗi giây cho tác vụ văn bản thành ảnh trên một GPU RTX 4090.

  • Model nhất quán: Cách xây dựng ban đầu của OpenAI, hoạt động trực tiếp trên pixel và được benchmark trên CIFAR-10 và ImageNet 64 x 64. LCM đưa phương pháp này vào không gian tiềm ẩn, đồng thời bổ sung điều kiện hóa văn bản và guidance.
  • Chưng cất khuếch tán đối kháng: SDXL Turbo của Stability AI, cũng ra mắt vào tháng 11 năm 2023, đạt kết quả trong một đến bốn bước bằng cách thêm discriminator vào loss chưng cất.
  • Model khái niệm lớn: Model khái niệm lớn của Meta dùng chung chữ viết tắt LCM, nhưng là các model ngôn ngữ dự đoán embedding của cả câu và không liên quan đến việc tạo ảnh.
  • Rectified flow: Huấn luyện các quỹ đạo từ nhiễu đến dữ liệu thẳng hơn để sampler cần ít bước hơn; đây là phương pháp đứng sau Stable Diffusion 3 và FLUX.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning