Latent Consistency Models (LCMs)

Latent Consistency Models (LCMs) đại diện cho một bước đột phá đáng kể trong lĩnh vực generative AI, được thiết kế để tăng tốc đáng kể quy trình tạo ảnh và video. Các mô hình diffusion truyền thống yêu cầu một quy trình khử nhiễu lặp lại chậm chạp, thường mất hàng chục bước để tạo ra một hình ảnh chất lượng cao. LCMs vượt qua nút thắt này bằng cách học cách dự đoán đầu ra đã khử nhiễu hoàn toàn cuối cùng trực tiếp từ bất kỳ điểm nào trong dòng thời gian tạo. Bằng cách hoạt động trong không gian latent nén thay vì trực tiếp trên các pixel hình ảnh thô, LCMs đạt được hiệu suất tính toán vượt trội, cho phép tạo phương tiện độ phân giải cao chỉ trong một đến bốn bước.

Link to this sectionCơ chế của Latent Consistency Models#

LCMs xây dựng dựa trên khái niệm nền tảng của Consistency Models được giới thiệu bởi các nhà nghiên cứu tại OpenAI, nhằm mục đích ánh xạ bất kỳ điểm nào trên quỹ đạo dữ liệu nhiễu trực tiếp về nguồn gốc sạch của nó. Thay vì áp dụng kỹ thuật này trong không gian pixel đa chiều, LCMs áp dụng nó trong không gian latent của các Latent Diffusion Models (LDMs) đã được huấn luyện trước.

Thông qua một quy trình được gọi là chưng cất tính nhất quán (consistency distillation), một foundation model đã được huấn luyện trước sẽ được tinh chỉnh để thực thi mất mát tính nhất quán (consistency loss). Điều này huấn luyện mạng thần kinh xuất ra cùng một biểu diễn latent sạch bất kể lượng nhiễu ban đầu được thêm vào bao nhiêu. Kết quả là một mô hình vượt qua Markov decision process tuần tự của diffusion tiêu chuẩn, giúp chuyển đổi thành khả năng kết xuất gần như thời gian thực trên phần cứng tiêu chuẩn.

Link to this sectionCác ứng dụng trong thực tế#

Tốc độ cực nhanh của LCMs đã mở ra những khả năng tương tác mới vốn không thể thực hiện được trước đây do các hạn chế về độ trễ:

• Thiết kế tương tác thời gian thực: Trong thiết kế đồ họa và computer vision in architecture, LCMs hỗ trợ các ứng dụng canvas trực tiếp nơi người dùng phác thảo các đường viền đơn giản, và AI kết xuất cảnh quan hoặc thiết kế nội thất chân thực tức thì khi người dùng vẽ.
• Môi trường trò chơi động: Các nhà phát triển trò chơi điện tử sử dụng khả năng tạo latent nhanh để tạo ra các kết cấu và tài sản nền thay đổi liên tục, không giới hạn ngay lập tức, tích hợp liền mạch với các hệ thống object detection tốc độ cao như Ultralytics YOLO26 để phản hồi các chuyển động của người chơi mà không bị giảm khung hình.

Link to this sectionPhân biệt LCMs với các thuật ngữ liên quan#

Để hiểu rõ hơn về bối cảnh deep learning, việc so sánh LCMs với các kiến trúc tương tự sẽ rất hữu ích:

• LCMs vs. Diffusion Models: Các Diffusion Models tiêu chuẩn yêu cầu 20 đến 50 lượt duyệt mạng lặp lại để tạo ra một hình ảnh. LCMs chưng cất quy trình này, đạt được chất lượng tương đương trong 1 đến 4 lượt duyệt.
• LCMs vs. Consistency Models: Trong khi các consistency models tiêu chuẩn hoạt động trực tiếp trên pixel hình ảnh thô, LCMs hoạt động trên các biểu diễn đặc trưng nén (latents), giúp chúng nhanh hơn đáng kể và tốn ít bộ nhớ hơn.

Link to this sectionMô phỏng xử lý latent nhanh#

Khi xây dựng các đường ống machine learning nhanh, việc quản lý các tensor latent một cách hiệu quả là chìa khóa. Ví dụ về PyTorch sau đây minh họa cách một LCM có thể xử lý về mặt lý thuyết một tensor nhiễu latent theo lô trong một lần chuyển tiếp duy nhất, một quy trình làm việc thường được kết hợp với các công cụ được quản lý trong Ultralytics Platform.

import torch
import torch.nn as nn


# Simulate a simplified Latent Consistency Model block
class DummyLCM(nn.Module):
    def __init__(self):
        super().__init__()
        # In practice, this is a complex U-Net or Transformer architecture
        self.network = nn.Linear(64, 64)

    def forward(self, noisy_latent):
        # A single step predicts the clean latent directly
        return self.network(noisy_latent)


# Generate a random latent noise tensor (Batch Size 1, Channels 4, 16x16)
noise = torch.randn(1, 4, 16, 16).view(1, -1)
model = DummyLCM()

# Generate the denoised latent in just one step
clean_latent = model(noise)
print(f"Output shape: {clean_latent.shape}")

Khi lĩnh vực artificial intelligence phát triển, sự chuyển dịch sang ít bước tạo hơn tác động mạnh mẽ đến edge computing và triển khai di động. Bằng cách giảm chi phí tính toán, LCMs bổ sung cho các mô hình nhận thức nhanh, mở đường cho các hệ thống AI sáng tạo và phân tích hoàn toàn tự chủ, thời gian thực.