Latent Consistency Models (LCMs)

Latent Consistency Models (LCMs) đại diện cho một bước đột phá đáng kể trong lĩnh vực generative AI, được thiết kế để đẩy nhanh đáng kể quá trình tạo ra hình ảnh và video. Các mô hình khuếch tán truyền thống đòi hỏi một quá trình khử nhiễu lặp đi lặp lại chậm chạp, thường mất hàng chục bước để tạo ra một hình ảnh chất lượng cao. LCMs vượt qua nút thắt này bằng cách học cách dự đoán đầu ra cuối cùng, đã được khử nhiễu hoàn toàn trực tiếp từ bất kỳ điểm nào trong mốc thời gian tạo. Bằng cách hoạt động trong không gian tiềm ẩn được nén thay vì trực tiếp trên các pixel hình ảnh thô, LCMs đạt được hiệu quả tính toán đáng chú ý, cho phép tạo đa phương tiện độ phân giải cao chỉ trong một đến bốn bước.

Cơ chế của Latent Consistency Models#

LCMs xây dựng dựa trên khái niệm nền tảng của Consistency Models được giới thiệu bởi các nhà nghiên cứu tại OpenAI, nhằm mục đích ánh xạ bất kỳ điểm nào trên quỹ đạo dữ liệu nhiều nhiễu trực tiếp trở lại nguồn gốc sạch của nó. Thay vì áp dụng kỹ thuật này trong không gian pixel có chiều cao, LCMs áp dụng nó trong không gian tiềm ẩn của các Latent Diffusion Models (LDMs) đã được huấn luyện trước.

Thông qua một quá trình được gọi là chưng cất tính nhất quán, một foundation model đã được huấn luyện trước được tinh chỉnh để thực thi tổn thất tính nhất quán. Điều này đào tạo mạng nơ-ron để xuất ra cùng một biểu diễn tiềm ẩn sạch bất kể lượng nhiễu ban đầu được thêm vào là bao nhiêu. Kết quả là một mô hình bỏ qua Markov decision process tuần tự của quá trình khuếch tán tiêu chuẩn, chuyển thành khả năng kết xuất gần thời gian thực trên phần cứng tiêu chuẩn.

Các ứng dụng trong thực tế#

Tốc độ cực nhanh của LCMs đã mở ra những khả năng tương tác mới vốn không thể thực hiện được trước đây do các hạn chế về độ trễ:

• Thiết kế tương tác thời gian thực: Trong thiết kế đồ họa và computer vision in architecture, LCMs cung cấp năng lượng cho các ứng dụng canvas trực tiếp, nơi người dùng phác thảo các đường nét đơn giản và AI kết xuất cảnh quan hoặc thiết kế nội thất chân thực ngay lập tức khi người dùng vẽ.
• Môi trường chơi game động: Các nhà phát triển trò chơi điện tử sử dụng quá trình tạo tiềm ẩn nhanh chóng để tạo ra các kết cấu và tài sản nền thay đổi linh hoạt, vô tận ngay lập tức, tích hợp mượt mà với các hệ thống object detection tốc độ cao như Ultralytics YOLO26 để phản hồi các chuyển động của người chơi mà không bị giảm khung hình.

Phân biệt LCMs với các thuật ngữ liên quan#

Để hiểu rõ hơn về bối cảnh deep learning, việc đối chiếu LCMs với các kiến trúc tương tự sẽ rất hữu ích:

• LCMs vs. Diffusion Models: Diffusion Models tiêu chuẩn yêu cầu 20 đến 50 lần chuyển mạng lặp đi lặp lại để tạo ra một hình ảnh. LCMs chưng cất quá trình này, đạt được chất lượng tương đương trong 1 đến 4 lần chuyển.
• LCMs vs. Consistency Models: Trong khi các consistency models tiêu chuẩn hoạt động trực tiếp trên pixel hình ảnh thô, LCMs hoạt động trên các biểu diễn đặc trưng nén (latents), giúp chúng nhanh hơn đáng kể và tốn ít bộ nhớ hơn.

Mô phỏng xử lý latent nhanh#

Khi xây dựng các đường ống machine learning nhanh chóng, việc quản lý hiệu quả các tensor tiềm ẩn là chìa khóa. Ví dụ PyTorch sau đây minh họa cách một LCM có thể xử lý một tensor nhiễu tiềm ẩn theo lô về mặt lý thuyết trong một lần truyền chuyển tiếp duy nhất, một quy trình làm việc thường được kết hợp với các công cụ được quản lý trong Ultralytics Platform.

import torch
import torch.nn as nn


# Simulate a simplified Latent Consistency Model block
class DummyLCM(nn.Module):
    def __init__(self):
        super().__init__()
        # In practice, this is a complex U-Net or Transformer architecture
        self.network = nn.Linear(64, 64)

    def forward(self, noisy_latent):
        # A single step predicts the clean latent directly
        return self.network(noisy_latent)


# Generate a random latent noise tensor (Batch Size 1, Channels 4, 16x16)
noise = torch.randn(1, 4, 16, 16).view(1, -1)
model = DummyLCM()

# Generate the denoised latent in just one step
clean_latent = model(noise)
print(f"Output shape: {clean_latent.shape}")

Khi lĩnh vực artificial intelligence phát triển, sự chuyển dịch hướng tới ít bước tạo hơn tác động mạnh mẽ đến edge computing và việc triển khai di động. Bằng cách giảm chi phí tính toán, LCMs bổ sung cho các mô hình nhận thức nhanh, mở đường cho các hệ thống AI sáng tạo và phân tích tự động hoàn toàn, thời gian thực.