Visual Autoregressive Modeling (VAR)

Visual Autoregressive Modeling (VAR) là một mô hình computer vision tiên tiến, điều chỉnh các chiến lược học tập tự hồi quy vốn phổ biến trong các Large Language Models (LLMs) sang các tác vụ image generation. Các phương pháp tự hồi quy thị giác truyền thống mã hóa một hình ảnh thành chuỗi 1D và dự đoán nó từng token theo raster-scan order, vốn tốn kém về mặt tính toán và bỏ qua cấu trúc 2D tự nhiên của dữ liệu thị giác. Ngược lại, VAR giới thiệu phương pháp "dự đoán theo tỷ lệ tiếp theo" từ thô đến tinh. Phương pháp này tạo ra hình ảnh bằng cách dự đoán lũy tiến các feature maps hoặc tỷ lệ có độ phân giải cao hơn, thay vì dự đoán từng token riêng lẻ theo từng hàng. Phương pháp này bảo toàn tính toàn vẹn cấu trúc đồng thời cải thiện đáng kể cả chất lượng hình ảnh lẫn inference speed.

Cách thức hoạt động của Mô hình Tự hồi quy Thị giác#

Về cốt lõi, VAR thay thế việc dự đoán token tiếp theo truyền thống bằng dự đoán tỷ lệ tiếp theo. Một hình ảnh trước tiên được nén thành các bản đồ token rời rạc đa tỷ lệ bằng cách sử dụng kiến trúc tương tự như Vector Quantized Variational AutoEncoder (VQ-VAE). Trong giai đoạn tạo sinh, một mô hình transformer dự đoán các bản đồ token này tuần tự, bắt đầu từ độ phân giải nhỏ nhất (như lưới 1x1) cho đến độ phân giải mục tiêu (như lưới 16x16 hoặc 32x32). Vì nó xử lý các cấu trúc không gian đồng thời ở mỗi tỷ lệ, VAR giữ lại thành công các mối tương quan hai chiều vốn có trong hình ảnh 2D.

Cách tiếp cận mới lạ này cho phép các mô hình VAR thiết lập các scaling laws có thể dự đoán được, tương đương với các kiến trúc dựa trên văn bản như OpenAI GPT-4. Khi các nhà nghiên cứu tăng quy mô các tham số của mô hình, hiệu suất cải thiện liên tục. Theo NeurIPS 2024 paper on Visual Autoregressive Modeling, VAR vượt qua thành công các kiến trúc cạnh tranh trên ImageNet benchmark đòi hỏi khắt khe. Nó đạt được các số đo tốt hơn ở cả Frechet Inception Distance (FID) và điểm số inception trong khi thực thi nhanh hơn rất nhiều.

VAR so với các Mô hình Khuếch tán#

Điều quan trọng là phải phân biệt VAR với Generative AI dựa trên khuếch tán. Diffusion models học cách tạo ra hình ảnh bằng cách lặp đi lặp lại việc loại bỏ nhiễu liên tục từ một khung vẽ ban đầu. Tuy nhiên, VAR hoạt động dựa trên các token rời rạc. Thay vì khử nhiễu, nó xây dựng hình ảnh theo phương pháp tự hồi quy theo từng độ phân giải. Mặc dù Diffusion Transformer (DiT) đã là một tiêu chuẩn hàng đầu cho tổng hợp hình ảnh, cách tiếp cận dựa trên token của VAR hưởng lợi trực tiếp từ nghiên cứu tối ưu hóa đổ vào các mô hình transformer, cho phép nó vượt trội hơn DiT về cả khả năng mở rộng lẫn hiệu quả dữ liệu.

Các ứng dụng trong thực tế#

Bằng cách kết hợp khả năng lập luận của các LLM với thị giác độ trung thực cao, Mô hình Tự hồi quy Thị giác mở khóa một số khả năng thực tế:

• Zero-Shot Image Editing and In-painting: VAR hỗ trợ nguyên bản việc thao tác zero-shot. Bằng cách che khuất các tỷ lệ hoặc vùng nhất định, các nhà phát triển có thể chỉnh sửa hoặc mở rộng hình ảnh một cách liền mạch mà không cần đào tạo lại hoặc tinh chỉnh kiến trúc cơ sở.
• Scalable Asset Generation for Retail: Tốc độ suy luận cực cao của VAR cho phép tổng hợp hình ảnh chất lượng cao, thời gian thực, cho phép tạo nền sản phẩm động và tài sản tiếp thị cá nhân hóa ở quy mô lớn.

Triển khai các Quy trình làm việc Tự hồi quy#

Mặc dù các mô hình VAR tập trung vào việc tạo nội dung, chúng có thể được ghép nối với các mô hình nhận thức mạnh mẽ như Ultralytics YOLO26 để tạo ra các đường ống đa phương thức toàn diện. Ví dụ, bạn có thể sử dụng YOLO26 để object detection chính xác nhằm cô lập các đối tượng, sau đó chuyển các vùng cụ thể đó sang một mô hình tự hồi quy để cải thiện hoặc định dạng lại.

Dưới đây là một đoạn mã khái niệm PyTorch minh họa cách một vòng lặp tự hồi quy đa tỷ lệ dự đoán lặp đi lặp lại tỷ lệ tiếp theo của bản đồ token, mô phỏng logic cơ bản của VAR bằng cách sử dụng các PyTorch Transformer modules chuẩn:

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

Đối với các nhà nghiên cứu muốn xây dựng các đường ống thị giác từ đầu đến cuối — từ tuyển chọn bộ dữ liệu đến đánh giá các kiến trúc phức tạp — Ultralytics Platform cung cấp các công cụ mạnh mẽ để tự động chú thích, theo dõi và triển khai đám mây. Cho dù đang tối ưu hóa một Vision Language Model (VLM) hay thử nghiệm với dự đoán theo tỷ lệ tiếp theo, các hệ sinh thái trí tuệ thị giác thống nhất sẽ đẩy nhanh đổi mới trên các trường hợp sử dụng trong thế giới thực.