Visual Autoregressive Modeling (VAR)

Mô hình Tự hồi quy Thị giác (VAR) là một mô hình thị giác máy tính tiên tiến giúp áp dụng các chiến lược học tập tự hồi quy vốn được phổ biến bởi các Mô hình Ngôn ngữ Lớn (LLM) vào các tác vụ tạo ảnh. Các phương pháp tự hồi quy thị giác truyền thống mã hóa hình ảnh thành một chuỗi 1D và dự đoán từng token một theo thứ tự quét mành, vốn tốn kém về tài nguyên tính toán và bỏ qua cấu trúc 2D tự nhiên của dữ liệu thị giác. Ngược lại, VAR giới thiệu phương pháp "dự đoán thang đo tiếp theo" từ thô đến tinh. Nó tạo hình ảnh bằng cách dự đoán dần dần các feature map hoặc thang đo có độ phân giải cao hơn, thay vì dự đoán từng token theo từng hàng. Phương pháp luận này bảo toàn tính toàn vẹn cấu trúc đồng thời cải thiện đáng kể cả chất lượng hình ảnh lẫn tốc độ suy luận.

Link to this sectionCách thức hoạt động của Mô hình Tự hồi quy Thị giác#

Về cốt lõi, VAR thay thế việc dự đoán token tiếp theo truyền thống bằng dự đoán thang đo tiếp theo. Một hình ảnh ban đầu được nén thành các bản đồ token rời rạc đa quy mô bằng cách sử dụng kiến trúc tương tự như Vector Quantized Variational AutoEncoder (VQ-VAE). Trong giai đoạn tạo, một mô hình Transformer dự đoán các bản đồ token này một cách tuần tự, bắt đầu từ độ phân giải nhỏ nhất (như lưới 1x1) cho đến độ phân giải mục tiêu (chẳng hạn như lưới 16x16 hoặc 32x32). Vì xử lý các cấu trúc không gian đồng thời ở mỗi thang đo, VAR bảo toàn thành công các mối tương quan hai chiều vốn có trong hình ảnh 2D.

Cách tiếp cận mới lạ này cho phép các mô hình VAR thiết lập các định luật mở rộng có thể so sánh với các kiến trúc dựa trên văn bản như OpenAI GPT-4. Khi các nhà nghiên cứu tăng quy mô tham số mô hình, hiệu suất cải thiện một cách nhất quán. Theo bài báo NeurIPS 2024 về Mô hình Tự hồi quy Thị giác, VAR đã vượt qua các kiến trúc cạnh tranh trên benchmark ImageNet đầy khắt khe. Nó đạt được các chỉ số tốt hơn ở cả Frechet Inception Distance (FID) và điểm inception trong khi thực thi nhanh hơn nhiều.

Link to this sectionVAR so với các Mô hình Khuếch tán#

Điều quan trọng là phải phân biệt VAR với AI Tạo sinh dựa trên khuếch tán. Các mô hình khuếch tán học cách tạo hình ảnh bằng cách loại bỏ dần nhiễu liên tục khỏi một khung vẽ ban đầu. Tuy nhiên, VAR hoạt động trên các token rời rạc. Thay vì khử nhiễu, nó tự hồi quy xây dựng hình ảnh theo từng độ phân giải. Mặc dù Diffusion Transformer (DiT) đã là một tiêu chuẩn hàng đầu cho tổng hợp thị giác, phương pháp dựa trên token của VAR hưởng lợi trực tiếp từ các nghiên cứu tối ưu hóa cho các mô hình Transformer, cho phép nó vượt trội hơn DiT về cả khả năng mở rộng lẫn hiệu quả dữ liệu.

Link to this sectionCác ứng dụng trong thực tế#

Bằng cách kết hợp khả năng lập luận của các LLM với thị giác độ trung thực cao, Mô hình Tự hồi quy Thị giác mở khóa một số khả năng thực tế:

• Chỉnh sửa và In-painting ảnh Zero-Shot: VAR hỗ trợ thao tác zero-shot một cách tự nhiên. Bằng cách che các thang đo hoặc vùng nhất định, các nhà phát triển có thể chỉnh sửa hoặc mở rộng hình ảnh một cách liền mạch mà không cần huấn luyện lại hoặc tinh chỉnh kiến trúc cơ sở.
• Tạo tài sản có khả năng mở rộng cho ngành bán lẻ: Tốc độ suy luận cực nhanh của VAR cho phép tổng hợp hình ảnh chất lượng cao theo thời gian thực, hỗ trợ tạo nền sản phẩm linh hoạt và các tài nguyên tiếp thị cá nhân hóa ở quy mô lớn.

Link to this sectionTriển khai các Quy trình làm việc Tự hồi quy#

Trong khi các mô hình VAR tập trung vào việc tạo nội dung, chúng có thể được kết hợp với các mô hình nhận thức mạnh mẽ như Ultralytics YOLO26 để tạo ra các pipeline đa phương thức toàn diện. Ví dụ, bạn có thể sử dụng YOLO26 để phát hiện đối tượng chính xác nhằm tách biệt các chủ thể, sau đó chuyển các vùng cụ thể đó sang một mô hình tự hồi quy để nâng cấp hoặc thay đổi phong cách.

Dưới đây là một đoạn mã PyTorch khái niệm minh họa cách một vòng lặp tự hồi quy đa quy mô dự đoán lặp đi lặp lại thang đo tiếp theo của một bản đồ token, mô phỏng logic cơ bản của VAR bằng cách sử dụng các module Transformer của PyTorch tiêu chuẩn:

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

Đối với các nhà nghiên cứu đang tìm cách xây dựng các pipeline thị giác end-to-end—từ việc quản lý tập dữ liệu đến đánh giá các kiến trúc phức tạp—Ultralytics Platform cung cấp các công cụ mạnh mẽ cho việc tự động gán nhãn, theo dõi và triển khai trên đám mây. Cho dù đang tối ưu hóa một Mô hình Ngôn ngữ Thị giác (VLM) hay thử nghiệm với việc dự đoán theo thang đo tiếp theo, các hệ sinh thái trí tuệ thị giác hợp nhất giúp đẩy nhanh sự đổi mới trên các trường hợp sử dụng trong thế giới thực.