Visual Autoregressive Modeling (VAR)
Mô hình tự hồi quy thị giác (VAR) tạo hình ảnh từ thô đến tinh, dự đoán song song từng bản đồ token ở độ phân giải tiếp theo. Bài viết trình bày tokenizer và khả năng mở rộng.
Mô hình hóa tự hồi quy trực quan (VAR) là một phương pháp AI tạo sinh dành cho hình ảnh, dự đoán ảnh dưới dạng chuỗi bản đồ token có độ phân giải tăng dần, từ một token 1 x 1 đến toàn bộ lưới, thay vì dự đoán từng token một theo thứ tự đọc. Mỗi bước tạo song song tất cả token ở cấp độ tiếp theo, dựa trên mọi cấp độ thô hơn, nên ảnh 256 x 256 cần 10 bước. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng và Liwei Wang thuộc Đại học Bắc Kinh và ByteDance giới thiệu VAR vào tháng 4 năm 2024 trong bài báo Mô hình hóa tự hồi quy trực quan: Tạo ảnh có khả năng mở rộng thông qua dự đoán cấp độ tiếp theo, bài báo đoạt Giải Bài báo Xuất sắc nhất NeurIPS 2024. Với tác vụ tạo ảnh ImageNet 256 x 256 có điều kiện theo lớp, phương pháp này cải thiện Khoảng cách Inception Fréchet (FID) của mô hình tự hồi quy cơ sở từ 18.65 xuống 1.73, đồng thời tăng Inception Score từ 80.4 lên 350.2, với tốc độ suy luận nhanh hơn khoảng 20 lần.
Vì sao dự đoán cấp độ tiếp theo#
Các bộ tạo ảnh tự hồi quy trước đây, chẳng hạn Transformer trong VQGAN và Parti của Google, chuyển ảnh thành lưới token rời rạc, trải phẳng lưới theo từng hàng và dự đoán từng token một, giống cách model GPT tạo văn bản. Thứ tự đó không phù hợp với hình ảnh. Một token chỉ có thể nhìn thấy các token phía trên và bên trái nó, trong khi các vùng ảnh phụ thuộc lẫn nhau theo mọi hướng; hơn nữa, lưới 16 x 16 cần 256 bước tuần tự. Dự đoán cấp độ tiếp theo vẫn giữ mục tiêu huấn luyện và thứ tự nhân quả của Transformer, nhưng thay đổi đơn vị dự đoán từ một token thành toàn bộ một độ phân giải: các token trong cùng cấp độ có thể nhìn thấy lẫn nhau, còn mỗi cấp độ nhìn thấy toàn bộ ảnh ở mọi độ phân giải thô hơn.
Tokenizer đa tỷ lệ#
Tokenizer của VAR là một autoencoder có latent được nén bằng lượng tử hóa vector đa tỷ lệ. Encoder chuyển ảnh 256 x 256 thành feature map 16 x 16, sau đó lượng tử hóa ở 10 cấp độ từ 1 x 1 đến 16 x 16 bằng một codebook dùng chung gồm 4,096 mục. Mỗi cấp độ chỉ lượng tử hóa phần mà các cấp độ thô hơn chưa giải thích được, tức phần dư, vì vậy các bản đồ thô chứa màu sắc và bố cục tổng thể, còn các bản đồ sau bổ sung chi tiết nhỏ hơn. Cùng lược đồ phần dư này được chạy bên dưới trên ảnh đã giảm kích thước với codebook ngẫu nhiên:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")Sai số tái tạo giảm từ 0.06267 sau token 1 x 1 duy nhất xuống 0.00212 sau bản đồ 16 x 16, với 680 token qua mười cấp độ. VAR huấn luyện đồng thời encoder, decoder và codebook. Các model phát hiện được xây dựng trên cùng loại kim tự tháp để nhận dạng: Ultralytics YOLO26 dự đoán đối tượng từ các cấp độ kim tự tháp đặc trưng với stride 8, 16 và 32, vì vậy ảnh 640 pixel tạo ra các bản đồ 80 x 80, 40 x 40 và 20 x 20; đối tượng lớn được phát hiện trên bản đồ thô, còn đối tượng nhỏ trên bản đồ mịn.
Cách VAR tạo ảnh#
Transformer kiểu GPT tạo các bản đồ token theo thứ tự, với mask attention nhân quả theo từng khối cho phép mỗi token attention đến cấp độ của chính nó và mọi cấp độ thô hơn:
Các tác giả huấn luyện model có tối đa 2 tỷ tham số và phát hiện các quy luật mở rộng theo lũy thừa tương tự mô hình ngôn ngữ lớn, với hệ số tương quan tuyến tính giữa kích thước model và loss kiểm thử gần -0.998. Cùng một model có thể thực hiện inpainting ảnh, outpainting và chỉnh sửa có điều kiện theo lớp theo kiểu zero-shot, không cần huấn luyện bổ sung, bằng cách cố định các token bên ngoài vùng chỉnh sửa ở giá trị ground truth trong khi lấy mẫu phần còn lại.
Các phiên bản kế nhiệm VAR và thuật ngữ liên quan#
- Infinity: Mô hình kế nhiệm chuyển văn bản thành ảnh của ByteDance, ra mắt vào tháng 12 năm 2024, thay codebook gồm 4.096 mục bằng các token bitwise từ một tokenizer có vốn từ vựng gần như không giới hạn. Mô hình tạo ảnh 1024 x 1024 trong 0,8 giây, nhanh gấp 2,6 lần so với Stable Diffusion 3 Medium và nâng điểm GenEval từ 0,62 của SD3 Medium lên 0,73.
- Transformer khuếch tán (DiT): Khử nhiễu latent liên tục qua nhiều bước. Bài báo VAR cho biết phương pháp này vượt DiT về chất lượng ảnh, tốc độ suy luận, hiệu quả dữ liệu và khả năng mở rộng.
- Model diffusion: Tinh chỉnh mọi pixel hoặc latent của ảnh ở mỗi bước, bắt đầu từ nhiễu Gaussian.
- Transformer tạo sinh có mask: MaskGIT của Google dự đoán song song mọi token bị mask trong một lưới có độ phân giải đơn và giữ lại các token có độ tin cậy cao nhất qua khoảng 8 đến 12 vòng lặp.










