Visual Autoregressive Modeling (VAR)
视觉自回归建模 (VAR) 由粗到细地生成图像,并行预测每个下一分辨率的 token 图。介绍其分词器和扩展规律。
视觉自回归建模(VAR)是一种用于图像的生成式 AI方法,它将图像预测为一系列分辨率逐渐提高的令牌图,从单个 1 x 1 令牌一直到完整网格,而不是按阅读顺序逐个预测令牌。每一步都会并行生成下一尺度的所有令牌,并以所有更粗尺度为条件,因此生成 256 x 256 图像需要 10 步。北京大学和字节跳动的 Keyu Tian、Yi Jiang、Zehuan Yuan、Bingyue Peng 和 Liwei Wang 于 2024 年 4 月提出 VAR,其论文《视觉自回归建模:通过下一尺度预测实现可扩展图像生成》获得了 NeurIPS 2024 最佳论文奖。在类别条件的 ImageNet 256 x 256 图像生成任务中,VAR 将自回归基线的弗雷歇 Inception 距离(FID)从 18.65 提升至 1.73,并将 Inception Score 从 80.4 提升至 350.2,同时inference速度约快 20 倍。
为什么要预测下一尺度#
早期的自回归图像生成器,例如 VQGAN 中的 Transformer 和 Google 的 Parti,会将图像转换为离散token网格,逐行展平,然后像 GPT模型写文本那样逐个预测令牌。这种顺序并不适合图像。一个令牌只能看到它上方和左侧的令牌,而图像区域彼此之间会向各个方向相互影响;16 x 16 网格还需要 256 个顺序步骤。预测下一尺度保留了 transformer的训练目标和因果顺序,但将预测单位从单个令牌改为整个分辨率:同一尺度内的令牌可以相互查看,而每个尺度都能看到所有更粗分辨率下的完整图像。
多尺度令牌器#
VAR 的令牌器是一种自编码器,其潜变量通过多尺度向量量化进行压缩。编码器将 256 x 256 图像转换为 16 x 16 特征图,再使用包含 4,096 个条目的共享码本,在从 1 x 1 到 16 x 16 的 10 个尺度上进行量化。每个尺度只量化更粗尺度未能解释的部分,也就是残差,因此粗略图负责整体色彩和布局,后续图则补充更精细的细节。下面是在经过下采样的照片上使用随机码本运行同一残差方案的示例:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")重建误差从单个 1 x 1 令牌后的 0.06267 降至 16 x 16 图后的 0.00212,十个尺度共使用 680 个令牌。VAR 对编码器、解码器和码本进行联合训练。检测模型也会基于同类金字塔进行识别:Ultralytics YOLO26从步幅为 8、16 和 32 的特征金字塔层预测对象,因此 640 像素图像会生成 80 x 80、40 x 40 和 20 x 20 的图,大对象在粗图上检测,小对象则在细图上检测。
VAR 如何生成图像#
GPT 风格的 Transformer 按顺序生成令牌图,并使用分块因果注意力掩码,使每个令牌都能关注自身尺度以及所有更粗尺度:
作者训练了参数量高达 20 亿的模型,并发现了类似大型语言模型的幂律缩放定律,模型大小与测试损失之间的线性相关系数接近 -0.998。同一模型还能以零样本方式执行图像修复、图像外扩和类别条件编辑,无需额外训练:只需将编辑区域之外的令牌固定为真实值,再对其余令牌进行采样。
VAR 的后续方法与相关术语#
- Infinity:字节跳动于 2024 年 12 月发布的文本生成图像后续模型使用分词器生成的位元令牌取代了含 4,096 个条目的码本,词汇表实际上没有上限。它能在 0.8 秒内生成 1024 x 1024 图像,速度比Stable Diffusion 3 Medium 快 2.6 倍,并将 GenEval 分数从 SD3 Medium 的 0.62 提升到 0.73。
- 扩散 Transformer(DiT):通过多个步骤对连续潜变量进行去噪。VAR 论文称,在图像质量、推理速度、数据效率和可扩展性方面,VAR 都优于 DiT。
- 扩散模型:从高斯噪声开始,在每一步都对图像的每个像素或潜变量进行细化。
- 掩码生成式 Transformer:Google 的 MaskGIT 并行预测单分辨率网格中的所有掩码令牌,并在约 8 到 12 轮迭代中保留置信度最高的令牌。










