获取 YOLO 许可
返回 Ultralytics 术语表

Visual Autoregressive Modeling (VAR)

视觉自回归建模 (VAR) 由粗到细地生成图像,并行预测每个下一分辨率的 token 图。介绍其分词器和扩展规律。

视觉自回归建模(VAR)是一种用于图像的生成式 AI方法,它将图像预测为一系列分辨率逐渐提高的令牌图,从单个 1 x 1 令牌一直到完整网格,而不是按阅读顺序逐个预测令牌。每一步都会并行生成下一尺度的所有令牌,并以所有更粗尺度为条件,因此生成 256 x 256 图像需要 10 步。北京大学和字节跳动的 Keyu Tian、Yi Jiang、Zehuan Yuan、Bingyue Peng 和 Liwei Wang 于 2024 年 4 月提出 VAR,其论文《视觉自回归建模:通过下一尺度预测实现可扩展图像生成》获得了 NeurIPS 2024 最佳论文奖。在类别条件的 ImageNet 256 x 256 图像生成任务中,VAR 将自回归基线的弗雷歇 Inception 距离(FID)从 18.65 提升至 1.73,并将 Inception Score 从 80.4 提升至 350.2,同时inference速度约快 20 倍。

为什么要预测下一尺度#

早期的自回归图像生成器,例如 VQGAN 中的 Transformer 和 Google 的 Parti,会将图像转换为离散token网格,逐行展平,然后像 GPT模型写文本那样逐个预测令牌。这种顺序并不适合图像。一个令牌只能看到它上方和左侧的令牌,而图像区域彼此之间会向各个方向相互影响;16 x 16 网格还需要 256 个顺序步骤。预测下一尺度保留了 transformer的训练目标和因果顺序,但将预测单位从单个令牌改为整个分辨率:同一尺度内的令牌可以相互查看,而每个尺度都能看到所有更粗分辨率下的完整图像。

多尺度令牌器#

VAR 的令牌器是一种自编码器,其潜变量通过多尺度向量量化进行压缩。编码器将 256 x 256 图像转换为 16 x 16 特征图,再使用包含 4,096 个条目的共享码本,在从 1 x 1 到 16 x 16 的 10 个尺度上进行量化。每个尺度只量化更粗尺度未能解释的部分,也就是残差,因此粗略图负责整体色彩和布局,后续图则补充更精细的细节。下面是在经过下采样的照片上使用随机码本运行同一残差方案的示例:

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

重建误差从单个 1 x 1 令牌后的 0.06267 降至 16 x 16 图后的 0.00212,十个尺度共使用 680 个令牌。VAR 对编码器、解码器和码本进行联合训练。检测模型也会基于同类金字塔进行识别:Ultralytics YOLO26从步幅为 8、16 和 32 的特征金字塔层预测对象,因此 640 像素图像会生成 80 x 80、40 x 40 和 20 x 20 的图,大对象在粗图上检测,小对象则在细图上检测。

VAR 如何生成图像#

GPT 风格的 Transformer 按顺序生成令牌图,并使用分块因果注意力掩码,使每个令牌都能关注自身尺度以及所有更粗尺度:

作者训练了参数量高达 20 亿的模型,并发现了类似大型语言模型的幂律缩放定律,模型大小与测试损失之间的线性相关系数接近 -0.998。同一模型还能以零样本方式执行图像修复、图像外扩和类别条件编辑,无需额外训练:只需将编辑区域之外的令牌固定为真实值,再对其余令牌进行采样。

  • Infinity:字节跳动于 2024 年 12 月发布的文本生成图像后续模型使用分词器生成的位元令牌取代了含 4,096 个条目的码本,词汇表实际上没有上限。它能在 0.8 秒内生成 1024 x 1024 图像,速度比Stable Diffusion 3 Medium 快 2.6 倍,并将 GenEval 分数从 SD3 Medium 的 0.62 提升到 0.73。
  • 扩散 Transformer(DiT):通过多个步骤对连续潜变量进行去噪。VAR 论文称,在图像质量、推理速度、数据效率和可扩展性方面,VAR 都优于 DiT。
  • 扩散模型:从高斯噪声开始,在每一步都对图像的每个像素或潜变量进行细化。
  • 掩码生成式 Transformer:Google 的 MaskGIT 并行预测单分辨率网格中的所有掩码令牌,并在约 8 到 12 轮迭代中保留置信度最高的令牌。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来