Visual Autoregressive Modeling (VAR)
探索视觉自回归建模 (VAR)。了解下一尺度预测如何相比传统方法和扩散模型提高图像生成的速度和质量。
视觉自回归建模 (VAR) 是一种先进的 计算机视觉 范式，它将 大型语言模型 (LLMs) 推广的自回归学习策略应用于 图像生成 任务。传统的视觉自回归方法将图像编码为一维序列，并按 光栅扫描顺序 逐个 token 进行预测，这不仅计算成本高昂，而且忽略了视觉数据的自然二维结构。相比之下，VAR 引入了一种由粗到细的“下一尺度预测”方法。它通过逐步预测更高分辨率的 特征图 或尺度来生成图像，而不是逐行预测单个 token。这种方法在保持结构完整性的同时，显著提高了图像质量和 推理速度。
Link to this section视觉自回归建模的工作原理#
从核心上讲，VAR 用下一尺度预测取代了传统的下一 token 预测。图像首先使用类似于 向量量化变分自编码器 (VQ-VAE) 的架构压缩为多尺度离散 token 图。在生成阶段，Transformer 模型会按顺序预测这些 token 图，从最小的分辨率（如 1x1 网格）开始，一直到目标分辨率（如 16x16 或 32x32 网格）。由于它在每个尺度上同时处理空间结构，VAR 成功地保留了二维图像中固有的双向相关性。
This novel approach allows VAR models to establish predictable scaling laws comparable to text-based architectures like OpenAI GPT-4. As researchers scale up model parameters, performance improves consistently. According to the NeurIPS 2024 paper on Visual Autoregressive Modeling, VAR successfully surpasses competing architectures across the demanding ImageNet benchmark. It achieves better metrics in both Frechet Inception Distance (FID) and inception scores while executing much faster.
Link to this sectionVAR 与扩散模型#
将 VAR 与基于扩散的 生成式 AI 区分开来非常重要。扩散模型 通过从起始画布中迭代去除连续噪声来学习生成图像。然而，VAR 在离散 token 上运行。它不是去噪，而是按分辨率自回归地构建图像。虽然 扩散 Transformer (DiT) 一直是视觉合成的领先标准，但 VAR 的基于 token 的方法直接受益于投入到 Transformer 模型中的优化研究，使其在可扩展性和数据效率方面均优于 DiT。
Link to this section实际应用#
通过将 LLM 的推理能力与高保真视觉相结合，视觉自回归建模解锁了多项实用功能：
- 零样本图像编辑和修复： VAR 原生支持零样本处理。通过遮盖某些尺度或区域，开发者无需重新训练或微调基础架构即可无缝编辑或扩展图像。
- 零售业可扩展资产生成： VAR 的极致推理速度实现了实时、高质量的图像合成，从而能够大规模地动态生成产品背景和个性化营销资产。
Link to this section实现自回归工作流#
虽然 VAR 模型专注于生成内容，但它们可以与 Ultralytics YOLO26 等强大的感知模型配对，以创建全面的多模态流水线。例如，你可以使用 YOLO26 进行精确的 目标检测 来隔离主体，然后将这些特定区域传递给自回归模型进行增强或重塑。
以下是一个概念性的 PyTorch 代码片段，演示了多尺度自回归循环如何迭代预测 token 图的下一个尺度，使用标准的 PyTorch Transformer 模块 模拟 VAR 的底层逻辑：
import torch
import torch.nn as nn
# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
def __init__(self):
super().__init__()
# Simulated transformer to predict next resolution token map
self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)
def forward(self, initial_scale_token):
current_tokens = initial_scale_token
# Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
for scale in [1, 2, 4]:
# Model predicts the structural layout for the higher resolution
next_scale_tokens = self.transformer(current_tokens)
# Expand and update tokens for the next iteration
current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
return current_tokens
model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256) # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")对于希望构建端到端视觉流水线——从策划数据集到评估复杂架构——的研究人员来说，Ultralytics 平台 为自动标注、追踪和云部署提供了强大的工具。无论是在优化 视觉语言模型 (VLM)，还是在试验下一尺度预测，统一的视觉智能生态系统都能加速现实场景中的创新。
