Visual Autoregressive Modeling (VAR)
Визуальное авторегрессионное моделирование (VAR) генерирует изображения от грубых форм к деталям, параллельно предсказывая карту токенов для каждого следующего разрешения. Рассматриваются токенизатор и масштабирование.
Визуальное авторегрессионное моделирование (VAR) — метод генеративного ИИ для изображений: он предсказывает изображение как последовательность карт токенов возрастающего разрешения — от одного токена 1 x 1 до полной сетки, — а не предсказывает токены по одному в порядке чтения. На каждом шаге параллельно генерируются все токены следующего масштаба с учётом всех более грубых масштабов, поэтому для изображения 256 x 256 требуется 10 шагов. Кэюй Тянь, И Цзян, Чжэхуань Юань, Бинъюэ Пэн и Ливэй Ван из Пекинского университета и ByteDance представили VAR в апреле 2024 года в работе «Визуальное авторегрессионное моделирование: масштабируемая генерация изображений с помощью предсказания следующего масштаба», которая получила награду за лучшую статью NeurIPS 2024. При генерации изображений 256 x 256 с условием по классу на ImageNet модель снизила расстояние Фреше — Инсепшен (FID) авторегрессионного базового метода с 18.65 до 1.73, а показатель Inception Score повысила с 80.4 до 350.2, обеспечив примерно в 20 раз более быстрое выполнение вывода.
Зачем предсказывать следующий масштаб#
Более ранние авторегрессионные генераторы изображений, например трансформер из VQGAN и Parti от Google, преобразуют изображение в сетку дискретных токенов, разворачивают её построчно и предсказывают по одному токену, как модель GPT генерирует текст. Для изображений такой порядок не подходит. Токен может видеть только токены над ним и слева от него, хотя области изображения зависят друг от друга во всех направлениях; кроме того, для сетки 16 x 16 требуется 256 последовательных шагов. Предсказание следующего масштаба сохраняет целевую функцию обучения трансформера и причинный порядок, но меняет единицу предсказания: вместо одного токена предсказывается целое разрешение. Токены одного масштаба видят друг друга, а каждый масштаб видит всё изображение на всех более грубых разрешениях.
Мультимасштабный токенизатор#
Токенизатор VAR — это автоэнкодер, латентное представление которого сжато с помощью многомасштабного векторного квантования. Кодировщик преобразует изображение 256 x 256 в карту признаков 16 x 16, которая квантуется в 10 масштабах — от 1 x 1 до 16 x 16 — с помощью общего кодбука на 4 096 элементов. На каждом масштабе квантуется только то, что осталось необъяснённым после более грубых масштабов, то есть остаток. Поэтому грубые карты содержат общую цветовую гамму и композицию, а последующие карты добавляют более мелкие детали. Та же схема остаточных значений применяется ниже к изображению с уменьшенным разрешением и случайным кодбуком:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")Ошибка реконструкции снижается с 0.06267 после единственного токена 1 x 1 до 0.00212 после карты 16 x 16; на десяти масштабах используются 680 токенов. VAR обучает кодировщик, декодер и кодбук совместно. Модели обнаружения строятся на такой же пирамиде для распознавания: Ultralytics YOLO26 предсказывает объекты по уровням пирамиды признаков с шагами 8, 16 и 32. Для изображения размером 640 пикселей это даёт карты 80 x 80, 40 x 40 и 20 x 20: крупные объекты обнаруживаются на грубой карте, а мелкие — на детальной.
Как VAR генерирует изображение#
Трансформер в стиле GPT генерирует карты токенов по порядку, используя поблочную причинную маску внимания, которая позволяет каждому токену учитывать свой масштаб и все более грубые масштабы:
Авторы обучили модели размером до 2 миллиардов параметров и обнаружили степенные законы масштабирования, подобные законам для больших языковых моделей: коэффициенты линейной корреляции между размером модели и тестовой ошибкой были близки к -0.998. Та же модель выполняет заливку пропусков на изображениях, дорисовку за границами изображения и редактирование с условием по классу в режиме zero-shot без дополнительного обучения: токены за пределами редактируемой области фиксируются на истинных значениях, а остальные генерируются.
Преемники VAR и связанные понятия#
- Infinity: преемник модели ByteDance для генерации изображений по тексту, выпущенный в декабре 2024 года, заменяет кодовую книгу на 4096 элементов битовыми токенами из токенизатора с практически неограниченным словарём. Он создаёт изображение размером 1024 x 1024 за 0,8 секунды — в 2,6 раза быстрее, чем Stable Diffusion 3 Medium, — и повышает результат GenEval с 0,62 у SD3 Medium до 0,73.
- Диффузионные трансформеры (DiT): На протяжении многих шагов устраняют шум из непрерывных латентных представлений. Согласно статье о VAR, по качеству изображений, скорости выполнения вывода, эффективности использования данных и масштабируемости VAR превосходит DiT.
- Диффузионные модели: На каждом шаге уточняют каждый пиксель или латентное представление изображения, начиная с гауссовского шума.
- Маскированные генеративные трансформеры: MaskGIT от Google параллельно предсказывает все замаскированные токены сетки с одним разрешением и сохраняет наиболее уверенно предсказанные токены примерно в 8–12 итерациях.










