Лицензия YOLO
Назад к глоссарию Ultralytics

Visual Autoregressive Modeling (VAR)

Визуальное авторегрессионное моделирование (VAR) генерирует изображения от грубых форм к деталям, параллельно предсказывая карту токенов для каждого следующего разрешения. Рассматриваются токенизатор и масштабирование.

Визуальное авторегрессионное моделирование (VAR) — метод генеративного ИИ для изображений: он предсказывает изображение как последовательность карт токенов возрастающего разрешения — от одного токена 1 x 1 до полной сетки, — а не предсказывает токены по одному в порядке чтения. На каждом шаге параллельно генерируются все токены следующего масштаба с учётом всех более грубых масштабов, поэтому для изображения 256 x 256 требуется 10 шагов. Кэюй Тянь, И Цзян, Чжэхуань Юань, Бинъюэ Пэн и Ливэй Ван из Пекинского университета и ByteDance представили VAR в апреле 2024 года в работе «Визуальное авторегрессионное моделирование: масштабируемая генерация изображений с помощью предсказания следующего масштаба», которая получила награду за лучшую статью NeurIPS 2024. При генерации изображений 256 x 256 с условием по классу на ImageNet модель снизила расстояние Фреше — Инсепшен (FID) авторегрессионного базового метода с 18.65 до 1.73, а показатель Inception Score повысила с 80.4 до 350.2, обеспечив примерно в 20 раз более быстрое выполнение вывода.

Зачем предсказывать следующий масштаб#

Более ранние авторегрессионные генераторы изображений, например трансформер из VQGAN и Parti от Google, преобразуют изображение в сетку дискретных токенов, разворачивают её построчно и предсказывают по одному токену, как модель GPT генерирует текст. Для изображений такой порядок не подходит. Токен может видеть только токены над ним и слева от него, хотя области изображения зависят друг от друга во всех направлениях; кроме того, для сетки 16 x 16 требуется 256 последовательных шагов. Предсказание следующего масштаба сохраняет целевую функцию обучения трансформера и причинный порядок, но меняет единицу предсказания: вместо одного токена предсказывается целое разрешение. Токены одного масштаба видят друг друга, а каждый масштаб видит всё изображение на всех более грубых разрешениях.

Мультимасштабный токенизатор#

Токенизатор VAR — это автоэнкодер, латентное представление которого сжато с помощью многомасштабного векторного квантования. Кодировщик преобразует изображение 256 x 256 в карту признаков 16 x 16, которая квантуется в 10 масштабах — от 1 x 1 до 16 x 16 — с помощью общего кодбука на 4 096 элементов. На каждом масштабе квантуется только то, что осталось необъяснённым после более грубых масштабов, то есть остаток. Поэтому грубые карты содержат общую цветовую гамму и композицию, а последующие карты добавляют более мелкие детали. Та же схема остаточных значений применяется ниже к изображению с уменьшенным разрешением и случайным кодбуком:

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

Ошибка реконструкции снижается с 0.06267 после единственного токена 1 x 1 до 0.00212 после карты 16 x 16; на десяти масштабах используются 680 токенов. VAR обучает кодировщик, декодер и кодбук совместно. Модели обнаружения строятся на такой же пирамиде для распознавания: Ultralytics YOLO26 предсказывает объекты по уровням пирамиды признаков с шагами 8, 16 и 32. Для изображения размером 640 пикселей это даёт карты 80 x 80, 40 x 40 и 20 x 20: крупные объекты обнаруживаются на грубой карте, а мелкие — на детальной.

Как VAR генерирует изображение#

Трансформер в стиле GPT генерирует карты токенов по порядку, используя поблочную причинную маску внимания, которая позволяет каждому токену учитывать свой масштаб и все более грубые масштабы:

Авторы обучили модели размером до 2 миллиардов параметров и обнаружили степенные законы масштабирования, подобные законам для больших языковых моделей: коэффициенты линейной корреляции между размером модели и тестовой ошибкой были близки к -0.998. Та же модель выполняет заливку пропусков на изображениях, дорисовку за границами изображения и редактирование с условием по классу в режиме zero-shot без дополнительного обучения: токены за пределами редактируемой области фиксируются на истинных значениях, а остальные генерируются.

  • Infinity: преемник модели ByteDance для генерации изображений по тексту, выпущенный в декабре 2024 года, заменяет кодовую книгу на 4096 элементов битовыми токенами из токенизатора с практически неограниченным словарём. Он создаёт изображение размером 1024 x 1024 за 0,8 секунды — в 2,6 раза быстрее, чем Stable Diffusion 3 Medium, — и повышает результат GenEval с 0,62 у SD3 Medium до 0,73.
  • Диффузионные трансформеры (DiT): На протяжении многих шагов устраняют шум из непрерывных латентных представлений. Согласно статье о VAR, по качеству изображений, скорости выполнения вывода, эффективности использования данных и масштабируемости VAR превосходит DiT.
  • Диффузионные модели: На каждом шаге уточняют каждый пиксель или латентное представление изображения, начиная с гауссовского шума.
  • Маскированные генеративные трансформеры: MaskGIT от Google параллельно предсказывает все замаскированные токены сетки с одним разрешением и сохраняет наиболее уверенно предсказанные токены примерно в 8–12 итерациях.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения