Licenciar o YOLO
Voltar ao glossário da Ultralytics

Visual Autoregressive Modeling (VAR)

A modelagem autorregressiva visual (VAR) gera imagens do mais grosseiro ao mais fino, prevendo em paralelo cada mapa de tokens da resolução seguinte. Abrange o tokenizador e a escalabilidade.

A modelagem autorregressiva visual (VAR) é um método de IA generativa para imagens que prevê uma imagem como uma série de mapas de tokens com resolução crescente, de um único token de 1 x 1 até a grade completa, em vez de prever os tokens um de cada vez, na ordem de leitura. Cada etapa gera todos os tokens da escala seguinte em paralelo, condicionada a todas as escalas mais grosseiras; assim, uma imagem de 256 x 256 leva 10 etapas. Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng e Liwei Wang, da Universidade de Pequim e da ByteDance, apresentaram o VAR em abril de 2024 em Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction, que ganhou o prêmio de Melhor Artigo da NeurIPS 2024. Na geração de ImageNet 256 x 256 condicionada por classe, o método melhorou a distância de Fréchet entre distribuições de Inception (FID) de uma referência autorregressiva de 18.65 para 1.73 e a pontuação Inception de 80.4 para 350.2, com inferência cerca de 20 vezes mais rápida.

Por que prever a próxima escala#

Geradores de imagens autorregressivos anteriores, como o Transformer do VQGAN e o Parti do Google, convertem uma imagem em uma grade de tokens discretos, achatam-na linha por linha e preveem um token de cada vez, da mesma forma que um modelo GPT escreve texto. Essa ordem não se ajusta bem às imagens. Um token só pode ver os tokens acima e à sua esquerda, embora as regiões da imagem dependam umas das outras em todas as direções, e uma grade de 16 x 16 exige 256 etapas sequenciais. Prever a próxima escala mantém o objetivo de treinamento do Transformer e sua ordenação causal, mas muda a unidade de previsão: de um token para uma resolução inteira. Os tokens dentro de uma escala veem uns aos outros, e cada escala vê a imagem completa em todas as resoluções mais grosseiras.

O tokenizador multiescala#

O tokenizador do VAR é um autoencoder cujo espaço latente é comprimido com quantização vetorial multiescala. O codificador transforma uma imagem de 256 x 256 em um mapa de características de 16 x 16, que é quantizado em 10 escalas, de 1 x 1 a 16 x 16, com um único codebook compartilhado de 4,096 entradas. Cada escala quantiza somente o que as escalas mais grosseiras não conseguiram explicar — o resíduo —, de modo que os mapas grosseiros contêm as cores e a composição geral, enquanto os mapas posteriores acrescentam detalhes mais finos. O mesmo esquema residual é executado abaixo em uma foto reduzida usando um codebook aleatório:

import torch
import torch.nn.functional as F
from skimage import data

torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255  # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area")  # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1  # one shared codebook of 4,096 entries; residuals can be negative

# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16):  # VAR's ten token-map sizes for 256 x 256 images
    small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
    tokens = torch.cdist(small, codebook).argmin(dim=1)  # side x side discrete token map
    quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
    upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
    reconstruction, residual = reconstruction + upsampled, residual - upsampled
    print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")

O erro de reconstrução cai de 0.06267 após o único token de 1 x 1 para 0.00212 após o mapa de 16 x 16, usando 680 tokens nas dez escalas. O VAR treina conjuntamente o codificador, o decodificador e o codebook. Os modelos de deteção são construídos sobre o mesmo tipo de pirâmide para reconhecimento: o Ultralytics YOLO26 prevê objetos a partir dos níveis da pirâmide de características com strides de 8, 16 e 32; assim, uma imagem de 640 pixels produz mapas de 80 x 80, 40 x 40 e 20 x 20, nos quais os objetos grandes são encontrados no mapa grosseiro e os pequenos no mapa fino.

Como o VAR gera uma imagem#

Um Transformer no estilo GPT gera os mapas de tokens em ordem, usando uma máscara causal por blocos de atenção que permite a cada token prestar atenção à própria escala e a todas as escalas mais grosseiras:

Os autores treinaram modelos com até 2 bilhões de parâmetros e encontraram leis de escala do tipo observado em grandes modelos de linguagem, com coeficientes de correlação linear próximos de -0.998 entre o tamanho do modelo e a perda de teste. O mesmo modelo executa preenchimento de imagens, expansão de imagens e edição condicionada por classe em modo zero-shot, sem treinamento adicional, fixando os tokens fora da região editada nos valores de referência e amostrando o restante.

  • Infinity: O sucessor de texto para imagem da ByteDance, lançado em dezembro de 2024, substitui o livro de códigos com 4.096 entradas por tokens bit a bit de um tokenizador com vocabulário efetivamente ilimitado. Ele gera uma imagem de 1024 x 1024 em 0,8 segundo, 2,6 vezes mais rápido que o Stable Diffusion 3 Medium, e aumentou a pontuação GenEval de 0,62 do SD3 Medium para 0,73.
  • Transformers de difusão (DiT): Removem ruído de espaços latentes contínuos ao longo de muitas etapas. O artigo do VAR relata resultados superiores aos do DiT em qualidade de imagem, velocidade de inferência, eficiência de dados e escalabilidade.
  • Modelos de difusão: Refinam cada pixel ou espaço latente da imagem em cada etapa, começando com ruído gaussiano.
  • Transformers generativos mascarados: O MaskGIT do Google prevê todos os tokens mascarados de uma grade de resolução única em paralelo e mantém os tokens mais confiáveis ao longo de cerca de 8 a 12 iterações.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina