Vision Language Model (VLM)
Um modelo de visão e linguagem (VLM) processa imagens e texto em conjunto para criar legendas, responder a perguntas e encontrar objetos pelo nome. Arquiteturas e exemplos.
Um modelo de visão e linguagem (VLM) é uma rede neural que processa imagens e, muitas vezes, vídeos juntamente com texto. Consoante a sua conceção, avalia o grau de correspondência entre uma imagem e uma legenda, escreve texto sobre uma imagem ou encontra os objetos identificados por um prompt de texto. Os VLMs respondem a perguntas como «Quantas pessoas estão à espera na paragem de autocarro?», convertem gráficos e recibos em dados estruturados e localizam objetos descritos em linguagem corrente. Combinam a perceção visual dos modelos de visão por computador, que preveem a partir de uma lista fixa de classes, com a linguagem aberta dos grandes modelos de linguagem (LLMs).
Como funcionam os Modelos de Visão-Linguagem#
Todos os VLMs precisam de um codificador visual, geralmente um Vision Transformer (ViT), que converte uma imagem em embeddings, e de uma forma de relacionar esses embeddings com texto. São comuns três arquiteturas:
- Codificadores duplos: O CLIP e o SigLIP codificam imagens e texto separadamente num espaço de embeddings partilhado, treinado com aprendizagem contrastiva em centenas de milhões a milhares de milhões de pares de imagem e legenda. Medem a semelhança em vez de gerar texto, o que faz deles as ferramentas padrão para a classificação zero-shot e a pesquisa de imagens.
- VLMs generativos: Um codificador visual pré-treinado, muitas vezes proveniente do CLIP ou do SigLIP, alimenta um projetor que converte os seus embeddings de patches em «tokens visuais» no espaço de entrada do LLM. O LLM lê-os juntamente com o prompt de texto e escreve a resposta. O LLaVA-1.5 funciona desta forma: o seu codificador CLIP ViT-L/14 divide uma imagem 336×336 numa grelha de patches 24×24, produzindo 576 tokens visuais. O Flamingo da DeepMind seguiu uma abordagem diferente, inserindo camadas de atenção cruzada num LLM congelado, para que os tokens de texto prestem atenção às características da imagem.
- Detetores de vocabulário aberto: Modelos como o Grounding DINO, o YOLO-World e o YOLOE comparam regiões da imagem com embeddings de texto para devolver caixas ou máscaras de qualquer objeto nomeado, uma tarefa chamada grounding. Alguns VLMs generativos também localizam objetos, escrevendo as coordenadas das caixas como texto ou como tokens de localização especiais.
Na arquitetura generativa, o LLM escreve a resposta um token de cada vez, prestando atenção aos tokens visuais e ao prompt em cada etapa:
Os VLMs generativos são normalmente treinados em várias etapas. Primeiro, o projetor aprende a alinhar os tokens visuais com os embeddings do LLM usando pares de imagem e legenda, enquanto o codificador e o LLM permanecem congelados. O ajuste visual por instruções ajusta o modelo com conversas sobre imagens, e o ajuste por preferências, como o RLHF, reduz as respostas que descrevem coisas que não estão na imagem.
Os detetores de vocabulário aberto aplicam a mesma correspondência de texto à deteção em tempo real. O YOLOE, apresentado por investigadores da Universidade Tsinghua e disponível no pacote Ultralytics como YOLOE-26, na arquitetura YOLO26, converte nomes de classes em embeddings com o codificador de texto MobileCLIP2 da Apple e compara-os com regiões da imagem, devolvendo caixas e máscaras de instância para categorias para as quais nunca foi treinado a atribuir rótulos. Os prompts abaixo incluem óculos de sol, que não fazem parte das 80 classes do COCO que os modelos YOLO de conjunto fechado detetam:
from ultralytics import YOLOE
# Carregar um modelo YOLOE-26 de deteção e segmentação com vocabulário aberto
model = YOLOE("yoloe-26s-seg.pt")
# Indicar as classes em linguagem corrente; o codificador de texto converte cada uma num embedding
model.set_classes(["person", "glasses", "bus"])
# Detetar e segmentar apenas as classes indicadas no prompt
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")A lista apresentada contém o autocarro, quatro pessoas e os óculos usados por duas delas, e alterar a lista de palavras altera aquilo que o modelo deteta sem qualquer novo treino.
Aplicações no mundo real#
- Resposta a perguntas visuais: Ferramentas de inspeção, retalho e suporte perguntam a um VLM sobre uma fotografia, por exemplo, se uma prateleira está totalmente abastecida ou qual é a luz de aviso acesa na imagem de um painel de instrumentos.
- Compreensão de documentos: Os VLMs leem faturas, formulários, tabelas e gráficos diretamente a partir de imagens de páginas e devolvem campos estruturados, substituindo muitas vezes uma etapa separada de OCR.
- Legendagem de imagens e acessibilidade: As descrições geradas fornecem texto alternativo para leitores de ecrã e metadados pesquisáveis para bibliotecas de fotografias.
- Robótica: Os modelos de visão-linguagem-ação, como o RT-2 da Google DeepMind, alargam um VLM para gerar ações robóticas, permitindo que um robô siga instruções como «apanha a lata vazia».
- Rotulagem de dados: Detectores de vocabulário aberto propõem caixas e máscaras para novas classes a partir de prompts de texto, dando aos anotadores um ponto de partida em vez de uma imagem em branco. A Ultralytics Platform anota automaticamente conjuntos de dados de detecção com esses detectores e com VLMs generativos antes de treinar um modelo YOLO26 com os rótulos.
VLMs vs. termos relacionados#
- LLM: Um modelo apenas de texto. Muitos VLMs generativos são LLMs com um codificador visual associado e herdam o raciocínio, o conhecimento e a tendência para inventar coisas dos LLMs.
- IA multimodal: A categoria mais ampla de modelos que combinam tipos de dados. Um modelo que combina áudio com texto ou radar com imagens de câmaras é multimodal, mas não é um VLM.
- Detecção de objetos: Um detector de conjunto fechado prevê apenas as classes com que foi treinado e não aceita entrada de texto. Detectores de vocabulário aberto são os VLMs que assumem essa tarefa quando as classes são nomeadas no momento da inferência. O VLM Leaderboard compara a precisão com que detectores de vocabulário aberto e VLMs generativos detectam objetos em conjuntos de dados do mundo real.
Limitações#
Os VLMs alucinam: um modelo de legendagem pode mencionar um garfo numa mesa que não tem nenhum, porque o modelo de linguagem completa uma frase provável. O raciocínio espacial detalhado, a contagem de grandes grupos e a leitura de texto pequeno são outros pontos fracos, e cada imagem consome centenas ou milhares de tokens da janela de contexto do LLM. O benchmark POPE mede as alucinações de objetos fazendo ao modelo perguntas como «Há um carro na imagem?» e selecionando aleatoriamente objetos ausentes: entre os objetos mais frequentes no conjunto de dados ou entre os que aparecem muitas vezes junto dos objetos presentes.










