Licenciar o YOLO
Voltar ao glossário da Ultralytics

Vision Language Model (VLM)

Um modelo de visão e linguagem (VLM) processa imagens e texto em conjunto para criar legendas, responder a perguntas e encontrar objetos pelo nome. Arquiteturas e exemplos.

Um modelo de visão e linguagem (VLM) é uma rede neural que processa imagens e, muitas vezes, vídeos juntamente com texto. Consoante a sua conceção, avalia o grau de correspondência entre uma imagem e uma legenda, escreve texto sobre uma imagem ou encontra os objetos identificados por um prompt de texto. Os VLMs respondem a perguntas como «Quantas pessoas estão à espera na paragem de autocarro?», convertem gráficos e recibos em dados estruturados e localizam objetos descritos em linguagem corrente. Combinam a perceção visual dos modelos de visão por computador, que preveem a partir de uma lista fixa de classes, com a linguagem aberta dos grandes modelos de linguagem (LLMs).

Como funcionam os Modelos de Visão-Linguagem#

Todos os VLMs precisam de um codificador visual, geralmente um Vision Transformer (ViT), que converte uma imagem em embeddings, e de uma forma de relacionar esses embeddings com texto. São comuns três arquiteturas:

  • Codificadores duplos: O CLIP e o SigLIP codificam imagens e texto separadamente num espaço de embeddings partilhado, treinado com aprendizagem contrastiva em centenas de milhões a milhares de milhões de pares de imagem e legenda. Medem a semelhança em vez de gerar texto, o que faz deles as ferramentas padrão para a classificação zero-shot e a pesquisa de imagens.
  • VLMs generativos: Um codificador visual pré-treinado, muitas vezes proveniente do CLIP ou do SigLIP, alimenta um projetor que converte os seus embeddings de patches em «tokens visuais» no espaço de entrada do LLM. O LLM lê-os juntamente com o prompt de texto e escreve a resposta. O LLaVA-1.5 funciona desta forma: o seu codificador CLIP ViT-L/14 divide uma imagem 336×336 numa grelha de patches 24×24, produzindo 576 tokens visuais. O Flamingo da DeepMind seguiu uma abordagem diferente, inserindo camadas de atenção cruzada num LLM congelado, para que os tokens de texto prestem atenção às características da imagem.
  • Detetores de vocabulário aberto: Modelos como o Grounding DINO, o YOLO-World e o YOLOE comparam regiões da imagem com embeddings de texto para devolver caixas ou máscaras de qualquer objeto nomeado, uma tarefa chamada grounding. Alguns VLMs generativos também localizam objetos, escrevendo as coordenadas das caixas como texto ou como tokens de localização especiais.

Na arquitetura generativa, o LLM escreve a resposta um token de cada vez, prestando atenção aos tokens visuais e ao prompt em cada etapa:

Os VLMs generativos são normalmente treinados em várias etapas. Primeiro, o projetor aprende a alinhar os tokens visuais com os embeddings do LLM usando pares de imagem e legenda, enquanto o codificador e o LLM permanecem congelados. O ajuste visual por instruções ajusta o modelo com conversas sobre imagens, e o ajuste por preferências, como o RLHF, reduz as respostas que descrevem coisas que não estão na imagem.

Os detetores de vocabulário aberto aplicam a mesma correspondência de texto à deteção em tempo real. O YOLOE, apresentado por investigadores da Universidade Tsinghua e disponível no pacote Ultralytics como YOLOE-26, na arquitetura YOLO26, converte nomes de classes em embeddings com o codificador de texto MobileCLIP2 da Apple e compara-os com regiões da imagem, devolvendo caixas e máscaras de instância para categorias para as quais nunca foi treinado a atribuir rótulos. Os prompts abaixo incluem óculos de sol, que não fazem parte das 80 classes do COCO que os modelos YOLO de conjunto fechado detetam:

from ultralytics import YOLOE

# Carregar um modelo YOLOE-26 de deteção e segmentação com vocabulário aberto
model = YOLOE("yoloe-26s-seg.pt")

# Indicar as classes em linguagem corrente; o codificador de texto converte cada uma num embedding
model.set_classes(["person", "glasses", "bus"])

# Detetar e segmentar apenas as classes indicadas no prompt
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

A lista apresentada contém o autocarro, quatro pessoas e os óculos usados por duas delas, e alterar a lista de palavras altera aquilo que o modelo deteta sem qualquer novo treino.

Aplicações no mundo real#

  • Resposta a perguntas visuais: Ferramentas de inspeção, retalho e suporte perguntam a um VLM sobre uma fotografia, por exemplo, se uma prateleira está totalmente abastecida ou qual é a luz de aviso acesa na imagem de um painel de instrumentos.
  • Compreensão de documentos: Os VLMs leem faturas, formulários, tabelas e gráficos diretamente a partir de imagens de páginas e devolvem campos estruturados, substituindo muitas vezes uma etapa separada de OCR.
  • Legendagem de imagens e acessibilidade: As descrições geradas fornecem texto alternativo para leitores de ecrã e metadados pesquisáveis para bibliotecas de fotografias.
  • Robótica: Os modelos de visão-linguagem-ação, como o RT-2 da Google DeepMind, alargam um VLM para gerar ações robóticas, permitindo que um robô siga instruções como «apanha a lata vazia».
  • Rotulagem de dados: Detectores de vocabulário aberto propõem caixas e máscaras para novas classes a partir de prompts de texto, dando aos anotadores um ponto de partida em vez de uma imagem em branco. A Ultralytics Platform anota automaticamente conjuntos de dados de detecção com esses detectores e com VLMs generativos antes de treinar um modelo YOLO26 com os rótulos.
  • LLM: Um modelo apenas de texto. Muitos VLMs generativos são LLMs com um codificador visual associado e herdam o raciocínio, o conhecimento e a tendência para inventar coisas dos LLMs.
  • IA multimodal: A categoria mais ampla de modelos que combinam tipos de dados. Um modelo que combina áudio com texto ou radar com imagens de câmaras é multimodal, mas não é um VLM.
  • Detecção de objetos: Um detector de conjunto fechado prevê apenas as classes com que foi treinado e não aceita entrada de texto. Detectores de vocabulário aberto são os VLMs que assumem essa tarefa quando as classes são nomeadas no momento da inferência. O VLM Leaderboard compara a precisão com que detectores de vocabulário aberto e VLMs generativos detectam objetos em conjuntos de dados do mundo real.

Limitações#

Os VLMs alucinam: um modelo de legendagem pode mencionar um garfo numa mesa que não tem nenhum, porque o modelo de linguagem completa uma frase provável. O raciocínio espacial detalhado, a contagem de grandes grupos e a leitura de texto pequeno são outros pontos fracos, e cada imagem consome centenas ou milhares de tokens da janela de contexto do LLM. O benchmark POPE mede as alucinações de objetos fazendo ao modelo perguntas como «Há um carro na imagem?» e selecionando aleatoriamente objetos ausentes: entre os objetos mais frequentes no conjunto de dados ou entre os que aparecem muitas vezes junto dos objetos presentes.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina