Vision Language Model (VLM)

Um Vision Language Model (VLM) é um tipo de inteligência artificial que consegue processar e interpretar informações visuais (imagens ou vídeo) e informações textuais simultaneamente. Ao contrário dos modelos de computer vision tradicionais que focam apenas em dados de píxeis, ou dos Large Language Models (LLMs) que apenas entendem texto, os VLMs preenchem a lacuna entre estas duas modalidades. Ao treinar em conjuntos de dados massivos contendo pares de imagem-texto, estes modelos aprendem a associar características visuais a conceitos linguísticos, permitindo-lhes descrever imagens, responder a perguntas sobre cenas visuais e até executar comandos baseados no que "veem".

Link to this sectionComo Funcionam os Vision Language Models#

No seu núcleo, os VLMs consistem tipicamente em dois componentes principais: um codificador de visão e um codificador de texto. O codificador de visão processa imagens para extrair feature maps e representações visuais, enquanto o codificador de texto lida com a entrada linguística. Estes fluxos distintos de dados são então fundidos usando mecanismos como cross-attention para alinhar a informação visual e textual num espaço de embedding partilhado.

Avanços recentes em 2024 e 2025 moveram-se em direção a arquiteturas mais unificadas, onde um único backbone Transformer lida com ambas as modalidades. Por exemplo, modelos como o Google PaliGemma 2 demonstram como a integração eficaz destes fluxos pode melhorar o desempenho em tarefas de raciocínio complexas. Este alinhamento permite ao modelo compreender o contexto, como reconhecer que a palavra "apple" se refere a uma fruta na imagem de um supermercado, mas a uma empresa de tecnologia num logótipo.

Link to this sectionAplicações no Mundo Real#

A capacidade de entender o mundo através da visão e da linguagem abre diversas aplicações em vários setores:

• Visual Question Answering (VQA): Os VLMs são amplamente utilizados em diagnósticos de saúde para auxiliar radiologistas. Um médico pode perguntar a um sistema: "Existe uma fratura neste raio-X?" e o modelo analisa a imagem médica para fornecer uma avaliação preliminar, reduzindo erros de diagnóstico.
• Busca Inteligente no E-Commerce: Em ambientes de varejo, os VLMs permitem que os usuários procurem produtos usando descrições em linguagem natural combinadas com imagens. Um comprador pode enviar uma foto da roupa de uma celebridade e perguntar: "Encontre-me um vestido com esta estampa, mas em azul", e o sistema utiliza busca semântica para recuperar correspondências precisas.
• Legendas Automáticas e Acessibilidade: Os VLMs geram automaticamente alt text descritivo para imagens na web, tornando o conteúdo digital mais acessível a utilizadores com deficiência visual que dependem de leitores de ecrã.

Link to this sectionDiferenciar VLMs de Conceitos Relacionados#

É útil distinguir os VLMs de outras categorias de IA para entender o seu papel específico:

• VLM vs. LLM: Um Large Language Model (como as versões apenas de texto do GPT-4) processa apenas dados de texto. Embora consiga gerar histórias criativas ou código, não consegue "ver" uma imagem. Um VLM dá, efetivamente, olhos a um LLM.
• VLM vs. Object Detection: Modelos tradicionais de object detection, como as primeiras versões do YOLO, identificam onde estão os objetos e a que classe pertencem (ex.: "Carro: 99%"). Um VLM vai mais além ao entender as relações e atributos, como "um carro desportivo vermelho estacionado ao lado de um marco de incêndio".
• VLM vs. Multimodal AI: Multimodal AI é um termo abrangente. Embora todos os VLMs sejam multimodais (combinando visão e linguagem), nem todos os modelos multimodais são VLMs; alguns podem combinar áudio e texto (como speech-to-text) ou vídeo e dados de sensores sem uma componente de linguagem.

Link to this sectionDeteção de Vocabulário Aberto com YOLO#

Os VLMs modernos permitem a deteção de "vocabulário aberto", onde podes detetar objetos usando prompts de texto de forma livre em vez de classes predefinidas. Esta é uma funcionalidade chave de modelos como o Ultralytics YOLO-World, que permite definições de classe dinâmicas sem necessidade de re-treino.

O exemplo a seguir demonstra como utilizar o pacote ultralytics para detetar objetos específicos descritos por texto:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionDesafios e Direções Futuras#

Embora poderosos, os Vision Language Models enfrentam desafios significativos. Um problema importante é a alucinação, onde o modelo descreve com confiança objetos ou texto numa imagem que simplesmente não estão lá. Os investigadores estão a trabalhar ativamente em técnicas como Reinforcement Learning from Human Feedback (RLHF) para melhorar o grounding e a precisão.

Outro desafio é o custo computacional. Treinar esses modelos massivos exige recursos substanciais de GPU. No entanto, o lançamento de arquiteturas eficientes como o Ultralytics YOLO26 está ajudando a trazer recursos avançados de visão para dispositivos de borda. À medida que avançamos, esperamos ver os VLMs desempenhando um papel crucial em agentes robóticos, permitindo que robôs naveguem e manipulem objetos com base em instruções verbais complexas.

Para aqueles interessados nas fundações teóricas, o CLIP paper da OpenAI original oferece uma excelente perspetiva sobre o pré-treino contrastivo de linguagem-imagem. Além disso, manter-se a par dos artigos da conferência CVPR é essencial para acompanhar a rápida evolução destas arquiteturas. Para experimentar treinar os teus próprios modelos de visão, podes utilizar a Ultralytics Platform para uma gestão de conjuntos de dados e implementação de modelos simplificada.