Visual Instruction Tuning

O ajuste de instrução visual é uma técnica transformadora de aprendizado de máquina que estende os métodos tradicionais de processamento de linguagem natural para o domínio multimodal. Ao treinar um Vision Language Model (VLM) para seguir diretrizes humanas explícitas baseadas em entradas de imagem ou vídeo, os desenvolvedores podem criar assistentes de IA que entendem e raciocinam sobre conteúdo visual. Diferente dos modelos padrão de image classification que produzem uma categoria predefinida, o ajuste de instrução visual capacita os modelos a executar tarefas complexas e abertas — como descrever uma cena, ler texto em uma imagem ou responder a perguntas específicas sobre relações espaciais. Isso preenche a lacuna entre os large language models (LLMs) baseados em texto e os pipelines tradicionais de computer vision.

Link to this sectionEntendendo o Conceito e as Distinções#

Para compreender o ajuste de instrução visual, é útil distingui-lo de conceitos intimamente relacionados no ecossistema de IA:

• Instruction Tuning: Refere-se tipicamente ao alinhamento de LLMs exclusivamente de texto para seguir a intenção humana de forma segura e precisa. O ajuste de instrução visual aplica essa mesma metodologia, mas incorpora imagens ao prompt e à saída esperada.
• Visual Prompting: Geralmente envolve interagir com uma IA usando pistas visuais — como desenhar uma bbox, colocar um ponto ou mascarar uma área em uma imagem — para guiar o foco do modelo. Em contraste, o ajuste de instrução visual depende fortemente de comandos em linguagem natural combinados com os dados visuais.

O processo de treinamento envolve, geralmente, o fine-tuning de um modelo de base multimodal pré-treinado usando conjuntos de dados extensos formatados como trigêmeos de imagem-texto-instrução. Pesquisas pioneiras do arXiv sobre ajuste de instrução visual, como o projeto LLaVA (Large Language-and-Vision Assistant), demonstraram que esses modelos podem alcançar capacidades zero-shot notáveis. Hoje, grandes organizações de IA empregam essa técnica para impulsionar modelos avançados, incluindo OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet e Google DeepMind Gemini.

Link to this sectionAplicações no Mundo Real#

Ao alinhar arquiteturas de multimodal deep learning com a intenção humana, o ajuste de instrução visual desbloqueia aplicações altamente interativas em vários setores:

• IA em Diagnósticos de Saúde: Profissionais médicos podem usar modelos ajustados por instrução para Visual Question Answering (VQA). Um radiologista pode solicitar ao sistema, com uma imagem de raio-X e a instrução: "Destaque e explique quaisquer sinais de pneumonia no lobo inferior esquerdo", permitindo que a IA atue como um assistente de diagnóstico colaborativo.
• IA no Controle de Qualidade Industrial: Em vez de treinar um modelo rígido de detecção de defeitos do zero, os operadores podem instruir um sistema de visão como o Microsoft Florence-2 declarando: "Identifique quaisquer arranhões ou mossas microscópicas nesta carcaça de metal recém-fabricada."

Link to this sectionConstruindo Workflows de Visão#

Para construir sistemas que aproveitem essas capacidades, os desenvolvedores geralmente dependem de modelos robustos de object detection para extrair o contexto estrutural das imagens antes de passar esses dados para um VLM. Usando a documentação multimodal de PyTorch ou modelos de visão de TensorFlow, os desenvolvedores podem criar pipelines híbridos.

Por exemplo, você pode usar um modelo Ultralytics YOLO para perceber rapidamente uma cena e gerar um prompt de linguagem informado para um VLM a jusante:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

Gerenciar os conjuntos de dados complexos e multimodais necessários para essas aplicações de última geração pode ser desafiador. A Ultralytics Platform simplifica esse processo fornecendo ferramentas de ponta a ponta para anotação de conjuntos de dados, treinamento em nuvem e implantação contínua de modelos. Esteja você lendo artigos de ponta na ACM digital library ou nos arquivos de IEEE Xplore computer vision, a mudança em direção a sistemas de visão altamente capazes e ajustados por instrução representa a fronteira da inteligência artificial. Ao combinar a percepção do YOLO26 com modelos de raciocínio ajustados, organizações podem implantar agentes de IA incrivelmente robustos.