Visual Instruction Tuning

O ajuste de instruções visuais é o ajuste fino de um modelo de visão e linguagem (VLM) com exemplos que associam uma imagem e uma instrução em linguagem natural à resposta desejada, ensinando o modelo a atender a solicitações abertas sobre imagens: descrever uma cena, responder a uma pergunta, ler texto ou raciocinar sobre o que está visível. Ele estende o ajuste de instruções somente de texto às imagens e transforma um modelo que apenas relaciona imagens e palavras em um assistente visual. Haotian Liu, Chunyuan Li, Qingyang Wu e Yong Jae Lee, da Universidade de Wisconsin-Madison, da Microsoft Research e da Universidade Columbia, introduziram o termo em Visual Instruction Tuning, artigo apresentado oralmente na NeurIPS 2023, junto com o modelo LLaVA (Large Language and Vision Assistant) que desenvolveram.

Geração de dados de instrução#

Poucos conjuntos de dados associavam imagens a instruções e respostas, então os autores do LLaVA os geraram com um modelo somente de texto. Para cada imagem do COCO, forneceram ao GPT-4 uma descrição simbólica da imagem — suas legendas escritas por pessoas e suas caixas delimitadoras, com categorias e coordenadas dos objetos —, além de alguns exemplos escritos à mão, e pediram que escrevesse perguntas e respostas como se pudesse ver a imagem. Os dados sintéticos resultantes, lançados como LLaVA-Instruct-150K, contêm 158.000 amostras de três tipos: 58.000 conversas com vários turnos, 23.000 descrições detalhadas e 77.000 perguntas de raciocínio complexo cujas respostas exigem raciocínio passo a passo sobre a cena.

Arquitetura e treinamento#

LLaVA conecta um codificador de imagens ViT-L/14 do CLIP ao modelo de linguagem de grande porte (LLM) Vicuna por meio de uma única projeção linear que mapeia as características da imagem para o espaço de embeddings de palavras do LLM, de modo que a imagem entre no LLM como uma sequência de tokens visuais antes da instrução. O treinamento ocorre em duas etapas:

1. Alinhamento de características: O conjunto contém 595.000 pares de imagem e legenda filtrados do conjunto de dados CC3M. Apenas a projeção é treinada, enquanto o codificador de visão e o LLM permanecem congelados, para que os tokens visuais se tornem legíveis para o LLM.
2. Ajuste de instruções visuais: Com os dados de instrução, a projeção e o LLM são atualizados, enquanto o codificador de visão permanece congelado. A perda do próximo token é calculada apenas nas respostas do assistente, nunca nos tokens de imagem nem nas instruções do usuário.

O modelo resultante manteve conversas sobre imagens e instruções que nunca tinha visto. Em um benchmark sintético multimodal de seguimento de instruções avaliado pelo GPT-4, o LLaVA alcançou 85,1% da própria pontuação do GPT-4 e, após o ajuste fino no benchmark ScienceQA, um conjunto formado pelo LLaVA e pelo GPT-4 estabeleceu um novo estado da arte, com 92,53% de precisão.

O LLaVA-1.5 simplificou e aprimorou a receita: substituiu a projeção linear por um MLP de duas camadas, aumentou a resolução de entrada do CLIP para 336 pixels, adicionou conjuntos de dados acadêmicos de perguntas e respostas visuais com prompts curtos que especificam o formato da resposta e concluiu o treinamento em cerca de um dia em um único nó com oito GPUs A100, usando 1,2 milhão de amostras públicas para o modelo de 13 bilhões de parâmetros. O InstructBLIP, da Salesforce, adotou outra abordagem: converteu conjuntos de dados rotulados existentes para o formato de instrução e condicionou as características de imagem à instrução.

Aplicações#

Os VLMs ajustados com instruções substituem muitos modelos de tarefa única por um sistema que responde a perguntas abertas, escreve legendas de imagens com o nível de detalhe solicitado pelo usuário e lê texto em fotos, combinando reconhecimento óptico de caracteres (OCR) com raciocínio sobre o significado do texto. Modelos que leem capturas de tela dessa forma alimentam agentes que usam computadores. A receita também se transfere para domínios especializados: o LLaVA-Med foi alinhado com pares de figuras biomédicas e legendas do PubMed Central, ajustado com instruções geradas pelo GPT-4 sobre essas figuras e treinado em menos de 15 horas em oito GPUs A100. Essa abordagem abre caminho para assistentes de análise de imagens médicas que explicam os resultados em palavras.

Muitos VLMs ajustados com instruções também retornam a localização de objetos quando solicitados. A Ultralytics Platform usa isso em sua anotação inteligente com prompts de classe: em um conjunto de dados de detecção com 1 a 200 classes, modelos de código aberto hospedados, como o Moondream 3.1, ou modelos de visão pagos de provedores encontram as classes do conjunto de dados em uma imagem e retornam caixas editáveis para revisão.

Os VLMs ajustados com instruções também herdam as fraquezas dos dados usados. As respostas geradas podem descrever objetos que não estão na imagem, e métodos de preferência como a otimização direta de preferências (DPO) são aplicados após o ajuste de instruções para reduzir essas alucinações.

Ajuste de instruções visuais vs. conceitos relacionados#

• Ajuste de instruções de texto: Ajusta finamente um LLM somente de texto com pares de instruções e respostas. O ajuste de instruções visuais adiciona uma imagem a cada exemplo e treina a conexão entre o codificador de visão e o LLM.
• Pré-treinamento de visão e linguagem: Modelos contrastivos como o CLIP aprendem a associar imagens e legendas, fornecendo características visuais a um VLM, mas sem a capacidade de seguir instruções.
• Prompting visual: Orienta um modelo durante a inferência com pistas visuais, como pontos, caixas ou imagens de exemplo, como na segmentação que aceita prompts. O ajuste de instruções visuais é uma etapa de treinamento, e seus prompts são escritos em linguagem natural.
• Ajuste fino para respostas a perguntas visuais (VQA): Treina um modelo em uma tarefa e um formato de resposta, como um único benchmark de VQA. O ajuste de instruções visuais combina vários tipos de tarefa em um único formato de instrução para que o modelo generalize para novas solicitações.