Compreender modelos de linguagem visual e as suas aplicações

Em um artigo anterior, exploramos como o GPT-4o pode entender e descrever imagens usando palavras. Também estamos vendo essa capacidade em outros novos modelos, como o Google Gemini e o Claude 3. Hoje, estamos nos aprofundando nesse conceito para explicar como os modelos de linguagem visual funcionam e como eles combinam dados visuais e textuais.

Esses modelos podem ser usados para realizar uma série de tarefas impressionantes, como gerar legendas detalhadas para fotos, responder a perguntas sobre imagens e até criar novos conteúdos visuais com base em descrições textuais. Ao integrar perfeitamente informações visuais e linguísticas, os modelos de linguagem visual estão mudando a forma como interagimos com a tecnologia e entendemos o mundo ao nosso redor.

Link to this sectionComo funcionam os modelos de linguagem visual#

Antes de analisarmos onde os modelos de linguagem visual (VLMs) podem ser usados, vamos entender o que são e como funcionam. Os VLMs são modelos de IA avançados que combinam as capacidades dos modelos de visão e de linguagem para lidar com imagens e texto. Esses modelos recebem imagens junto com suas descrições de texto e aprendem a conectar as duas coisas. A parte de visão do modelo captura detalhes das imagens, enquanto a parte de linguagem entende o texto. Esse trabalho em equipe permite que os VLMs entendam e analisem imagens e textos.

Aqui estão as principais capacidades dos modelos de linguagem visual:

• Legendas de imagens: Geração de texto descritivo com base no conteúdo das imagens.
• Perguntas e respostas visuais (VQA): Respostas a perguntas relacionadas ao conteúdo de uma imagem.
• Geração de Imagem a partir de texto: Criação de imagens com base em descrições textuais.
• Recuperação de imagem-texto: Busca de imagens relevantes para uma consulta de texto específica e vice-versa.
• Criação de conteúdo multimodal: Combinação de imagens e texto para gerar novo conteúdo.
• Compreensão de cena e detecção de objetos: Identificação e categorização de objetos e detalhes dentro de uma imagem.

Fig 1. Um exemplo das capacidades de um modelo de linguagem visual.

A seguir, vamos explorar arquiteturas comuns de VLM e técnicas de aprendizado usadas por modelos conhecidos como CLIP, SimVLM e VisualGPT.

Link to this sectionAprendizado contrastivo#

O aprendizado contrastivo é uma técnica que ajuda os modelos a aprender comparando diferenças entre pontos de dados. Ele calcula o quão semelhantes ou diferentes são as instâncias e visa minimizar a perda contrastiva, que mede essas diferenças. É especialmente útil no aprendizado semissupervisionado, onde um pequeno conjunto de exemplos rotulados orienta o modelo a rotular novos dados não vistos. Por exemplo, para entender como é um gato, o modelo o compara a imagens semelhantes de gatos e de cães. Ao identificar características como estrutura facial, tamanho do corpo e pelos, as técnicas de aprendizado contrastivo podem diferenciar um gato de um cão.

Fig 2. Como o aprendizado contrastivo funciona.

O CLIP é um modelo de linguagem visual que usa aprendizado contrastivo para combinar descrições de texto com imagens. Ele funciona em três etapas simples. Primeiro, treina as partes do modelo que entendem tanto o texto quanto as imagens. Segundo, converte as categorias em um conjunto de dados em descrições de texto. Terceiro, identifica a descrição que melhor corresponde a uma determinada imagem. Graças a esse método, o modelo CLIP pode fazer previsões precisas mesmo para tarefas para as quais não foi especificamente treinado.

Link to this sectionPrefixLM#

PrefixLM é uma técnica de processamento de linguagem natural (NLP) usada para treinar modelos. Ela começa com parte de uma frase (um prefixo) e aprende a prever a palavra seguinte. Nos modelos de linguagem visual, o PrefixLM ajuda o modelo a prever as próximas palavras com base em uma imagem e em um determinado trecho de texto. Ele usa um Transformer de visão (ViT), que quebra uma imagem em pequenos patches, cada um representando uma parte da imagem, e os processa em sequência.

Fig 3. Um exemplo de treinamento de um VLM que usa a técnica PrefixLM.

O SimVLM é um VLM que usa a técnica de aprendizado PrefixLM. Ele utiliza uma arquitetura de Transformer mais simples em comparação com modelos anteriores, mas alcança melhores resultados em vários testes. Sua arquitetura de modelo envolve aprender a associar imagens a prefixos de texto usando um codificador de Transformer e, em seguida, gerar texto usando um decodificador de Transformer.

Link to this sectionFusão multimodal com atenção cruzada#

A fusão multimodal com atenção cruzada é uma técnica que melhora a capacidade de um modelo de linguagem visual pré-treinado de entender e processar dados visuais. Ela funciona adicionando camadas de atenção cruzada ao modelo, o que permite que ele preste atenção tanto em informações visuais quanto textuais ao mesmo tempo.

Veja como funciona:

• Objetos-chave em uma imagem são identificados e destacados.
• Objetos destacados são processados por um codificador visual, traduzindo as informações visuais para um formato que o modelo possa entender.
• As informações visuais são passadas para um decodificador, que interpreta a imagem usando o conhecimento do modelo de linguagem pré-treinado.

O VisualGPT é um bom exemplo de um modelo que usa essa técnica. Ele inclui um recurso especial chamado unidade de ativação autorressuscitável (SRAU), que ajuda o modelo a evitar um problema comum chamado gradientes desaparecidos. Os gradientes desaparecidos podem fazer com que os modelos percam informações importantes durante o treinamento, mas o SRAU mantém o desempenho do modelo forte.

Fig 4. Arquitetura do modelo VisualGPT.

Link to this sectionAplicações de modelos de linguagem visual#

Os modelos de linguagem visual estão causando impacto em diversos setores. Desde a melhoria das plataformas de comércio eletrônico até tornar a internet mais acessível, os usos potenciais dos VLMs são empolgantes. Vamos explorar algumas dessas aplicações.

Link to this sectionGeração de descrições de produtos#

Ao fazer compras online, você vê descrições detalhadas de cada produto, mas criar essas descrições pode ser demorado. Os VLMs simplificam esse processo automatizando a geração dessas descrições. Varejistas online podem gerar diretamente descrições detalhadas e precisas a partir de imagens de produtos usando modelos de linguagem visual.

Descrições de produtos de alta qualidade ajudam os mecanismos de busca a identificar produtos com base em atributos específicos mencionados na descrição. Por exemplo, uma descrição contendo "manga comprida" e "gola de algodão" ajuda os clientes a encontrar uma "camisa de algodão de manga comprida" mais facilmente. Isso também ajuda os clientes a encontrar o que desejam rapidamente e, por sua vez, aumenta as vendas e a satisfação do cliente.

Fig 5. Um exemplo de uma descrição de produto gerada por IA.

Modelos de IA generativa, como o BLIP-2, são exemplos de VLMs sofisticados que podem prever atributos de produtos diretamente a partir de imagens. O BLIP-2 usa vários componentes para entender e descrever produtos de comércio eletrônico com precisão. Ele começa processando e entendendo os aspectos visuais do produto com um codificador de imagem. Em seguida, um Transformer de consulta interpreta essas informações visuais no contexto de perguntas ou tarefas específicas. Finalmente, um modelo de linguagem grande gera descrições detalhadas e precisas do produto.

Link to this sectionTornando a internet mais acessível#

Os modelos de linguagem visual podem tornar a internet mais acessível por meio de legendas de imagens, especialmente para indivíduos com deficiência visual. Tradicionalmente, os usuários precisam inserir descrições de conteúdo visual em sites e mídias sociais. Por exemplo, ao publicar no Instagram, você pode adicionar texto alternativo para leitores de tela. Os VLMs, no entanto, podem automatizar esse processo.

Quando um VLM vê a imagem de um gato sentado em um sofá, ele pode gerar a legenda "Um gato sentado em um sofá", tornando a cena clara para usuários com deficiência visual. Os VLMs usam técnicas como o "few-shot prompting", em que aprendem com alguns exemplos de pares imagem-legenda, e o "chain-of-thought prompting", que os ajuda a decompor cenas complexas logicamente. Essas técnicas tornam as legendas geradas mais coerentes e detalhadas.

Fig 6. Usando IA para gerar legendas de imagens.

Para esse fim, o recurso "Obter descrições de imagem do Google" no Chrome gera automaticamente descrições para imagens sem texto alternativo. Embora essas descrições geradas por IA possam não ser tão detalhadas quanto as escritas por humanos, elas ainda fornecem informações valiosas.

Link to this sectionBenefícios e limitações dos modelos de linguagem visual#

Os modelos de linguagem visual (VLMs) oferecem muitas vantagens ao combinar dados visuais e textuais. Alguns dos principais benefícios incluem:

• Melhor interação humano-máquina: Permite que os sistemas entendam e respondam a entradas visuais e textuais, melhorando assistentes virtuais, chatbots e robótica.
• Diagnóstico e análise avançados: Auxiliam na área médica ao analisar imagens e gerar descrições, apoiando profissionais de saúde com segundas opiniões e detecção de anomalias.
• Contação de histórias e entretenimento interativo: Geram narrativas envolventes ao combinar entradas visuais e textuais para melhorar as experiências do usuário em jogos e realidade virtual.

Apesar de suas capacidades impressionantes, os modelos de linguagem visual também apresentam certas limitações. Aqui estão algumas coisas para manter em mente quando se trata de VLMs:

• Altas necessidades computacionais: Treinar e implantar VLMs requer recursos computacionais substanciais, tornando-os caros e menos acessíveis.
• Dependência de dados e viés: Os VLMs podem produzir resultados tendenciosos se treinados em conjuntos de dados não diversos ou tendenciosos, o que pode perpetuar estereótipos e desinformação.
• Compreensão limitada de contexto: Os VLMs podem ter dificuldade em entender o cenário geral ou o contexto e gerar saídas simplificadas ou incorretas.

Link to this sectionPrincipais pontos#

Os modelos de linguagem visual têm um potencial incrível em muitas áreas, como comércio eletrônico e saúde. Ao combinar dados visuais e textuais, eles podem impulsionar a inovação e transformar setores. No entanto, desenvolver essas tecnologias de forma responsável e ética é essencial para garantir que sejam usadas com justiça. À medida que os VLMs continuam a evoluir, eles melhorarão tarefas como busca baseada em imagem e tecnologias assistivas.

Para continuar aprendendo sobre IA, conecta-te à nossa comunidade! Explora o nosso repositório no GitHub para ver como estamos a usar IA para criar soluções inovadoras em setores como manufatura e cuidados de saúde. 🚀