Aprimorando aplicações de IA com RAG e visão computacional

A utilização de ferramentas de IA como o ChatGPT ou o Gemini está rapidamente a tornar-se uma forma comum de encontrar informação. Quer estejas a redigir uma mensagem, a resumir um documento ou a responder a uma pergunta, estas ferramentas costumam oferecer uma solução mais rápida e simples.

Mas, se já utilizaste modelos de linguagem de grande escala (LLMs) algumas vezes, provavelmente já reparaste nas suas limitações. Quando recebem perguntas muito específicas ou sensíveis ao tempo, podem responder incorretamente e, muitas vezes, com toda a confiança.

Isto acontece porque os LLMs autónomos dependem exclusivamente dos dados com que foram treinados. Não têm acesso às atualizações mais recentes nem a conhecimentos especializados que não estejam nesse conjunto de dados. Por isso, as respostas podem estar desatualizadas ou ser imprecisas.

Para ajudar a resolver este problema, os investigadores desenvolveram um método chamado geração aumentada por recuperação (RAG). A RAG melhora os modelos de linguagem ao permitir que consultem informações recentes e pertinentes de fontes fiáveis ao responder a perguntas.

Neste artigo, vamos explorar como funciona a RAG e como esta melhora as ferramentas de IA ao recuperar informações pertinentes e atualizadas. Também veremos como funciona em conjunto com a visão computacional, um ramo da inteligência artificial dedicado à interpretação de dados visuais, para ajudar os sistemas a compreender não só texto, mas também imagens, esquemas e documentos visualmente complexos.

Compreender a geração aumentada por recuperação (RAG)#

Quando fazemos uma pergunta a um chatbot de IA, geralmente esperamos mais do que uma resposta que simplesmente soe bem. Idealmente, uma boa resposta deve ser clara, precisa e genuinamente útil. Para isso, o modelo de IA precisa de mais do que competências linguísticas: também precisa de acesso às informações certas, sobretudo sobre temas específicos ou sujeitos a alterações rápidas.

A RAG é uma técnica que ajuda a colmatar esta lacuna. Combina a capacidade do modelo de linguagem para compreender e gerar texto com a capacidade de recuperar informações pertinentes de fontes externas. Em vez de depender exclusivamente dos dados de treino, o modelo consulta ativamente conteúdo de apoio em bases de conhecimento fiáveis enquanto formula a resposta.

Fig. 1. Principais casos de utilização da RAG. Imagem do autor.

Podes pensar nisto como fazer uma pergunta a alguém que consulta uma fonte de referência fiável antes de responder. A resposta continua a ser dada pelas suas próprias palavras, mas baseia-se nas informações mais pertinentes e atualizadas.

Esta abordagem ajuda os LLMs a responder de forma mais completa, precisa e adaptada à pergunta do utilizador, tornando-os muito mais fiáveis em aplicações do mundo real, nas quais a precisão é realmente importante.

Como funciona a RAG#

A RAG melhora a forma como um modelo de linguagem de grande escala responde, introduzindo duas etapas principais: recuperação e geração. Primeiro, recupera informações pertinentes de uma base de conhecimento externa. Depois, utiliza essas informações para gerar uma resposta bem estruturada e contextualizada.

Vejamos um exemplo simples para perceber como funciona este processo. Imagina que estás a utilizar um assistente de IA para gerir as tuas finanças pessoais e queres confirmar se respeitaste o teu objetivo de despesas do mês.

O processo começa quando fazes ao assistente uma pergunta como: «Respeitei o meu orçamento este mês?» Em vez de depender apenas do que aprendeu durante o treino, o sistema utiliza um recuperador para pesquisar os teus registos financeiros mais recentes (como extratos bancários ou resumos de transações). O sistema concentra-se em compreender a intenção por detrás da tua pergunta e reúne as informações mais pertinentes.

Depois de recuperar essas informações, o modelo de linguagem assume o controlo. Processa tanto a tua pergunta como os dados obtidos dos teus registos para gerar uma resposta clara e útil. Em vez de enumerar dados em bruto, a resposta resume as tuas despesas e fornece uma conclusão direta e significativa, por exemplo, confirmando se atingiste o teu objetivo e destacando as principais áreas de despesa.

Esta abordagem ajuda o LLM a fornecer respostas que não só são precisas, como também se baseiam nas tuas informações reais e atualizadas, tornando a experiência muito mais útil do que a de um modelo que trabalha apenas com dados de treino estáticos.

Fig. 2. Como funciona a RAG.

A necessidade de sistemas RAG multimodais#

As informações nem sempre são partilhadas em texto simples. Desde exames médicos e diagramas até diapositivos de apresentações e documentos digitalizados, os elementos visuais contêm muitas vezes detalhes importantes. Os LLM tradicionais, concebidos sobretudo para ler e compreender texto, podem ter dificuldade com este tipo de conteúdo.

No entanto, é possível combinar RAG com visão computacional para colmatar essa lacuna. Quando as duas tecnologias são combinadas, formam o que se conhece como um sistema de RAG multimodal — uma solução capaz de processar texto e elementos visuais, ajudando os chatbots de IA a fornecer respostas mais precisas e completas.

No centro desta abordagem estão os modelos de visão e linguagem (VLMs), concebidos para processar e raciocinar sobre os dois tipos de entrada. Nesta configuração, a RAG recupera as informações mais pertinentes de grandes fontes de dados, enquanto o VLM, com o apoio da visão computacional, interpreta imagens, esquemas e diagramas.

Isto é especialmente útil para documentos do mundo real, como formulários digitalizados, relatórios médicos ou diapositivos de apresentações, nos quais podem existir detalhes essenciais tanto no texto como nos elementos visuais. Por exemplo, ao analisar um documento que inclui imagens, tabelas e parágrafos, um sistema multimodal pode extrair elementos visuais, gerar um resumo do que mostram e combinar essa informação com o texto circundante para fornecer uma resposta mais completa e útil.

Fig. 3. A RAG multimodal utiliza imagens e texto para fornecer melhores respostas.

Aplicações da RAG para dados visuais#

Agora que já abordámos o que é a RAG e como funciona com a visão computacional, vejamos alguns exemplos do mundo real e projetos de investigação que mostram como esta abordagem está a ser utilizada.

Compreender documentos visuais com o VisRAG#

Imagina que estás a tentar extrair conclusões de um relatório financeiro ou de um documento jurídico digitalizado. Estes ficheiros incluem frequentemente não só texto, mas também tabelas, gráficos e esquemas que ajudam a explicar a informação. Um modelo de linguagem simples pode não detetar ou interpretar corretamente estes elementos visuais, resultando em respostas incompletas ou imprecisas.

Os investigadores criaram o VisRAG para responder a este desafio. Trata-se de um pipeline RAG baseado em VLM que considera cada página uma imagem, em vez de processar apenas o texto. Isto permite ao sistema compreender tanto o conteúdo como a sua estrutura visual. Assim, consegue encontrar as partes mais pertinentes e fornecer respostas mais claras e precisas, baseadas no contexto integral do documento.

Fig. 4. O VisRAG consegue ler documentos como imagens para captar o conteúdo textual e o esquema.

Resposta a perguntas visuais com RAG#

A resposta a perguntas visuais (VQA) é uma tarefa em que um sistema de IA responde a perguntas sobre imagens. Muitos sistemas VQA existentes limitam-se a responder a perguntas sobre um único documento, sem procurar informações adicionais — o que se designa por contexto fechado.

O VDocRAG é um framework RAG que adota uma abordagem mais realista. Integra VQA com a capacidade de recuperar primeiro documentos pertinentes. Isto é útil em situações do mundo real em que a pergunta de um utilizador pode dizer respeito a um de vários documentos e o sistema precisa de encontrar o documento certo antes de responder. Para tal, o VDocRAG utiliza VLMs para analisar documentos como imagens, preservando tanto o texto como a estrutura visual.

Isto torna o VDocRAG especialmente útil em aplicações como a pesquisa empresarial, a automação de documentos e o apoio ao cliente. Pode ajudar as equipas a extrair rapidamente respostas de documentos complexos e com formatação visual, como manuais ou ficheiros de políticas, em que compreender o esquema da página é tão importante como ler o texto.

Fig. 5. A diferença entre o VDocRAG e as soluções baseadas em LLMs.

Melhorar a criação de legendas para imagens com RAG#

A criação de legendas para imagens consiste em gerar uma descrição escrita do que acontece numa imagem. É utilizada em diversas aplicações, desde tornar o conteúdo online mais acessível até permitir a pesquisa de imagens e apoiar sistemas de moderação e recomendação de conteúdo.

No entanto, nem sempre é fácil para os modelos de IA gerar legendas precisas. É especialmente difícil quando a imagem mostra algo diferente daquilo com que o modelo foi treinado. Muitos sistemas de criação de legendas dependem fortemente dos dados de treino, pelo que, perante cenas desconhecidas, podem gerar legendas vagas ou imprecisas.

Para resolver este problema, os investigadores desenvolveram o Re-ViLM, um método que incorpora a geração aumentada por recuperação (RAG) na criação de legendas para imagens. Em vez de gerar uma legenda de raiz, o Re-ViLM recupera pares semelhantes de imagem e texto de uma base de dados e utiliza-os para orientar a legenda gerada.

Esta abordagem baseada na recuperação ajuda o modelo a fundamentar as suas descrições em exemplos pertinentes, melhorando a precisão e a fluência. Os primeiros resultados mostram que o Re-ViLM gera legendas mais naturais e contextualizadas com exemplos reais, ajudando a reduzir descrições vagas ou imprecisas.

Fig. 6. O Re-ViLM melhora as legendas de imagens ao recuperar exemplos visuais e textuais.

Vantagens e desvantagens da utilização da RAG para compreender dados visuais#

Eis uma breve descrição das vantagens de aplicar técnicas de geração aumentada por recuperação para recuperar e utilizar informações visuais:

• Capacidades de resumo melhoradas: Os resumos podem incorporar conclusões extraídas de elementos visuais (como tendências em gráficos ou elementos de infográficos), e não apenas de texto.
• Pesquisa e recuperação mais robustas: As etapas de recuperação podem identificar páginas visuais pertinentes mesmo quando o texto não contém as palavras-chave, recorrendo à compreensão baseada em imagens.
• Suporte para documentos digitalizados, manuscritos ou baseados em imagens: Os pipelines RAG com VLMs podem processar conteúdo que seria ilegível para modelos que trabalham apenas com texto.

Apesar destas vantagens, há ainda algumas limitações a ter em conta ao utilizar a RAG para trabalhar com dados visuais. Eis algumas das principais:

• Elevados requisitos computacionais: Analisar imagens e texto utiliza mais memória e capacidade de processamento, o que pode diminuir o desempenho ou aumentar os custos.
• Questões de privacidade dos dados e segurança: Os documentos visuais, sobretudo em setores como a saúde ou as finanças, podem conter informações confidenciais que complicam os fluxos de trabalho de recuperação e processamento.
• Tempos de inferência mais longos: Como o processamento visual acrescenta complexidade, a geração de respostas pode demorar mais do que nos sistemas que processam apenas texto.

Principais conclusões#

A geração aumentada por recuperação está a melhorar a forma como os modelos de linguagem de grande escala respondem a perguntas, permitindo-lhes obter informações pertinentes e atualizadas de fontes externas. Quando combinados com a visão computacional, estes sistemas conseguem processar não só texto, mas também conteúdo visual, como gráficos, tabelas, imagens e documentos digitalizados, o que permite respostas mais precisas e abrangentes.

Esta abordagem torna os LLMs mais adequados para tarefas do mundo real que envolvem documentos complexos. Ao combinar a recuperação com a compreensão visual, estes modelos conseguem interpretar diversos formatos com maior eficácia e fornecer conclusões mais úteis em situações práticas do quotidiano.

Junta-te à nossa crescente comunidade! Explora o nosso repositório do GitHub para aprofundares os teus conhecimentos sobre IA. Queres começar os teus próprios projetos de visão computacional? Consulta as nossas opções de licenciamento. Descobre mais sobre IA nos cuidados de saúde e visão computacional no retalho nas nossas páginas de soluções!