PaliGemma 2 da Google: informações sobre modelos VLM avançados

Em 5 de dezembro de 2024, o Google apresentou o PaliGemma 2, a versão mais recente de seu modelo de visão e linguagem (VLM). O PaliGemma 2 foi desenvolvido para executar tarefas que combinam imagens e texto, como gerar legendas, responder a perguntas visuais e detectar objetos em imagens.

Baseado no PaliGemma original, que já era uma ferramenta eficiente para gerar legendas em vários idiomas e reconhecer objetos, o PaliGemma 2 traz várias melhorias importantes. Entre elas estão modelos maiores, suporte a imagens de resolução mais alta e melhor desempenho em tarefas visuais complexas. Essas atualizações tornam o modelo ainda mais flexível e eficaz para uma ampla variedade de usos.

Neste artigo, vamos conhecer melhor o PaliGemma 2, incluindo seu funcionamento, seus principais recursos e as aplicações em que se destaca.

Do Gemma 2 ao PaliGemma 2#

O PaliGemma 2 se baseia em duas tecnologias essenciais: o codificador visual SigLIP e o modelo de linguagem Gemma 2. O codificador SigLIP processa dados visuais, como imagens e vídeos, e os converte em características que o modelo pode analisar. Já o Gemma 2 processa texto, permitindo que o modelo compreenda e gere conteúdo em vários idiomas. Juntos, eles formam um VLM desenvolvido para interpretar e conectar informações visuais e textuais.

O que torna o PaliGemma 2 um grande avanço é sua escalabilidade e versatilidade. Ao contrário da versão original, o PaliGemma 2 está disponível em três tamanhos: 3 bilhões (3B), 10 bilhões (10B) e 28 bilhões (28B) de parâmetros. Esses parâmetros são como as configurações internas do modelo, ajudando-o a aprender e processar dados de forma eficaz. Ele também oferece suporte a diferentes resoluções de imagem (por exemplo, 224 x 224 pixels para tarefas rápidas e 896 x 896 para análises detalhadas), o que o torna adaptável a várias aplicações.

Fig. 1. Visão geral do PaliGemma 2.

A integração dos recursos avançados de linguagem do Gemma 2 com o processamento de imagens do SigLIP torna o PaliGemma 2 significativamente mais capaz. Ele pode executar tarefas como:

• Gerar legendas para imagens ou vídeos: o modelo pode gerar descrições textuais detalhadas de elementos visuais, o que o torna útil para criar legendas automaticamente.
• Responder a perguntas visuais: o PaliGemma 2 pode responder a perguntas com base em imagens, como identificar objetos, pessoas ou ações em uma cena.
• Reconhecer objetos: identifica e classifica objetos em uma imagem, como distinguir um gato, uma mesa ou um carro em uma foto.

O PaliGemma 2 vai além de processar imagens e texto separadamente: ele os integra de maneira significativa. Por exemplo, pode compreender relações em uma cena, como reconhecer que “O gato está sentado na mesa”, ou identificar objetos e adicionar contexto, como reconhecer um ponto turístico famoso.

Como funcionam os modelos VLM PaliGemma 2 do Google#

A seguir, vamos analisar um exemplo usando o gráfico mostrado na imagem abaixo para entender melhor como o PaliGemma 2 processa dados visuais e textuais. Imagine que você carregue esse gráfico e pergunte ao modelo: “O que este gráfico representa?”

Fig. 2. Um exemplo dos recursos do PaliGemma 2.

O processo começa com o codificador visual SigLIP do PaliGemma 2, que analisa imagens para extrair características importantes. Em um gráfico, isso inclui identificar elementos como eixos, pontos de dados e rótulos. O codificador é treinado para capturar padrões amplos e detalhes minuciosos. Ele também usa o reconhecimento óptico de caracteres (OCR) para detectar e processar qualquer texto incorporado à imagem. Essas características visuais são convertidas em tokens, que são representações numéricas que o modelo consegue processar. Em seguida, esses tokens são ajustados por uma camada de projeção linear, uma técnica que garante que possam ser combinados com dados textuais.

Ao mesmo tempo, o modelo de linguagem Gemma 2 processa a consulta associada para determinar seu significado e sua intenção. O texto da consulta é convertido em tokens, que são combinados com os tokens visuais do SigLIP para criar uma representação multimodal, um formato unificado que conecta dados visuais e textuais.

Usando essa representação integrada, o PaliGemma 2 gera uma resposta passo a passo por meio de decodificação autorregressiva, um método no qual o modelo prevê uma parte da resposta de cada vez, com base no contexto que já processou.

Principais recursos do PaliGemma 2#

Agora que já vimos como ele funciona, vamos explorar os principais recursos que fazem do PaliGemma 2 um modelo de visão e linguagem confiável:

• Flexibilidade de ajuste fino: adapta-se facilmente a conjuntos de dados e tarefas específicos e apresenta bom desempenho em aplicações como geração de legendas para imagens, raciocínio espacial e imagens médicas.
• Dados de treinamento diversificados: treinado com conjuntos de dados como WebLI e Open Images, o modelo tem fortes recursos de reconhecimento de objetos e capacidade de gerar conteúdo em vários idiomas.
• Integração de OCR: inclui reconhecimento óptico de caracteres para extrair e interpretar texto de imagens, sendo ideal para análise de documentos e outras tarefas baseadas em texto.
• Saídas multilíngues: gera legendas e respostas em vários idiomas, sendo ideal para aplicações globais.
• Integração com ferramentas: é compatível com frameworks como Hugging Face Transformers, PyTorch e Keras, o que facilita a implantação e a experimentação.

Comparação entre PaliGemma 2 e PaliGemma: o que melhorou?#

Analisar a arquitetura da primeira versão do PaliGemma é uma boa maneira de observar as melhorias do PaliGemma 2. Uma das mudanças mais notáveis é a substituição do modelo de linguagem Gemma original pelo Gemma 2, que traz melhorias substanciais tanto no desempenho quanto na eficiência.

O Gemma 2, disponível nos tamanhos de 2B, 9B e 27B parâmetros, foi desenvolvido para oferecer precisão e velocidade líderes na categoria, reduzindo os custos de implantação. Isso é possível graças a uma arquitetura reformulada e otimizada para a eficiência da inferência em várias configurações de hardware, desde GPUs potentes até configurações mais acessíveis.

Fig. 3 Relembrando a primeira versão do PaliGemma.

Como resultado, o PaliGemma 2 é um modelo altamente preciso. A versão de 10B do PaliGemma 2 alcança uma pontuação menor de sentença sem acarretamento (NES), de 20,3, em comparação com 34,3 do modelo original, o que significa menos erros factuais em suas respostas. Esses avanços tornam o PaliGemma 2 mais escalável, preciso e adaptável a uma variedade maior de aplicações, desde a geração detalhada de legendas até respostas a perguntas visuais. Os modelos Gemma 4 mais recentes do Google, como o Gemma 4 26B, são comparados com outros modelos de visão e linguagem na detecção de objetos do mundo real no VLM Leaderboard.

Aplicações do PaliGemma 2: usos reais dos modelos VLM#

O PaliGemma 2 pode ser aplicado em muitos setores porque combina compreensão visual e linguística. Por exemplo, no que diz respeito à acessibilidade, pode gerar descrições detalhadas de objetos, cenas e relações espaciais, oferecendo assistência essencial a pessoas com deficiência visual. Essa capacidade ajuda as pessoas a compreender melhor o ambiente ao seu redor, proporcionando mais independência nas tarefas do dia a dia.

Fig. 4. O PaliGemma 2 pode tornar o mundo mais acessível.

Além da acessibilidade, o PaliGemma 2 está causando impacto em vários setores, incluindo:

• Comércio eletrônico: o modelo melhora a categorização de produtos ao analisar e descrever itens em imagens, simplificando o gerenciamento de estoque e melhorando a experiência de busca dos usuários.
• Saúde: ajuda profissionais da área médica a interpretar exames de imagem, como radiografias e ressonâncias magnéticas, juntamente com anotações clínicas, para fornecer diagnósticos mais precisos e bem fundamentados.
• Educação: O PaliGemma 2 ajuda educadores a criar materiais de aprendizagem descritivos e acessíveis, gerando legendas e fornecendo informações contextuais sobre imagens.
• Criação de conteúdo: O modelo automatiza o processo de geração de legendas e descrições visuais para conteúdo multimédia, poupando tempo aos criadores.

Experimenta: PaliGemma 2#

Para experimentar o PaliGemma 2, podes começar pela demonstração interativa do Hugging Face. Ela permite explorar as capacidades do modelo em tarefas como a criação de legendas para imagens e a resposta a perguntas visuais. Basta carregar uma imagem e fazer perguntas ao modelo sobre ela ou pedir uma descrição da cena.

Fig. 5. Uma demonstração do PaliGemma 2 (Fonte: Hugging Face).

Se quiseres aprofundar, vê como podes experimentar na prática:

• Modelos pré-treinados: podes aceder a modelos pré-treinados e código em plataformas como Hugging Face e Kaggle. Estes recursos fornecem tudo de que precisas para começar a trabalhar com o modelo.
• Notebooks: Existe documentação abrangente e notebooks de exemplo para te familiarizares com o PaliGemma 2. Podes começar com exemplos de inferência e experimentar ajustar o modelo ao teu próprio conjunto de dados para tarefas específicas.
• Integrações: o PaliGemma 2 é compatível com frameworks amplamente utilizados, como Hugging Face Transformers, Keras, PyTorch, JAX e Gemma.cpp, permitindo integrá-lo nos teus fluxos de trabalho existentes.

Vantagens e desvantagens do PaliGemma 2 da Google#

Agora que abordámos como começar a usar o PaliGemma 2, vamos analisar mais de perto os seus principais pontos fortes e limitações a ter em conta ao utilizar estes modelos.

Eis o que distingue o PaliGemma 2 como modelo de visão e linguagem:

• Ganhos de eficiência: Aproveitando a arquitetura otimizada do Gemma 2, o PaliGemma 2 oferece um elevado desempenho e reduz os custos de implementação.
• Funcionalidades de segurança reforçadas: O PaliGemma 2 inclui melhorias significativas de segurança no processo de treino, como uma filtragem robusta dos dados de pré-treino para reduzir enviesamentos e uma avaliação rigorosa face a referências de segurança.
• Baixa latência em configurações menores: O modelo 3B proporciona tempos de inferência mais rápidos, sendo adequado para casos de utilização em que a velocidade é fundamental, como recomendações de produtos de comércio eletrónico ou sistemas de apoio em tempo real.

Por outro lado, eis algumas áreas em que o PaliGemma 2 poderá ter limitações:

• Latência: Apesar de serem poderosos, os modelos maiores podem apresentar problemas de latência, sobretudo quando implementados em tarefas que exigem respostas imediatas, como sistemas interativos de IA em tempo real.
• Dependência de grandes conjuntos de dados: O desempenho do PaliGemma 2 está estreitamente ligado à qualidade e diversidade dos conjuntos de dados de treino, o que poderá limitar a sua eficácia em domínios sub-representados ou em idiomas que não estejam incluídos nos dados de treino.
• Elevados requisitos de recursos: apesar das otimizações, as versões com 10B e 28B parâmetros exigem um poder computacional considerável, o que as torna menos acessíveis a organizações menores com recursos limitados.

Principais conclusões#

O PaliGemma 2 é um avanço fascinante na modelação de visão e linguagem, oferecendo maior escalabilidade, flexibilidade de ajuste fino e precisão. Pode ser uma ferramenta valiosa para aplicações que vão desde soluções de acessibilidade e comércio eletrónico até diagnósticos de saúde e educação.

Embora tenha limitações, como os requisitos computacionais e a dependência de dados de alta qualidade, os seus pontos fortes fazem dele uma opção prática para lidar com tarefas complexas que integram dados visuais e textuais. O PaliGemma 2 pode proporcionar uma base sólida para investigadores e programadores explorarem e ampliarem o potencial da IA em aplicações multimodais.

Faz parte da conversa sobre IA explorando o nosso repositório do GitHub e a nossa comunidade. Lê sobre os avanços da IA na agricultura e na área da saúde!