FastVLM: Apple apresenta o seu novo modelo rápido de visão e linguagem

Na conferência CVPR 2025, a Apple apresentou um novo modelo de IA de código aberto chamado FastVLM. Ele foi desenvolvido para entender imagens e linguagem e funciona em dispositivos Apple, como iPhones, iPads e Macs. Isso significa que pode fornecer resultados inteligentes rapidamente, sem enviar seus dados para a nuvem.

O que torna o FastVLM especialmente interessante é sua velocidade e eficiência. A Apple desenvolveu um novo codificador de visão chamado FastViTHD, que ajuda o modelo a interpretar imagens de alta qualidade usando menos memória e energia. Todo o processamento acontece localmente no dispositivo, o que resulta em tempos de resposta menores e preserva a privacidade do usuário.

Neste artigo, vamos explorar como o FastVLM funciona, o que o diferencia e por que este lançamento da Apple pode representar um avanço significativo para aplicações de IA do dia a dia nos teus dispositivos.

Entendendo os modelos de linguagem visual (VLMs)#

Antes de nos aprofundarmos no que torna o FastVLM especial, vamos explicar o que significa “VLM” no nome. Refere-se a um modelo de linguagem visual, desenvolvido para entender e conectar conteúdo visual e linguagem.

Os VLMs combinam compreensão visual e linguagem, permitindo realizar tarefas como descrever uma foto, responder a perguntas sobre uma captura de tela ou extrair texto de um documento. Os modelos de linguagem visual geralmente funcionam em duas partes: uma processa a imagem e a converte em dados, enquanto a outra interpreta esses dados para gerar uma resposta que podes ler ou ouvir.

Talvez já tenhas usado esse tipo de inovação em IA sem perceber. Aplicativos que digitalizam recibos, leem documentos de identidade, geram legendas para imagens ou ajudam pessoas com baixa visão a interagir com as telas costumam depender de modelos de linguagem visual que funcionam discretamente em segundo plano.

O que é o FastVLM?#

A Apple desenvolveu o FastVLM para executar as mesmas tarefas que outros modelos de linguagem visual, mas com mais velocidade, maior privacidade e desempenho otimizado nos próprios dispositivos da Apple. Ele consegue entender o conteúdo de uma imagem e responder com texto, mas, ao contrário de muitos modelos que dependem de servidores na nuvem, o FastVLM pode funcionar inteiramente no teu iPhone, iPad ou Mac.

Em geral, os VLMs têm melhor desempenho com imagens de alta resolução. Por exemplo, como mostrado abaixo, o FastVLM só conseguiu identificar corretamente uma placa de trânsito como “Proibido entrar” quando recebeu uma versão de alta resolução da imagem. No entanto, as entradas de alta resolução costumam deixar os modelos mais lentos. É aí que o FastViTHD faz a diferença.

Fig. 1. Desempenho do FastVLM com imagens de baixa e alta resolução. (Fonte)

O novo codificador visual da Apple, o FastViTHD, ajuda o FastVLM a processar imagens de alta qualidade com mais eficiência, usando menos memória e energia. Mais especificamente, o FastViTHD é leve o suficiente para funcionar sem problemas até mesmo em dispositivos menores.

Além disso, o FastVLM está disponível publicamente no repositório do FastVLM no GitHub, onde os desenvolvedores podem acessar o código-fonte, fazer alterações e usá-lo em seus próprios aplicativos de acordo com os termos de licença da Apple.

Comparação do FastVLM com outros modelos VLM#

Em comparação com outros modelos de linguagem e visão, o FastVLM é otimizado para funcionar em dispositivos do dia a dia, como smartphones e laptops. Em testes de desempenho, o FastVLM gerou sua primeira palavra ou saída até 85 vezes mais rápido do que modelos como LLaVA-OneVision-0.5B.

Fig. 2. Comparação do desempenho do FastVLM com o de outros modelos. (Fonte)

Veja alguns dos benchmarks padrão nos quais o FastVLM foi avaliado:

• DocVQA (resposta a perguntas visuais sobre documentos): este benchmark de resposta a perguntas visuais avalia a capacidade do modelo de ler e compreender informações textuais em documentos, como formulários digitalizados ou páginas.
• TextVQA (Perguntas e respostas visuais baseadas em texto): Avalia a capacidade do modelo de interpretar imagens que contêm texto incorporado e responder com precisão a perguntas relacionadas.
• GQA: Essa tarefa testa as habilidades de raciocínio do modelo, exigindo que ele compreenda as relações entre objetos e cenários em uma imagem.
• MMMU (Compreensão multimodal multidisciplinar em larga escala): Mede o desempenho do modelo em uma ampla variedade de disciplinas acadêmicas e formatos, combinando compreensão visual e textual.
• SEED-Bench: Esse benchmark explora as capacidades gerais do modelo de compreensão visual e raciocínio em vários domínios.

Nesses benchmarks, o FastVLM obteve resultados competitivos usando menos recursos. Ele leva a IA visual prática a dispositivos do dia a dia, como celulares, tablets e laptops.

O codificador visual eficiente do FastVLM: FastViTHD#

Agora, vamos analisar mais de perto o FastViTHD, o codificador visual que desempenha um papel fundamental no desempenho do FastVLM no processamento de imagens.

A maioria dos modelos de linguagem visual divide uma imagem em milhares de pequenos blocos chamados tokens. Quanto mais tokens, mais tempo e energia o modelo precisa para entender a imagem. Isso pode deixar o processo lento, especialmente em celulares ou laptops.

Fig. 3. Como um codificador visual processa uma imagem. (Fonte)

O FastViTHD evita a lentidão causada pelo processamento de muitos tokens usando menos deles, sem deixar de entender a imagem inteira. Ele combina duas abordagens: transformers, que são bons em modelar padrões e relações, e camadas convolucionais, que processam dados visuais com eficiência. O resultado é um sistema mais rápido e que usa menos memória.

Segundo a Apple, o FastViTHD é até 3,4 vezes menor do que alguns codificadores visuais tradicionais, sem deixar de manter alta precisão. Em vez de depender de técnicas de otimização de modelos, como a poda de tokens (remoção dos blocos de imagem menos importantes para acelerar o processamento), ele alcança eficiência com uma arquitetura mais simples e enxuta.

Variantes do modelo FastVLM e pipeline de treinamento#

A Apple lançou o FastVLM em três tamanhos diferentes: 0.5B, 1.5B e 7B parâmetros (em que “B” significa bilhão e se refere ao número de pesos treináveis no modelo). Cada versão foi projetada para diferentes tipos de dispositivos. Os modelos menores podem funcionar em celulares e tablets, enquanto o modelo maior, de 7B, é mais adequado para computadores desktop ou tarefas mais exigentes.

Isso dá aos desenvolvedores flexibilidade para escolher a opção mais adequada aos seus aplicativos. Eles podem criar algo rápido e leve para dispositivos móveis ou algo mais complexo para sistemas maiores, usando a mesma arquitetura de modelo subjacente.

A Apple treinou variantes do modelo FastVLM usando o pipeline LLaVA‑1.5, uma estrutura para alinhar modelos de visão e linguagem. Para o componente de linguagem, a empresa avaliou o FastVLM usando modelos de código aberto existentes, como Qwen e Vicuna, conhecidos por gerar textos naturais e coerentes. Essa configuração permite que o FastVLM processe imagens simples e complexas e produza respostas legíveis e relevantes.

A importância do FastVLM: a abordagem eficiente da Apple para IA#

Talvez estejas a perguntar por que o processamento eficiente de imagens do FastVLM é importante. Isso depende de como os aplicativos podem funcionar sem problemas em tempo real e sem depender da nuvem. O FastVLM consegue processar imagens de alta resolução, de até 1152 por 1152 pixels, mantendo velocidade e leveza suficientes para funcionar diretamente no teu dispositivo.

Isso significa que os aplicativos podem descrever o que a câmera vê, digitalizar recibos enquanto são capturados ou responder a mudanças na tela, mantendo tudo no próprio dispositivo. Isso é especialmente útil em áreas como educação, acessibilidade, produtividade e fotografia.

Como o FastViTHD é eficiente até mesmo com imagens grandes, ele ajuda a manter os dispositivos responsivos e refrigerados. Funciona com todos os tamanhos de modelo, inclusive o menor, que roda em iPhones de entrada. Isso significa que os mesmos recursos de IA podem funcionar em celulares, tablets e Macs.

Aplicações do FastVLM#

O FastVLM pode viabilizar uma ampla variedade de aplicações, graças a benefícios importantes como velocidade, eficiência e privacidade no dispositivo. Veja algumas formas de usá-lo:

• Leitura de documentos: Ele pode digitalizar recibos, formulários ou documentos de identidade e extrair apenas as informações relevantes. Também pode se concentrar em áreas específicas de uma imagem, o que é útil para aplicativos que precisam de extração de texto rápida e precisa.
• Legendas para imagens: Ao analisar uma foto, ele pode gerar uma descrição clara do que aparece nela. Isso dá suporte a recursos em aplicativos de câmera, galerias de fotos ou qualquer ferramenta que se beneficie da compreensão visual em tempo real.
• Suporte à acessibilidade: O FastVLM pode descrever o conteúdo exibido na tela para usuários cegos ou com baixa visão, facilitando a navegação e o uso de botões, menus e elementos de layout.
• Assistentes de IA no dispositivo: O FastVLM pode funcionar bem com assistentes de IA que precisam entender rapidamente o que aparece na tela. Como funciona diretamente no dispositivo e mantém os dados privados, pode ajudar em tarefas como ler textos, identificar botões ou ícones e orientar usuários em tempo real, sem precisar enviar informações para a nuvem.

Fig. 4. O FastVLM pode ser usado para reconhecimento de texto e perguntas e respostas visuais. (Fonte)

Principais conclusões#

O FastVLM leva a IA de linguagem visual ao dispositivo para os dispositivos Apple, combinando velocidade, privacidade e eficiência. Com seu design leve e lançamento como código aberto, ele permite compreender imagens em tempo real em aplicativos para dispositivos móveis e computadores.

Isso ajuda a tornar a IA mais prática e acessível no dia a dia e oferece aos desenvolvedores uma base sólida para criar aplicações úteis que priorizam a privacidade. No futuro, é provável que os modelos de linguagem visual desempenhem um papel importante na forma como interagimos com a tecnologia, tornando a IA mais responsiva, consciente do contexto e útil em situações cotidianas.

Explora nosso repositório do GitHub para saber mais sobre IA. Junta-te à nossa comunidade, sempre ativa, e descobre inovações em setores como IA no setor automotivo e IA visual na manufatura. Para começar hoje mesmo com visão computacional, consulta nossas opções de licenciamento.