FastVLM : Apple présente son nouveau modèle rapide de vision-langage

Lors de la conférence CVPR 2025, Apple a présenté un nouveau modèle d’IA open source appelé FastVLM. Conçu pour comprendre les images et le langage, il fonctionne sur les appareils Apple, comme les iPhone, les iPad et les Mac. Il fournit ainsi rapidement des résultats pertinents, sans envoyer tes données dans le cloud.

FastVLM se distingue notamment par sa rapidité et son efficacité. Apple a développé un nouvel encodeur de vision appelé FastViTHD, qui aide le modèle à interpréter des images de haute qualité en consommant moins de mémoire et d’énergie. Tout le traitement a lieu localement sur l’appareil, ce qui accélère les réponses tout en préservant la confidentialité des utilisateurs.

Dans cet article, nous allons découvrir le fonctionnement de FastVLM, ce qui le distingue et pourquoi cette sortie d’Apple pourrait marquer une avancée importante pour les applications d’IA du quotidien sur tes appareils.

Comprendre les modèles vision-langage (VLM)#

Avant de découvrir ce qui rend FastVLM spécial, voyons ce que signifie « VLM » dans son nom. Il s’agit d’un modèle vision-langage, conçu pour comprendre les contenus visuels et les relier au langage.

Les VLM associent compréhension visuelle et langage, ce qui leur permet d’effectuer des tâches comme décrire une photo, répondre à des questions sur une capture d’écran ou extraire le texte d’un document. Les modèles vision-langage fonctionnent généralement en deux étapes : l’une traite l’image et la convertit en données, tandis que l’autre interprète ces données pour générer une réponse que tu peux lire ou entendre.

Tu as peut-être déjà utilisé ce type d’innovation en IA sans même t’en rendre compte. Les applications qui numérisent des reçus, lisent des cartes d’identité, génèrent des légendes d’image ou aident les personnes malvoyantes à interagir avec leurs écrans s’appuient souvent sur des modèles vision-langage qui fonctionnent discrètement en arrière-plan.

Qu’est-ce que FastVLM ?#

Apple a conçu FastVLM pour effectuer les mêmes tâches que les autres modèles vision-langage, mais avec une plus grande rapidité, une meilleure protection de la vie privée et des performances optimisées sur ses propres appareils. Il peut comprendre le contenu d’une image et répondre par du texte, mais contrairement à de nombreux modèles qui reposent sur des serveurs cloud, FastVLM peut fonctionner entièrement sur ton iPhone, iPad ou Mac.

Les VLM sont généralement plus performants avec des images haute résolution. Par exemple, comme illustré ci-dessous, FastVLM n’a pu identifier correctement un panneau de signalisation « Sens interdit » qu’à partir d’une image haute résolution. Cependant, les entrées haute résolution ralentissent généralement les modèles. C’est là que FastViTHD fait la différence.

Fig. 1. Performances de FastVLM sur des images en basse et haute résolution. (Source)

Le nouvel encodeur visuel d’Apple, FastViTHD, aide FastVLM à traiter plus efficacement les images de haute qualité, en utilisant moins de mémoire et d’énergie. FastViTHD est notamment suffisamment léger pour fonctionner sans problème, même sur des appareils plus petits.

FastVLM est également accessible au public dans le dépôt GitHub de FastVLM, où les développeurs peuvent accéder au code source, le modifier et l’utiliser dans leurs propres applications conformément aux conditions de licence d’Apple.

Comparaison de FastVLM avec d’autres modèles VLM#

Comparé à d’autres modèles de vision-langage, FastVLM est optimisé pour fonctionner sur des appareils du quotidien, comme les smartphones et les ordinateurs portables. Lors de tests de performance, FastVLM a généré son premier mot ou sa première sortie jusqu’à 85 fois plus rapidement que des modèles comme LLaVA-OneVision-0.5B.

Fig. 2. Comparaison des performances de FastVLM avec celles d’autres modèles. (Source)

Voici un aperçu de quelques benchmarks standard sur lesquels FastVLM a été évalué :

• DocVQA (questions-réponses visuelles sur documents) : ce benchmark de questions-réponses visuelles évalue la capacité du modèle à lire et à comprendre les informations textuelles contenues dans des documents, comme des formulaires numérisés ou des pages.
• TextVQA (questions-réponses visuelles fondées sur le texte) : Ce benchmark évalue la capacité du modèle à interpréter des images contenant du texte intégré et à répondre précisément aux questions associées.
• GQA : cette tâche évalue les capacités de raisonnement du modèle en lui demandant de comprendre les relations entre les objets et les scènes d’une image.
• MMMU (compréhension multimodale dans de nombreuses disciplines) : Ce benchmark mesure les performances du modèle dans un vaste éventail de matières et de formats universitaires, en combinant compréhension visuelle et textuelle.
• SEED-Bench : ce benchmark évalue les capacités générales du modèle en matière de compréhension visuelle et de raisonnement dans plusieurs domaines.

Sur ces benchmarks, FastVLM a obtenu des résultats compétitifs tout en utilisant moins de ressources. Il met l’IA visuelle pratique à la portée des appareils du quotidien, comme les téléphones, les tablettes et les ordinateurs portables.

L’encodeur visuel efficace de FastVLM : FastViTHD#

Examinons maintenant de plus près FastViTHD, l’encodeur visuel qui joue un rôle essentiel dans les performances de traitement d’image de FastVLM.

La plupart des modèles vision-langage divisent une image en milliers de petits fragments appelés tokens. Plus il y a de tokens, plus le modèle a besoin de temps et d’énergie pour comprendre l’image. Cela peut ralentir le traitement, surtout sur les téléphones et les ordinateurs portables.

Fig. 3. Fonctionnement d’un encodeur visuel qui traite une image. (Source)

FastViTHD évite les ralentissements liés au traitement d’un trop grand nombre de tokens en en utilisant moins, tout en comprenant l’image dans son ensemble. Il combine deux approches : les transformers, efficaces pour modéliser les motifs et les relations, et les couches convolutives, qui traitent efficacement les données visuelles. Le résultat : un système plus rapide et moins gourmand en mémoire.

Selon Apple, FastViTHD est jusqu’à 3,4 fois plus compact que certains encodeurs visuels traditionnels, tout en conservant une grande précision. Au lieu de s’appuyer sur des techniques d’optimisation de modèles comme l’élagage des tokens (qui consiste à supprimer les fragments d’image les moins importants pour accélérer le traitement), il gagne en efficacité grâce à une architecture plus simple et épurée.

Les variantes de modèles et le pipeline d’entraînement de FastVLM#

Apple a publié FastVLM en trois tailles différentes : 0.5B, 1.5B et 7B paramètres (où « B » signifie milliard et désigne le nombre de poids entraînables du modèle). Chaque version est conçue pour différents types d’appareils. Les modèles les plus petits peuvent fonctionner sur des téléphones et des tablettes, tandis que le modèle 7B, plus grand, convient davantage aux ordinateurs de bureau ou aux tâches plus exigeantes.

Les développeurs peuvent ainsi choisir la solution la mieux adaptée à leurs applications. Ils peuvent créer une application rapide et légère pour mobile ou une solution plus complexe pour des systèmes plus puissants, tout en utilisant la même architecture de modèle sous-jacente.

Apple a entraîné différentes variantes du modèle FastVLM avec le pipeline LLaVA‑1.5, un cadre qui permet d’aligner les modèles de langage et de vision. Pour la composante linguistique, Apple a évalué FastVLM avec des modèles open source existants comme Qwen et Vicuna, réputés pour générer des textes naturels et cohérents. Cette configuration permet à FastVLM de traiter aussi bien les images simples que complexes et de produire des réponses lisibles et pertinentes.

L’importance de FastVLM : l’approche efficace d’Apple en matière d’IA#

Tu te demandes peut-être en quoi l’efficacité du traitement d’image de FastVLM est importante. Tout dépend de la fluidité avec laquelle les applications peuvent fonctionner en temps réel sans recourir au cloud. FastVLM peut traiter des images haute résolution, jusqu’à 1152 × 1152 pixels, tout en restant assez rapide et léger pour fonctionner directement sur ton appareil.

Les applications peuvent ainsi décrire ce que voit l’appareil photo, numériser les reçus au moment où ils sont capturés ou réagir aux changements à l’écran, tout en gardant les données en local. C’est particulièrement utile dans des domaines comme l’éducation, l’accessibilité, la productivité et la photographie.

Comme FastViTHD reste efficace même avec de grandes images, il contribue à maintenir la réactivité des appareils et à éviter leur surchauffe. Il fonctionne avec toutes les tailles de modèles, y compris la plus petite, qui tourne sur les iPhone d’entrée de gamme. Les mêmes fonctionnalités d’IA peuvent donc être utilisées sur des téléphones, des tablettes et des Mac.

Applications de FastVLM#

Grâce à ses principaux atouts, comme la rapidité, l’efficacité et la confidentialité sur l’appareil, FastVLM peut alimenter un large éventail d’applications. Voici quelques exemples d’utilisation :

• Lecture de documents : FastVLM peut numériser des reçus, des formulaires ou des cartes d’identité et n’en extraire que les informations pertinentes. Il peut se concentrer sur des zones précises d’une image, ce qui est utile pour les applications qui ont besoin d’une extraction de texte rapide et précise.
• Légendes d’image : En analysant une photo, FastVLM peut générer une description claire de son contenu. Cette fonctionnalité peut être intégrée aux applications d’appareil photo, aux galeries photo ou à tout outil qui tire parti de la compréhension visuelle en temps réel.
• Aide à l’accessibilité : FastVLM peut décrire le contenu affiché à l’écran aux personnes aveugles ou malvoyantes, afin de faciliter la navigation et l’utilisation des boutons, des menus et des éléments de mise en page.
• Assistants IA embarqués : FastVLM peut être associé à des assistants IA qui doivent comprendre rapidement le contenu de l’écran. Comme il fonctionne directement sur l’appareil et protège la confidentialité des données, il peut aider à lire du texte, à identifier des boutons ou des icônes et à guider les utilisateurs en temps réel, sans envoyer d’informations dans le cloud.

Fig. 4. FastVLM peut servir à la reconnaissance de texte et aux questions-réponses visuelles. (Source)

Points clés à retenir#

FastVLM apporte l’IA vision-langage embarquée aux appareils Apple en associant rapidité, confidentialité et efficacité. Grâce à sa conception légère et à sa publication open source, il permet de comprendre des images en temps réel dans les applications mobiles et de bureau.

Cette solution rend l’IA plus pratique et accessible au quotidien, et fournit aux développeurs une base solide pour créer des applications utiles qui respectent la vie privée. À l’avenir, les modèles vision-langage joueront probablement un rôle important dans nos interactions avec la technologie, en rendant l’IA plus réactive, plus sensible au contexte et plus utile au quotidien.

Explore notre dépôt GitHub pour en savoir plus sur l’IA. Rejoins notre communauté active et découvre les innovations dans des secteurs comme l’IA dans l’automobile et l’IA visuelle dans l’industrie manufacturière. Pour te lancer dès aujourd’hui dans la vision par ordinateur, consulte nos options de licence.