PaliGemma 2 de Google : aperçu des modèles VLM avancés

Le 5 décembre 2024, Google a présenté PaliGemma 2, la dernière version de son modèle vision-langage (VLM). PaliGemma 2 est conçu pour effectuer des tâches combinant images et texte, comme générer des légendes, répondre à des questions visuelles et détecter des objets dans des images.

Fruit de l’évolution du PaliGemma original, déjà performant pour la génération de légendes multilingues et la reconnaissance d’objets, PaliGemma 2 apporte plusieurs améliorations importantes. Il propose notamment des modèles de plus grande taille, la prise en charge d’images à plus haute résolution et de meilleures performances pour les tâches visuelles complexes. Ces avancées le rendent encore plus polyvalent et efficace pour un large éventail d’usages.

Dans cet article, nous allons examiner PaliGemma 2 de plus près, notamment son fonctionnement, ses principales fonctionnalités et les applications dans lesquelles il excelle.

De Gemma 2 à PaliGemma 2#

PaliGemma 2 repose sur deux technologies clés : l’encodeur de vision SigLIP et le modèle de langage Gemma 2. L’encodeur SigLIP traite les données visuelles, comme les images ou les vidéos, et les décompose en caractéristiques que le modèle peut analyser. De son côté, Gemma 2 traite le texte, ce qui permet au modèle de comprendre et de générer du contenu multilingue. Ensemble, ils forment un modèle vision-langage conçu pour interpréter et relier les informations visuelles et textuelles.

La capacité de mise à l’échelle et la polyvalence de PaliGemma 2 en font une avancée majeure. Contrairement à la première version, PaliGemma 2 est proposé en trois tailles : 3 milliards (3B), 10 milliards (10B) et 28 milliards (28B) de paramètres. Ces paramètres sont comme les réglages internes du modèle : ils l’aident à apprendre et à traiter efficacement les données. Le modèle prend également en charge différentes résolutions d’image (par exemple, 224 x 224 pixels pour les tâches rapides et 896 x 896 pour les analyses détaillées), ce qui lui permet de s’adapter à diverses applications.

Fig. 1. Présentation générale de PaliGemma 2.

L’intégration des capacités avancées de traitement du langage de Gemma 2 au traitement d’images de SigLIP rend PaliGemma 2 nettement plus performant. Il peut effectuer des tâches comme :

• Génération de légendes pour des images ou des vidéos : le modèle peut produire des descriptions détaillées de contenus visuels, ce qui le rend utile pour créer automatiquement des légendes.
• Réponse à des questions visuelles : PaliGemma 2 peut répondre à des questions à partir d’images, par exemple en identifiant des objets, des personnes ou des actions dans une scène.
• Reconnaissance d’objets : le modèle identifie et étiquette les objets dans une image, par exemple en distinguant un chat, une table ou une voiture sur une photo.

PaliGemma 2 va au-delà du traitement séparé des images et du texte : il les associe de manière pertinente. Par exemple, il peut comprendre les relations dans une scène, en reconnaissant que « Le chat est assis sur la table », ou identifier des objets tout en ajoutant du contexte, comme lorsqu’il reconnaît un monument célèbre.

Fonctionnement des modèles VLM PaliGemma 2 de Google#

Voyons ensuite un exemple à partir du graphique présenté dans l’image ci-dessous, afin de mieux comprendre comment PaliGemma 2 traite les données visuelles et textuelles. Imaginons que tu téléverses ce graphique et que tu demandes au modèle : « Que représente ce graphique ? »

Fig. 2. Exemple des capacités de PaliGemma 2.

Le processus commence par l’analyse des images par l’encodeur de vision SigLIP de PaliGemma 2, qui en extrait les caractéristiques clés. Pour un graphique, cela consiste notamment à repérer des éléments comme les axes, les points de données et les libellés. L’encodeur est entraîné à saisir les tendances générales ainsi que les détails précis. Il utilise également la reconnaissance optique de caractères (OCR) pour détecter et traiter le texte présent dans l’image. Ces caractéristiques visuelles sont converties en jetons, c’est-à-dire en représentations numériques que le modèle peut traiter. Ces jetons sont ensuite ajustés au moyen d’une couche de projection linéaire, une technique qui permet de les combiner avec des données textuelles.

En parallèle, le modèle de langage Gemma 2 traite la requête associée afin d’en déterminer le sens et l’intention. Le texte de la requête est converti en jetons, puis combiné aux jetons visuels de SigLIP pour créer une représentation multimodale, un format unifié qui relie les données visuelles et textuelles.

À partir de cette représentation intégrée, PaliGemma 2 génère une réponse étape par étape au moyen du décodage autorégressif, une méthode dans laquelle le modèle prédit une partie de la réponse à la fois, en fonction du contexte déjà traité.

Principales capacités de PaliGemma 2#

Maintenant que nous avons vu son fonctionnement, découvrons les principales caractéristiques qui font de PaliGemma 2 un modèle vision-langage fiable :

• Flexibilité du réglage fin : il s’adapte facilement à des jeux de données et à des tâches spécifiques et fournit de bons résultats dans des applications comme la génération de légendes d’images, le raisonnement spatial et l’imagerie médicale.
• Diversité des données d’entraînement : entraîné sur des jeux de données comme WebLI et Open Images, il bénéficie de solides capacités de reconnaissance d’objets et peut générer du contenu multilingue.
• Intégration de l’OCR : inclut la reconnaissance optique de caractères pour extraire et interpréter le texte des images, ce qui en fait un outil idéal pour l’analyse de documents et d’autres tâches textuelles.
• Sorties multilingues : génère des légendes et des réponses dans plusieurs langues, ce qui convient parfaitement aux applications internationales.
• Intégration aux outils : il est compatible avec des frameworks comme Hugging Face Transformers, PyTorch et Keras, ce qui facilite son déploiement et l’expérimentation.

Comparaison entre PaliGemma 2 et PaliGemma : quelles sont les améliorations ?#

Examiner l’architecture de la première version de PaliGemma permet de bien comprendre les améliorations apportées à PaliGemma 2. L’un des changements les plus notables est le remplacement du modèle de langage Gemma d’origine par Gemma 2, qui améliore considérablement les performances et l’efficacité.

Gemma 2, disponible en versions de 2B, 9B et 27B paramètres, a été conçu pour offrir une précision et une vitesse de pointe tout en réduisant les coûts de déploiement. Il y parvient grâce à une architecture repensée et optimisée pour l’efficacité de l’inférence sur différentes configurations matérielles, des GPU puissants aux configurations plus accessibles.

Fig. 3 Retour sur la première version de PaliGemma.

PaliGemma 2 est donc un modèle très précis. La version 10B de PaliGemma 2 obtient un score NES (phrase sans implication) inférieur de 20,3, contre 34,3 pour le modèle d’origine, ce qui signifie que ses résultats contiennent moins d’erreurs factuelles. Ces avancées rendent PaliGemma 2 plus évolutif, précis et adaptable à un plus grand éventail d’applications, de la génération de légendes détaillées aux réponses à des questions visuelles. Les modèles Gemma 4 plus récents de Google, comme Gemma 4 26B, sont comparés à d’autres modèles vision-langage pour la détection d’objets dans des situations réelles sur le classement des modèles VLM.

Applications de PaliGemma 2 : usages concrets des modèles VLM#

PaliGemma 2 peut être utilisé dans de nombreux secteurs, car il combine la compréhension visuelle et linguistique. Par exemple, en matière d’accessibilité, il peut générer des descriptions détaillées d’objets, de scènes et de relations spatiales, apportant une aide précieuse aux personnes malvoyantes. Cette capacité aide les utilisateurs à mieux comprendre leur environnement et leur offre davantage d’autonomie dans leurs tâches quotidiennes.

Fig. 4. PaliGemma 2 peut rendre le monde plus accessible.

Outre l’accessibilité, PaliGemma 2 a un impact dans divers secteurs, notamment :

• Commerce électronique : le modèle améliore la catégorisation des produits en analysant et en décrivant les articles présents dans les images, ce qui simplifie la gestion des stocks et améliore l’expérience de recherche des utilisateurs.
• Santé : le modèle aide les professionnels de santé à interpréter des images médicales, comme les radiographies et les IRM, ainsi que des notes cliniques, afin de poser des diagnostics plus précis et mieux étayés.
• Éducation : PaliGemma 2 aide les enseignants à créer des supports pédagogiques descriptifs et accessibles en générant des légendes et en fournissant des informations contextuelles sur les images.
• Création de contenu : Le modèle automatise la génération de légendes et de descriptions visuelles pour les contenus multimédias, ce qui fait gagner du temps aux créateurs.

Essaie PaliGemma 2 toi-même#

Pour essayer PaliGemma 2, tu peux commencer par la démo interactive de Hugging Face. Elle te permet d’explorer ses capacités dans des tâches comme le légendage d’images et les questions-réponses visuelles. Il te suffit de téléverser une image et de poser des questions au modèle à son sujet ou de lui demander une description de la scène.

Fig. 5. Démonstration de PaliGemma 2 (source : Hugging Face).

Si tu veux approfondir, voici comment mettre la main à la pâte :

• Modèles préentraînés : Tu peux accéder à des modèles préentraînés et à leur code sur des plateformes comme Hugging Face et Kaggle. Ces ressources te fournissent tout ce dont tu as besoin pour commencer à travailler avec le modèle.
• Notebooks : Une documentation complète et des notebooks d’exemple sont disponibles pour te familiariser avec PaliGemma 2. Tu peux commencer par des exemples d’inférence et expérimenter le fine-tuning du modèle sur ton propre jeu de données pour des tâches spécifiques.
• Intégrations : PaliGemma 2 est compatible avec des frameworks largement utilisés comme Hugging Face Transformers, Keras, PyTorch, JAX et Gemma.cpp, ce qui te permet de l’intégrer à tes workflows existants.

Avantages et inconvénients de PaliGemma 2 de Google#

Maintenant que nous avons vu comment démarrer avec PaliGemma 2, examinons de plus près ses principaux atouts et ses inconvénients à garder à l’esprit lorsque tu utilises ces modèles.

Voici ce qui distingue PaliGemma 2 en tant que modèle vision-langage :

• Gains d’efficacité : Grâce à l’architecture optimisée de Gemma 2, PaliGemma 2 offre de hautes performances tout en réduisant au minimum les coûts de déploiement.
• Fonctionnalités de sécurité renforcées : PaliGemma 2 intègre d’importantes améliorations de sécurité lors de son entraînement, comme un filtrage rigoureux des données de préentraînement pour réduire les biais et une évaluation approfondie par rapport à des benchmarks de sécurité.
• Faible latence pour les configurations de plus petite taille : Le modèle 3B offre des temps d’inférence plus rapides, ce qui le rend adapté aux cas d’usage où la vitesse est essentielle, comme les recommandations de produits en e-commerce ou les systèmes d’assistance en direct.

Voici maintenant quelques domaines dans lesquels PaliGemma 2 peut présenter des limites :

• Latence : Malgré leur puissance, les modèles de plus grande taille peuvent souffrir de problèmes de latence, en particulier lorsqu’ils sont déployés pour des tâches nécessitant des réponses immédiates, comme les systèmes d’IA interactifs en temps réel.
• Dépendance aux grands jeux de données : Les performances de PaliGemma 2 sont étroitement liées à la qualité et à la diversité de ses jeux de données d’entraînement, ce qui peut limiter son efficacité dans des domaines sous-représentés ou des langues absentes des données d’entraînement.
• Besoins élevés en ressources : malgré les optimisations, les versions à 10B et 28B paramètres nécessitent une puissance de calcul importante, ce qui les rend moins accessibles aux petites organisations disposant de ressources limitées.

Points clés à retenir#

PaliGemma 2 constitue une avancée remarquable dans la modélisation vision-langage, avec une meilleure évolutivité, une plus grande flexibilité de fine-tuning et une meilleure précision. Il peut servir d’outil précieux pour des applications allant des solutions d’accessibilité et du e-commerce au diagnostic médical et à l’éducation.

Malgré certaines limites, comme ses besoins en calcul et sa dépendance à des données de qualité, ses atouts en font un choix pratique pour résoudre des tâches complexes combinant données visuelles et textuelles. PaliGemma 2 peut offrir aux chercheurs et aux développeurs une base solide pour explorer et développer le potentiel de l’IA dans les applications multimodales.

Participe aux échanges sur l’IA en découvrant notre dépôt GitHub et notre communauté. Découvre comment l’IA fait avancer l’agriculture et les soins de santé !