Google PaliGemma 2 : aperçu des modèles VLM avancés

Le 5 décembre 2024, Google a présenté PaliGemma 2, la dernière version de son modèle vision-langage (VLM) de pointe. PaliGemma 2 est conçu pour gérer des tâches combinant images et texte, telles que la génération de légendes, la réponse à des questions visuelles et la détection d'objets dans les visuels.

S'appuyant sur le PaliGemma d'origine, qui était déjà un outil performant pour le sous-titrage multilingue et la reconnaissance d'objets, PaliGemma 2 apporte plusieurs améliorations clés. Celles-ci incluent des tailles de modèles plus grandes, la prise en charge d'images à plus haute résolution et de meilleures performances sur des tâches visuelles complexes. Ces mises à niveau le rendent encore plus flexible et efficace pour un large éventail d'utilisations.

Dans cet article, nous examinerons de plus près PaliGemma 2, notamment son fonctionnement, ses fonctionnalités clés et les applications où il excelle. Commençons !

De Gemma 2 à PaliGemma 2#

PaliGemma 2 repose sur deux technologies clés : l'encodeur de vision SigLIP et le modèle de langage Gemma 2. L'encodeur SigLIP traite les données visuelles, telles que les images ou les vidéos, et les décompose en caractéristiques que le modèle peut analyser. Pendant ce temps, Gemma 2 gère le texte, permettant au modèle de comprendre et de générer du langage multilingue. Ensemble, ils forment un VLM conçu pour interpréter et connecter de manière transparente les informations visuelles et textuelles.

Ce qui fait de PaliGemma 2 un grand pas en avant, c'est son évolutivité et sa polyvalence. Contrairement à la version originale, PaliGemma 2 est disponible en trois tailles : 3 milliards (3B), 10 milliards (10B) et 28 milliards (28B) de paramètres. Ces paramètres sont comme les réglages internes du modèle, l'aidant à apprendre et à traiter les données efficacement. Il prend également en charge différentes résolutions d'image (par exemple, 224 x 224 pixels pour des tâches rapides et 896 x 896 pour une analyse détaillée), ce qui le rend adaptable à diverses applications.

Fig. 1 Aperçu de PaliGemma 2.

L'intégration des capacités linguistiques avancées de Gemma 2 avec le traitement d'image de SigLIP rend PaliGemma 2 beaucoup plus intelligent. Il peut gérer des tâches comme :

• Sous-titrage d'images ou de vidéos : Le modèle peut générer des descriptions textuelles détaillées de visuels, ce qui le rend utile pour créer automatiquement des légendes.
• Réponse aux questions visuelles : PaliGemma 2 peut répondre à des questions basées sur des images, comme l'identification d'objets, de personnes ou d'actions dans une scène.
• Reconnaissance d'objets : Il identifie et étiquette les objets dans une image, comme la distinction entre un chat, une table ou une voiture sur une photo.

PaliGemma 2 va au-delà du traitement séparé des images et du texte ; il les réunit de manière significative. Par exemple, il peut comprendre les relations dans une scène, comme reconnaître que « Le chat est assis sur la table », ou identifier des objets tout en ajoutant du contexte, comme reconnaître un monument célèbre.

Comment fonctionnent les modèles VLM PaliGemma 2 de Google#

Ensuite, nous parcourrons un exemple utilisant le graphique montré dans l'image ci-dessous pour mieux comprendre comment PaliGemma 2 traite les données visuelles et textuelles. Disons que tu télécharges ce graphique et que tu demandes au modèle : « Que représente ce graphique ? »

Fig. 2 Exemple des capacités de PaliGemma 2.

Le processus commence par l'encodeur de vision SigLIP de PaliGemma 2 pour analyser les images et extraire les caractéristiques clés. Pour un graphique, cela inclut l'identification d'éléments tels que les axes, les points de données et les étiquettes. L'encodeur est entraîné à capturer à la fois les motifs généraux et les détails précis. Il utilise également la reconnaissance optique de caractères (OCR) pour détecter et traiter tout texte intégré dans l'image. Ces caractéristiques visuelles sont converties en jetons, qui sont des représentations numériques que le modèle peut traiter. Ces jetons sont ensuite ajustés à l'aide d'une couche de projection linéaire, une technique qui garantit qu'ils peuvent être combinés de manière transparente avec des données textuelles.

En même temps, le modèle de langage Gemma 2 traite la requête associée pour déterminer sa signification et son intention. Le texte de la requête est converti en jetons, et ceux-ci sont combinés avec les jetons visuels de SigLIP pour créer une représentation multimodale, un format unifié qui relie les données visuelles et textuelles.

En utilisant cette représentation intégrée, PaliGemma 2 génère une réponse étape par étape grâce au décodage autorégressif, une méthode où le modèle prédit une partie de la réponse à la fois en fonction du contexte qu'il a déjà traité.

Capacités clés de PaliGemma 2#

Maintenant que nous avons compris son fonctionnement, explorons les fonctionnalités clés qui font de PaliGemma 2 un modèle vision-langage fiable :

• Flexibilité du fine-tuning : S'adapte facilement à des jeux de données et à des tâches spécifiques, obtenant de bons résultats dans des applications telles que le sous-titrage d'images, le raisonnement spatial et l'imagerie médicale.
• Données d'entraînement diverses : Entraîné sur des jeux de données tels que WebLI et OpenImages, ce qui lui confère de solides capacités de reconnaissance d'objets et des fonctionnalités de sortie multilingues.
• Intégration OCR : Inclut la reconnaissance optique de caractères pour extraire et interpréter le texte des images, ce qui le rend idéal pour l'analyse de documents et d'autres tâches basées sur le texte.
• Sorties multilingues : Génère des légendes et des réponses dans plusieurs langues, idéal pour les applications mondiales.
• Intégration avec des outils : Il est compatible avec des frameworks tels que Hugging Face Transformers, PyTorch et Keras, permettant un déploiement et une expérimentation faciles.

Comparaison entre PaliGemma 2 et PaliGemma : Qu'est-ce qui a été amélioré ?#

Jeter un coup d'œil à l'architecture de la première version de PaliGemma est un bon moyen de voir les améliorations de PaliGemma 2. L'un des changements les plus notables est le remplacement du modèle de langage original Gemma par Gemma 2, qui apporte des améliorations substantielles tant en termes de performances que d'efficacité.

Gemma 2, disponible en tailles de paramètres 9B et 27B, a été conçu pour offrir une précision et une vitesse de premier plan tout en réduisant les coûts de déploiement. Il y parvient grâce à une architecture repensée, optimisée pour l'efficacité de l'inférence sur différentes configurations matérielles, des GPU puissants aux configurations plus accessibles.

Fig. 3 Retour sur la première version de PaliGemma 2.

Par conséquent, PaliGemma 2 est un modèle hautement précis. La version 10B de PaliGemma 2 atteint un score NES (Non-Entailment Sentence) inférieur de 20,3, contre 34,3 pour le modèle d'origine, ce qui signifie moins d'erreurs factuelles dans ses résultats. Ces avancées rendent PaliGemma 2 plus évolutif, précis et adaptable à un plus large éventail d'applications, du sous-titrage détaillé à la réponse visuelle aux questions.

Applications de PaliGemma 2 : Utilisations concrètes des modèles VLM#

PaliGemma 2 a le potentiel de redéfinir les secteurs en combinant de manière transparente la compréhension visuelle et linguistique. Par exemple, en matière d'accessibilité, il peut générer des descriptions détaillées d'objets, de scènes et de relations spatiales, fournissant une aide essentielle aux personnes malvoyantes. Cette capacité aide les utilisateurs à mieux comprendre leur environnement, offrant une plus grande indépendance pour les tâches quotidiennes.

Fig. 4 PaliGemma 2 peut rendre le monde plus accessible.

En plus de l'accessibilité, PaliGemma 2 a un impact dans diverses industries, notamment :

• E-commerce : Le modèle améliore la catégorisation des produits en analysant et en décrivant les articles dans les images, ce qui simplifie la gestion des stocks et améliore l'expérience de recherche pour les utilisateurs.
• Santé : Il soutient les professionnels de la santé en interprétant l'imagerie médicale, telle que les radiographies et les IRM, aux côtés des notes cliniques pour fournir des diagnostics plus précis et éclairés.
• Éducation : PaliGemma 2 aide les enseignants à créer des supports pédagogiques descriptifs et accessibles en générant des légendes et en fournissant des informations contextuelles pour les images.
• Création de contenu : Le modèle automatise le processus de génération de légendes et de descriptions visuelles pour le contenu multimédia, faisant gagner du temps aux créateurs.

Essaie par toi-même : PaliGemma 2#

Pour essayer PaliGemma 2, tu peux commencer par la démo interactive de Hugging Face. Elle te permet d'explorer ses capacités dans des tâches comme le sous-titrage d'images et la réponse aux questions visuelles. Télécharge simplement une image et pose des questions au modèle à son sujet ou demande une description de la scène.

Fig 5. Une démo de PaliGemma 2 (Source : Hugging Face).

Si tu souhaites aller plus loin, voici comment tu peux passer à la pratique :

• Modèles pré-entraînés : Tu peux accéder à des modèles pré-entraînés et à du code à partir de plateformes telles que Hugging Face et Kaggle. Ces ressources fournissent tout ce dont tu as besoin pour commencer à travailler avec le modèle.
• Notebooks : Il existe une documentation complète et des notebooks d'exemple pour te familiariser avec PaliGemma 2. Tu peux commencer par des exemples d'inférence et expérimenter le fine-tuning du modèle sur ton propre jeu de données pour des tâches spécifiques.
• Intégrations : PaliGemma 2 est compatible avec des frameworks largement utilisés comme Hugging Face Transformers, Keras, PyTorch, JAX et Gemma.cpp, te permettant de l'intégrer facilement dans tes flux de travail existants.

Avantages et inconvénients de PaliGemma 2 de Google#

Maintenant que tu as compris comment débuter avec PaliGemma 2, examinons de plus près ses points forts et ses inconvénients à garder à l'esprit lors de l'utilisation de ces modèles.

Voici ce qui fait de PaliGemma 2 un modèle vision-langage remarquable :

• Gains d'efficacité : En tirant parti de l'architecture optimisée de Gemma 2, PaliGemma 2 offre des performances élevées tout en minimisant les coûts de déploiement.
• Fonctionnalités de sécurité améliorées : PaliGemma 2 intègre des améliorations de sécurité significatives dans son processus d'entraînement, telles qu'un filtrage robuste des données de pré-entraînement pour réduire les biais et une évaluation rigoureuse par rapport aux benchmarks de sécurité.
• Faible latence pour les configurations plus petites : Le modèle 3B offre des temps d'inférence plus rapides, ce qui le rend adapté aux cas d'utilisation où la vitesse est critique, tels que les recommandations de produits e-commerce ou les systèmes de support en direct.

Pendant ce temps, voici quelques domaines où PaliGemma 2 peut rencontrer des limites :

• Latence : Bien que puissants, les modèles plus grands peuvent faire face à des problèmes de latence, surtout lorsqu'ils sont déployés pour des tâches nécessitant des réponses immédiates, comme les systèmes d'IA interactifs en temps réel.
• Dépendance aux grands jeux de données : Les performances de PaliGemma 2 sont étroitement liées à la qualité et à la diversité de ses jeux de données d'entraînement, ce qui pourrait limiter son efficacité dans des domaines sous-représentés ou des langues non incluses dans les données d'entraînement.
• Exigences élevées en matière de ressources : Malgré les optimisations, les versions à 10B et 28B paramètres exigent une puissance de calcul importante, ce qui les rend moins accessibles aux organisations plus petites disposant de ressources limitées.

Points clés#

PaliGemma 2 est une avancée fascinante dans la modélisation vision-langage, offrant une évolutivité améliorée, une flexibilité de réglage fin et une précision accrue. Il peut servir d'outil précieux pour des applications allant des solutions d'accessibilité et de l'e-commerce aux diagnostics de santé et à l'éducation.

Bien qu'il présente des limites, telles que les exigences informatiques et la dépendance à des données de haute qualité, ses points forts en font un choix pratique pour s'attaquer à des tâches complexes qui intègrent des données visuelles et textuelles. PaliGemma 2 peut fournir une base solide aux chercheurs et aux développeurs pour explorer et étendre le potentiel de l'IA dans les applications multimodales.

Participe à la conversation sur l'IA en consultant notre dépôt GitHub et notre communauté. Découvre comment l'IA progresse dans l'agriculture et la santé ! 🚀