Vision Language Model (VLM)

Un modèle de langage visuel (VLM) est un type d'intelligence artificielle capable de traiter et d'interpréter simultanément des informations visuelles (images ou vidéos) et textuelles. Contrairement aux modèles traditionnels de computer vision qui se concentrent uniquement sur les données de pixels, ou aux Large Language Models (LLMs) qui ne comprennent que le texte, les VLM font le pont entre ces deux modalités. En s'entraînant sur des ensembles de données massifs contenant des paires image-texte, ces modèles apprennent à associer des caractéristiques visuelles à des concepts linguistiques, ce qui leur permet de décrire des images, de répondre à des questions sur des scènes visuelles et même d'exécuter des commandes en fonction de ce qu'ils "voient."

Link to this sectionComment fonctionnent les modèles de langage visuel#

À la base, les VLM se composent généralement de deux éléments principaux : un encodeur visuel et un encodeur textuel. L'encodeur visuel traite les images pour extraire des feature maps et des représentations visuelles, tandis que l'encodeur textuel gère l'entrée linguistique. Ces flux de données distincts sont ensuite fusionnés à l'aide de mécanismes comme le cross-attention pour aligner les informations visuelles et textuelles dans un espace d'intégration partagé.

Les avancées récentes en 2024 et 2025 ont évolué vers des architectures plus unifiées où une seule dorsale Transformer gère les deux modalités. Par exemple, des modèles comme Google PaliGemma 2 démontrent à quel point l'intégration efficace de ces flux peut améliorer les performances sur des tâches de raisonnement complexes. Cet alignement permet au modèle de comprendre le contexte, comme reconnaître que le mot "pomme" désigne un fruit dans l'image d'une épicerie mais une entreprise technologique dans un logo.

Link to this sectionApplications concrètes#

La capacité à comprendre le monde à la fois par la vue et par le langage ouvre des applications variées dans de nombreux secteurs :

• Visual Question Answering (VQA) : Les VLM sont largement utilisés dans les diagnostics de santé pour assister les radiologues. Un médecin peut demander à un système : « Y a-t-il une fracture sur cette radiographie ? » et le modèle analyse l'image médicale pour fournir une évaluation préliminaire, réduisant ainsi les erreurs de diagnostic.
• Recherche e-commerce intelligente : Dans les environnements de vente au détail, les VLM permettent aux utilisateurs de rechercher des produits en utilisant des descriptions en langage naturel combinées à des images. Un acheteur pourrait télécharger une photo de la tenue d'une célébrité et demander : « Trouve-moi une robe avec ce motif mais en bleu », et le système utilise la recherche sémantique pour récupérer des résultats précis.
• Légendes automatisées et accessibilité : Les VLM génèrent automatiquement du alt text descriptif pour les images sur le web, rendant le contenu numérique plus accessible aux utilisateurs malvoyants qui s'appuient sur des lecteurs d'écran.

Link to this sectionDifférencier les VLM des concepts associés#

Il est utile de distinguer les VLM des autres catégories d'IA pour comprendre leur rôle spécifique :

• VLM vs LLM : Un Large Language Model (comme les versions texte uniquement de GPT-4) traite uniquement des données textuelles. Bien qu'il puisse générer des histoires créatives ou du code, il ne peut pas "voir" une image. Un VLM donne effectivement des yeux à un LLM.
• VLM vs Object Detection : Les modèles traditionnels d'object detection, tels que les premières versions de YOLO, identifient où se trouvent les objets et à quelle classe ils appartiennent (par exemple, "Voiture : 99 %"). Un VLM va plus loin en comprenant les relations et les attributs, comme "une voiture de sport rouge garée à côté d'une borne d'incendie."
• VLM vs Multimodal AI : Multimodal AI est un terme parapluie plus large. Bien que tous les VLM soient multimodaux (combinant vision et langage), tous les modèles multimodaux ne sont pas des VLM ; certains peuvent combiner audio et texte (comme la conversion parole-texte) ou vidéo et données de capteurs sans composante linguistique.

Link to this sectionDétection à vocabulaire ouvert avec YOLO#

Les VLM modernes permettent une détection "à vocabulaire ouvert", où tu peux détecter des objets en utilisant des invites textuelles libres plutôt que des classes prédéfinies. Il s'agit d'une fonctionnalité clé de modèles comme Ultralytics YOLO-World, qui permet des définitions de classe dynamiques sans réentraînement.

L'exemple suivant démontre comment utiliser le package ultralytics pour détecter des objets spécifiques décrits par du texte :

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionDéfis et orientations futures#

Bien que puissants, les modèles de langage visuel font face à des défis importants. Un problème majeur est l'hallucination, où le modèle décrit avec assurance des objets ou du texte dans une image qui n'existent tout simplement pas. Les chercheurs travaillent activement sur des techniques comme le Reinforcement Learning from Human Feedback (RLHF) pour améliorer le ancrage et la précision.

Un autre défi est le coût de calcul. L'entraînement de ces modèles massifs nécessite des ressources GPU substantielles. Cependant, la sortie d'architectures efficaces comme Ultralytics YOLO26 contribue à apporter des capacités de vision avancées aux appareils en périphérie (edge devices). À mesure que nous avançons, nous nous attendons à ce que les VLM jouent un rôle crucial dans les agents robotiques, permettant aux robots de naviguer et de manipuler des objets basés sur des instructions verbales complexes.

Pour ceux qui s'intéressent aux fondements théoriques, le CLIP paper by OpenAI original fournit un excellent aperçu du pré-entraînement contrastif langage-image. De plus, rester à jour avec les CVPR conference papers est essentiel pour suivre l'évolution rapide de ces architectures. Pour expérimenter l'entraînement de tes propres modèles de vision, tu peux utiliser l'Ultralytics Platform pour une gestion simplifiée des jeux de données et le déploiement de modèles.