Multi-Modal Model

Un modèle multimodal est un type avancé de système d'artificial intelligence (AI) capable de traiter, d'interpréter et d'intégrer simultanément des informations provenant de plusieurs types de données différents, ou « modalités ». Alors que les systèmes unimodaux traditionnels se spécialisent dans un domaine unique, tel que Natural Language Processing (NLP) pour le texte ou Computer Vision (CV) pour les images, les modèles multimodaux visent à imiter la perception humaine en synthétisant ensemble des signaux visuels, auditifs et linguistiques. Cette convergence permet au modèle de développer une compréhension globale du monde, lui permettant d'établir des corrélations complexes entre une scène visuelle et une description vocale. Ces capacités sont considérées comme des étapes fondamentales vers la réalisation de l'Artificial General Intelligence (AGI).

Mécanismes fondamentaux et architecture#

L'efficacité d'un modèle multimodal repose sur sa capacité à projeter divers types de données dans un espace sémantique partagé. Ce processus commence généralement par la création d'embeddings, qui sont des représentations numériques capturant le sens essentiel des données d'entrée. En s'entraînant sur des ensembles massifs de données d'exemples appariés, tels que des vidéos avec des sous-titres, le modèle apprend à aligner la représentation vectorielle d'une image de « chat » avec l'embedding textuel du mot « chat ».

Plusieurs concepts architecturaux clés rendent cette intégration possible :

• Transformer Architecture: De nombreux systèmes multimodaux utilisent des transformers, qui emploient des attention mechanisms pour pondérer dynamiquement l'importance des différentes parties de l'entrée. Cela permet à un modèle de se concentrer sur des régions d'image spécifiques qui correspondent à des mots pertinents dans une instruction textuelle, un concept détaillé dans l'article de recherche fondateur "Attention Is All You Need".
• Data Fusion: Cela fait référence à la stratégie consistant à combiner des informations provenant de différentes sources. La Sensor fusion peut se produire tôt en fusionnant des données brutes ou tard en combinant les décisions de sous-modèles séparés. Des frameworks modernes comme PyTorch offrent la flexibilité requise pour construire ces pipelines complexes.
• Contrastive Learning: Les techniques utilisées par des modèles tels que OpenAI's CLIP entraînent le système à minimiser la distance entre les paires texte-image correspondantes dans l'espace vectoriel tout en maximisant la distance entre les paires non correspondantes.

Applications concrètes#

Les modèles multi-modaux ont ouvert des capacités qu'il était auparavant impossible d'atteindre avec des systèmes à modalité unique.

• Visual Question Answering (VQA): Ces systèmes permettent aux utilisateurs de poser des questions en langage naturel sur une image. Par exemple, un utilisateur malvoyant peut télécharger la photo d'un garde-manger et demander : « Y a-t-il une boîte de soupe sur l'étagère du haut ? » Le modèle utilise la object detection pour identifier les éléments et le NLP pour comprendre la requête, fournissant ainsi une réponse utile.
• Autonomous Vehicles: Les voitures autonomes fonctionnent comme des agents multimodaux en temps réel. Elles combinent des flux visuels provenant de caméras, des informations de profondeur provenant du LiDAR et des données de vitesse provenant du radar. Cette redondance garantit que si un capteur est obstrué par la météo, d'autres peuvent maintenir la road safety.
• Open-Vocabulary Detection: Des modèles comme Ultralytics YOLO-World permettent aux utilisateurs de détecter des objets à l'aide d'invites textuelles arbitraires plutôt qu'une liste fixe de classes. Cela comble le fossé entre les commandes linguistiques et la reconnaissance visuelle.

Exemple : Détection à vocabulaire ouvert#

L'exemple suivant montre comment utiliser la bibliothèque ultralytics pour effectuer une détection à vocabulaire ouvert, où le modèle interprète des instructions textuelles pour identifier des objets dans une image :

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing a hat", "blue backpack"])

# Run inference: The model aligns text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Visualize the detection results
results[0].show()

Distinctions avec des termes apparentés#

Il est utile de différencier le « Modèle multi-modal » de concepts apparentés dans le glossaire de l'IA :

• Multi-Modal Learning: Cela fait référence au processus et aux techniques de machine learning (ML) utilisés pour entraîner ces systèmes. Le modèle multimodal est l'artefact ou le produit logiciel résultant de ce processus d'apprentissage.
• Large Language Models (LLMs): Les LLM traditionnels ne traitent que le texte. Bien que nombre d'entre eux évoluent vers des modèles vision-langage (VLM), un LLM standard est unimodal.
• Foundation Models: Il s'agit d'une catégorie plus large décrivant des modèles à grande échelle adaptables à de nombreuses tâches en aval. Bien qu'un modèle multimodal soit souvent un modèle de fondation, tous les modèles de fondation ne gèrent pas plusieurs modalités.

L'avenir de l'IA multi-modale#

Le domaine progresse rapidement vers des systèmes capables de traiter des flux continus d'audio, de vidéo et de texte en temps réel. La recherche menée par des organisations telles que Google DeepMind continue de repousser les limites de la perception machine. Chez Ultralytics, nous soutenons cet écosystème avec des backbones de vision haute performance comme YOLO26. Sorti en 2026, YOLO26 offre une vitesse et une précision supérieures pour des tâches telles que l'instance segmentation, servant de composant visuel efficace dans des pipelines multimodaux plus larges. Les développeurs peuvent gérer les données, l'entraînement et le déploiement de ces flux de travail complexes en utilisant la Ultralytics Platform unifiée.