Visual Instruction Tuning

Le réglage d'instructions visuelles est une technique d'apprentissage automatique transformatrice qui étend les méthodes traditionnelles de traitement du langage naturel au domaine multimodal. En entraînant un Vision Language Model (VLM) à suivre des directives humaines explicites basées sur des entrées d'image ou de vidéo, tu peux créer des assistants IA capables de comprendre et de raisonner sur du contenu visuel. Contrairement aux modèles de image classification standard qui produisent une catégorie prédéfinie, le réglage d'instructions visuelles permet aux modèles d'exécuter des tâches complexes et ouvertes, telles que décrire une scène, lire du texte dans une image ou répondre à des questions spécifiques sur des relations spatiales. Cela comble le fossé entre les large language models (LLMs) basés sur le texte et les pipelines de computer vision traditionnels.

Link to this sectionComprendre le concept et les distinctions#

Pour saisir le réglage d'instructions visuelles, il est utile de le distinguer des concepts étroitement liés dans l'écosystème de l'IA :

• Instruction Tuning : Fait généralement référence à l'alignement des LLMs textuels pour suivre l'intention humaine de manière sûre et précise. Le réglage d'instructions visuelles applique cette même méthodologie mais incorpore des images dans le prompt et dans le résultat attendu.
• Visual Prompting : Implique généralement d'interagir avec une IA en utilisant des repères visuels, comme dessiner une bounding box, placer un point ou masquer une zone sur une image, pour guider la concentration du modèle. En revanche, le réglage d'instructions visuelles repose fortement sur des commandes en langage naturel associées aux données visuelles.

Le processus d'entraînement implique généralement le fine-tuning d'un modèle de fondation multimodal pré-entraîné en utilisant des jeux de données étendus formatés sous forme de triplets image-texte-instruction. Des recherches arXiv pionnières sur le réglage d'instructions visuelles, comme le projet LLaVA (Large Language-and-Vision Assistant), ont démontré que ces modèles peuvent atteindre des capacités zero-shot remarquables. Aujourd'hui, les grandes organisations d'IA utilisent cette technique pour alimenter des modèles avancés, notamment OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet et Google DeepMind Gemini.

Link to this sectionApplications concrètes#

En alignant les architectures de multimodal deep learning avec l'intention humaine, le réglage d'instructions visuelles débloque des applications hautement interactives dans divers secteurs :

• IA dans le diagnostic de santé : Les professionnels de santé peuvent utiliser des modèles ajustés par instructions pour le Visual Question Answering (VQA). Un radiologue pourrait interroger le système avec une radiographie et l'instruction : "Mets en évidence et explique tout signe de pneumonie dans le lobe inférieur gauche", permettant à l'IA d'agir comme un assistant de diagnostic collaboratif.
• IA dans le contrôle qualité industriel : Au lieu d'entraîner un modèle rigide de détection des défauts à partir de zéro, les opérateurs peuvent donner des instructions à un système de vision comme Microsoft Florence-2 en déclarant : "Identifie toute rayure ou bosse microscopique sur ce boîtier métallique nouvellement fabriqué."

Link to this sectionConstruire des workflows de vision#

Pour construire des systèmes qui tirent parti de ces capacités, les développeurs s'appuient souvent sur des modèles robustes de object detection pour extraire le contexte structurel des images avant de transmettre ces données à un VLM. En utilisant la documentation multimodale PyTorch ou les modèles de vision TensorFlow, tu peux créer des pipelines hybrides.

Par exemple, tu peux utiliser un modèle Ultralytics YOLO pour percevoir rapidement une scène et générer un prompt linguistique informé pour un VLM en aval :

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

La gestion des jeux de données complexes et multimodaux requis pour ces applications de nouvelle génération peut être un défi. La plateforme Ultralytics simplifie ce processus en fournissant des outils complets pour l'annotation des données, l'entraînement dans le cloud et le déploiement fluide des modèles. Que tu lises des articles de pointe sur la bibliothèque numérique ACM ou les archives IEEE Xplore computer vision, le passage vers des systèmes de vision hautement performants et ajustés par instructions représente la pointe de l'intelligence artificielle. En associant la perception de YOLO26 à des modèles de raisonnement ajustés, les organisations peuvent déployer des agents IA incroyablement robustes.