Visual Instruction Tuning

Le réglage d'instructions visuelles est une technique d'apprentissage automatique transformatrice qui étend les méthodes traditionnelles de traitement du langage naturel au domaine multimodal. En entraînant un Vision Language Model (VLM) à suivre des directives humaines explicites basées sur des entrées d'image ou de vidéo, tu peux créer des assistants IA qui comprennent et raisonnent sur le contenu visuel. Contrairement aux modèles standard de classfication d'images qui génèrent une catégorie prédéfinie, le réglage d'instructions visuelles permet aux modèles d'exécuter des tâches complexes et ouvertes, telles que la description d'une scène, la lecture de texte dans une image ou la réponse à des questions spécifiques sur les relations spatiales. Cela comble le fossé entre les grands modèles de langage (LLM) textuels et les pipelines traditionnels de computer vision.

Comprendre le concept et les distinctions#

Pour saisir le réglage d'instructions visuelles, il est utile de le distinguer des concepts étroitement liés dans l'écosystème de l'IA :

• Instruction Tuning: Fait généralement référence à l'alignement de LLM purement textuels pour suivre l'intention humaine en toute sécurité et avec précision. Le réglage d'instructions visuelles applique cette même méthodologie mais intègre des images dans le prompt et la sortie attendue.
• Visual Prompting: Implique généralement d'interagir avec une IA à l'aide d'indices visuels — tels que le dessin d'une boîte englobante, le placement d'un point ou le masquage d'une zone sur une image — pour guider l'attention du modèle. En revanche, le réglage d'instructions visuelles repose fortement sur des commandes en langage naturel associées aux données visuelles.

Le processus d'entraînement implique généralement le fine-tuning d'un modèle de fondation multimodal pré-entraîné en utilisant de vastes jeux de données formatés comme des triplets image-texte-instruction. Des recherches pionnières sur arXiv concernant le réglage d'instructions visuelles, telles que le projet LLaVA (Large Language-and-Vision Assistant), ont démontré que ces modèles peuvent atteindre des capacités zero-shot remarquables. Aujourd'hui, les principales organisations d'IA emploient cette technique pour alimenter des modèles avancés, notamment OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet et Google DeepMind Gemini.

Applications concrètes#

En alignant les architectures d'apprentissage profond multimodal sur l'intention humaine, le réglage d'instructions visuelles débloque des applications hautement interactives dans diverses industries :

• AI in Healthcare Diagnostics: Les professionnels de la santé peuvent utiliser des modèles réglés par instructions pour la Visual Question Answering (VQA). Un radiologue peut inviter le système avec une radiographie et l'instruction, "Mets en évidence et explique tout signe de pneumonie dans le lobe inférieur gauche", permettant à l'IA d'agir comme un assistant de diagnostic collaboratif.
• AI in Manufacturing Quality Control: Au lieu d'entraîner un modèle rigide de détection de défauts à partir de zéro, les opérateurs peuvent instruire un système de vision comme Microsoft Florence-2 en déclarant : "Identifie toute rayure ou bosse microscopique sur ce boîtier métallique nouvellement fabriqué."

Construire des workflows de vision#

Pour construire des systèmes qui tirent parti de ces capacités, tu t'appuies souvent sur des modèles robustes de détection d'objets pour extraire le contexte structurel des images avant de passer ces données à un VLM. En utilisant la documentation multimodale PyTorch ou les modèles de vision TensorFlow, tu peux créer des pipelines hybrides.

Par exemple, tu peux utiliser un modèle Ultralytics YOLO pour percevoir rapidement une scène et générer un prompt linguistique informé pour un VLM en aval :

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

La gestion des ensembles de données multimodaux complexes nécessaires à ces applications de nouvelle génération peut s'avérer difficile. La Ultralytics Platform simplifie ce processus en fournissant des outils de bout en bout pour l'annotation de jeux de données, l'entraînement cloud et le déploiement transparent de modèles. Que tu lises des articles de pointe sur la bibliothèque numérique ACM ou les archives de computer vision d'IEEE Xplore, la transition vers des systèmes de vision hautement performants et réglés par instructions représente la pointe de l'intelligence artificielle. En associant la perception YOLO26 à des modèles de raisonnement ajustés, les organisations peuvent déployer des agents IA incroyablement robustes.