Visual Instruction Tuning

L'ajustement fin par instructions visuelles consiste à ajuster finement un modèle vision-langage (VLM) sur des exemples associant une image et une instruction en langage naturel à la réponse attendue ; le modèle apprend ainsi à répondre à des demandes ouvertes sur des images : décrire une scène, répondre à une question, lire du texte ou raisonner sur ce qui est représenté. Cette méthode étend l'ajustement par instructions limité au texte aux images et transforme un modèle qui sait seulement relier des images à des mots en assistant visuel. Haotian Liu, Chunyuan Li, Qingyang Wu et Yong Jae Lee, de l'Université du Wisconsin-Madison, de Microsoft Research et de l'Université Columbia, ont introduit le terme dans Visual Instruction Tuning, un article présenté oralement à NeurIPS 2023, ainsi que le modèle LLaVA (Large Language and Vision Assistant) qui en est issu.

Génération des données d'instructions#

Peu de jeux de données associaient images, instructions et réponses ; les auteurs de LLaVA les ont donc générées avec un modèle uniquement textuel. Pour chaque image de COCO, ils ont fourni à GPT-4 une description symbolique de l'image, à savoir les légendes rédigées par des humains et les boîtes englobantes avec les catégories d'objets et leurs coordonnées, ainsi que quelques exemples rédigés à la main, puis lui ont demandé d'écrire des questions et des réponses comme s'il pouvait voir l'image. Les données synthétiques obtenues, publiées sous le nom LLaVA-Instruct-150K, comprennent 158 000 échantillons de trois types : 58 000 conversations à plusieurs tours, 23 000 descriptions détaillées et 77 000 questions de raisonnement complexe dont les réponses nécessitent une réflexion étape par étape sur la scène.

Architecture et entraînement#

LLaVA relie un encodeur d’images CLIP ViT-L/14 à Vicuna, le grand modèle de langage (LLM), par une projection linéaire unique qui projette les caractéristiques de l’image dans l’espace de plongement des mots du LLM ; l’image entre ainsi dans le LLM sous la forme d’une séquence de jetons visuels précédant l’instruction. L’entraînement se déroule en deux étapes :

1. Alignement des caractéristiques : Seule la projection est entraînée sur 595 000 paires image-légende filtrées du jeu de données CC3M, tandis que l'encodeur de vision et le LLM restent figés ; les tokens visuels deviennent ainsi lisibles par le LLM.
2. Ajustement par instructions visuelles : La projection et le LLM sont tous deux mis à jour sur les données d'instructions, tandis que l'encodeur de vision reste figé. La perte du token suivant est calculée uniquement sur les réponses de l'assistant, jamais sur les tokens d'image ni sur les instructions de l'utilisateur.

Le modèle obtenu a pu tenir des conversations sur des images et des instructions qu'il n'avait jamais vues. Sur un benchmark synthétique multimodal de suivi d'instructions évalué par GPT-4, LLaVA a atteint 85.1 % du score de GPT-4 lui-même ; après ajustement fin sur le benchmark ScienceQA, un ensemble de LLaVA et GPT-4 a établi un nouveau record avec une précision de 92.53 %.

LLaVA-1.5 a simplifié et amélioré la recette : le modèle a remplacé la projection linéaire par un MLP à deux couches, porté la résolution d'entrée de CLIP à 336 pixels, ajouté des jeux de données universitaires de réponse visuelle aux questions avec de courtes invites précisant le format de réponse, et terminé son entraînement en environ une journée sur un seul nœud équipé de huit GPU A100, en utilisant 1,2 million d'échantillons publics pour le modèle à 13 milliards de paramètres. InstructBLIP de Salesforce a suivi une autre voie : convertir des jeux de données étiquetés existants au format d'instructions et conditionner ses caractéristiques d'image sur l'instruction.

Applications#

Les VLM ajustés par instruction remplacent de nombreux modèles à tâche unique par un système unique qui répond à des questions ouvertes, rédige des légendes d’images avec le niveau de détail demandé par l’utilisateur et lit le texte présent sur les photos, en combinant la reconnaissance optique de caractères (OCR) et le raisonnement sur la signification du texte. Les modèles qui lisent ainsi les captures d’écran servent de base aux agents capables d’utiliser un ordinateur. Cette approche se transpose aussi à des domaines spécialisés : LLaVA-Med a été aligné sur des paires de figures et de légendes biomédicales issues de PubMed Central, affiné à partir d’instructions générées par GPT-4 à leur sujet, puis entraîné en moins de 15 heures sur huit GPU A100, ce qui ouvre la voie à des assistants d’analyse d’images médicales capables d’expliquer les résultats en langage naturel.

De nombreux VLM ajustés par instructions renvoient également l'emplacement des objets lorsqu'on le leur demande. Ultralytics Platform exploite cette capacité dans son annotation intelligente guidée par classe : sur un jeu de données de détection comptant de 1 à 200 classes, des modèles open source hébergés comme Moondream 3.1 ou les modèles de vision payants de fournisseurs repèrent les classes du jeu de données dans une image et renvoient des boîtes modifiables à vérifier.

Les VLM ajustés par instructions héritent aussi des faiblesses de leurs données. Les réponses générées peuvent décrire des objets absents de l'image, et des méthodes fondées sur les préférences comme l'optimisation directe des préférences (DPO) sont appliquées après l'ajustement par instructions pour réduire ces hallucinations.

Ajustement par instructions visuelles et concepts connexes#

• Ajustement par instructions textuelles : Ajuste finement un LLM textuel sur des paires instruction-réponse. L'ajustement par instructions visuelles ajoute une image à chaque exemple et entraîne la connexion entre l'encodeur de vision et le LLM.
• Préentraînement vision-langage : Les modèles contrastifs comme CLIP apprennent à faire correspondre des images et des légendes, ce qui donne au VLM ses caractéristiques visuelles, mais aucune capacité à suivre des instructions.
• Invite visuelle : Guide un modèle à l'inférence avec des indices visuels comme des points, des boîtes ou des images d'exemple, comme dans la segmentation guidée par invite. L'ajustement par instructions visuelles est une étape d'entraînement, et ses invites sont rédigées en langage naturel.
• Ajustement fin pour la réponse visuelle aux questions (VQA) : Entraîne un modèle sur une seule tâche et un seul format de réponse, comme un benchmark VQA unique. L'ajustement par instructions visuelles combine de nombreux types de tâches dans un format d'instructions pour que le modèle généralise à de nouvelles demandes.