Visual Instruction Tuning

Visuelles Instruction-Tuning ist die Feinabstimmung eines Bild-Sprach-Modells (VLM) mit Beispielen, die ein Bild und eine natürlichsprachliche Anweisung mit der gewünschten Antwort verknüpfen. So lernt das Modell, offene Fragen zu Bildern zu beantworten: eine Szene beschreiben, eine Frage beantworten, Text lesen oder über das Dargestellte nachdenken. Das Verfahren erweitert das rein textbasierte Instruction-Tuning auf Bilder und macht aus einem Modell, das Bilder und Wörter lediglich miteinander in Beziehung setzen kann, einen visuellen Assistenten. Haotian Liu, Chunyuan Li, Qingyang Wu und Yong Jae Lee von der University of Wisconsin–Madison, Microsoft Research und der Columbia University führten den Begriff in Visuelles Instruction-Tuning ein, einem mündlich präsentierten Paper auf NeurIPS 2023, zusammen mit dem daraus entstandenen Modell LLaVA (Large Language and Vision Assistant).

Erstellen von Anweisungsdaten#

Es gab nur wenige Datensätze, die Bilder mit Anweisungen und Antworten verknüpften. Daher erzeugten die Autoren von LLaVA diese Daten mit einem rein textbasierten Modell. Für jedes COCO-Bild gaben sie GPT-4 eine symbolische Beschreibung des Bildes, nämlich von Menschen verfasste Bildunterschriften und Begrenzungsrahmen mit Objektklassen und Koordinaten, sowie einige von Hand verfasste Beispiele. Dann baten sie das Modell, Fragen und Antworten so zu formulieren, als könnte es das Bild sehen. Die daraus entstandenen synthetischen Daten, veröffentlicht als LLaVA-Instruct-150K, umfassen 158.000 Beispiele aus drei Kategorien: 58.000 Dialoge mit mehreren Gesprächsrunden, 23.000 ausführliche Beschreibungen und 77.000 Fragen zum komplexen Schlussfolgern, deren Beantwortung schrittweises Nachdenken über die Szene erfordert.

Architektur und Training#

LLaVA verbindet einen CLIP-Bildencoder ViT-L/14 über eine einzelne lineare Projektion mit dem großen Sprachmodell (LLM) Vicuna. Diese Projektion bildet Bildmerkmale auf den Einbettungs raum der Wörter des LLM ab, sodass das Bild vor der Anweisung als Folge visueller Token in das LLM eingeht. Das Training erfolgt in zwei Phasen:

1. Ausrichtung der Merkmale: Anhand von 595.000 Bildunterschriften-Paaren aus dem CC3M-Datensatz wird nur die Projektion trainiert. Der Bildencoder und das LLM bleiben eingefroren, sodass das LLM die visuellen Token lesen kann.
2. Visuelles Instruction-Tuning: Mit den Anweisungsdaten werden sowohl die Projektion als auch das LLM aktualisiert, während der Bildencoder eingefroren bleibt. Der Verlust für das nächste Token wird nur anhand der Antworten des Assistenten berechnet, niemals anhand der Bild-Token oder der Anweisungen des Nutzers.

Das resultierende Modell führte Gespräche über Bilder und Anweisungen, die es noch nie gesehen hatte. Bei einem synthetischen Benchmark zum Befolgen multimodaler Anweisungen, der von GPT-4 bewertet wurde, erreichte LLaVA 85,1 % der eigenen Punktzahl von GPT-4. Nach der Feinabstimmung mit dem ScienceQA-Benchmark stellte ein Ensemble aus LLaVA und GPT-4 mit 92,53 % Genauigkeit einen neuen Spitzenwert auf.

LLaVA-1.5 vereinfachte und verbesserte das Verfahren: Die lineare Projektion wurde durch ein zweischichtiges MLP ersetzt, die CLIP-Eingabeauflösung auf 336 Pixel erhöht und es wurden akademische Datensätze zur visuellen Fragebeantwortung mit kurzen Prompts ergänzt, die das Antwortformat vorgeben. Das Training war mit acht A100-GPUs auf einem einzelnen Knoten in etwa einem Tag abgeschlossen. Für das Modell mit 13 Milliarden Parametern wurden 1,2 Millionen öffentliche Beispiele verwendet. InstructBLIP von Salesforce verfolgte einen anderen Ansatz: Bestehende beschriftete Datensätze wurden in ein Anweisungsformat umgewandelt und die Bildmerkmale anhand der Anweisung konditioniert.

Anwendungen#

VLMs, die auf Anweisungen feinabgestimmt wurden, ersetzen viele Modelle für einzelne Aufgaben durch ein einziges System, das frei formulierte Fragen beantwortet, Bildbeschreibungen in der vom Nutzer gewünschten Detailtiefe verfasst und Text in Fotos ausliest, wobei es optische Zeichenerkennung (OCR) mit Schlussfolgerungen zur Bedeutung des Textes verbindet. Modelle, die Screenshots auf diese Weise auslesen, ermöglichen den Einsatz von Agenten zur Computerbedienung. Das Vorgehen lässt sich auch auf spezialisierte Fachgebiete übertragen: LLaVA-Med wurde anhand von Paaren aus biomedizinischen Abbildungen und den zugehörigen Bildunterschriften aus PubMed Central ausgerichtet, mit von GPT-4 generierten Anweisungen zu diesen Paaren feinabgestimmt und in weniger als 15 Stunden auf acht A100-GPUs trainiert – ein Weg zu Assistenten, die bei der medizinischen Bildanalyse Befunde in Worten erklären.

Viele VLMs mit Instruction-Tuning geben auf Nachfrage auch Objektpositionen zurück. Die Ultralytics-Plattform nutzt dies für ihre Smart-Annotierung mit Klassen-Prompts: Bei einem Erkennungsdatensatz mit 1 bis 200 Klassen finden gehostete quelloffene Modelle wie Moondream 3.1 oder kostenpflichtige Bildverarbeitungsmodelle von Anbietern die Klassen des Datensatzes in einem Bild und geben bearbeitbare Begrenzungsrahmen zur Überprüfung zurück.

VLMs mit Instruction-Tuning übernehmen auch die Schwächen ihrer Daten. Generierte Antworten können Objekte beschreiben, die nicht im Bild zu sehen sind. Verfahren zur Präferenzoptimierung wie Direct Preference Optimization (DPO) werden nach dem Instruction-Tuning angewendet, um diese Halluzinationen zu verringern.

Visuelles Instruction-Tuning und verwandte Konzepte#

• Textbasiertes Instruction-Tuning: Stimmt ein rein textbasiertes LLM mit Paaren aus Anweisungen und Antworten fein ab. Beim visuellen Instruction-Tuning wird jedem Beispiel ein Bild hinzugefügt und die Verbindung zwischen Bildencoder und LLM trainiert.
• Vortraining für Bild und Sprache: Kontrastive Modelle wie CLIP lernen, Bilder und Bildunterschriften einander zuzuordnen. Dadurch erhält ein VLM visuelle Merkmale, aber nicht die Fähigkeit, Anweisungen zu befolgen.
• Visuelles Prompting: Steuert ein Modell zur Inferenzzeit mit visuellen Hinweisen wie Punkten, Begrenzungsrahmen oder Beispielbildern, etwa bei promptbasierter Segmentierung. Visuelles Instruction-Tuning ist eine Trainingsphase; seine Prompts sind in natürlicher Sprache verfasst.
• Feinabstimmung für visuelle Fragebeantwortung (VQA): Trainiert ein Modell für eine einzelne Aufgabe und ein festgelegtes Antwortformat, etwa einen einzelnen VQA-Benchmark. Visuelles Instruction-Tuning kombiniert viele Aufgabentypen in einem Anweisungsformat, damit das Modell auf neue Anfragen verallgemeinert.