Visual Question Answering (VQA)

Visuelle Fragebeantwortung (VQA) bezeichnet die Aufgabe, eine Frage in natürlicher Sprache zu einem Bild zu beantworten, etwa „Welche Farbe hat der Bus?“, „Wie viele Personen warten?“ oder „Ist der Herd eingeschaltet?“. Das System erhält Bild und Frage gemeinsam und gibt eine kurze Antwort zurück. Es muss also die Frage verstehen, die relevanten Bildbereiche finden und beides miteinander verknüpfen. Damit ist VQA ein etablierter Test für multimodale KI. Stanislaw Antol und seine Kolleginnen und Kollegen bei Virginia Tech und Microsoft Research führten die Aufgabe und ihren ersten umfangreichen Benchmark, den VQA-Datensatz, auf der ICCV 2015 ein: rund 250.000 Bilder, überwiegend aus COCO, mit 760.000 offenen Fragen und jeweils 10 Antworten von Menschen – insgesamt etwa 10 Millionen Antworten.

So funktionieren VQA-Modelle#

Ein VQA-Modell codiert das Bild mit einem Faltungsneuronalen Netz (CNN) oder einem Vision Transformer (ViT), codiert die Frage mit einem Sprachmodell und führt beides zusammen. Frühe Modelle kombinierten globale Bildmerkmale mit dem Fragevektor eines LSTM und behandelten die Antwort als Klassifizierung unter den häufigsten Tausenden von Antworten. Ein Aufmerksamkeitsmechanismus ließ die Frage dann bestimmen, wohin das Modell schaut: Das Bottom-up- und Top-down-Modell von Peter Anderson und Kollegen, Gewinner des VQA Challenge 2017, richtete seine Aufmerksamkeit auf Bereiche, die ein Modell zur Objekterkennung vorgeschlagen hatte. So konnte sich die Frage „Welche Farbe hat der Bus?“ auf die Bus-Box konzentrieren. Aktuelle Vision-Language-Modelle (VLMs) erzeugen offene Antworten mit einem Sprachmodell, nachdem sie anhand von Bild-Frage-Antwort-Daten visuelles Anweisungstuning durchlaufen haben.

Benchmarks und das Problem sprachlicher Vorannahmen#

Frühe VQA-Modelle erzielten teils gute Ergebnisse, indem sie das Bild ignorierten. Viele Fragen lassen sich allein anhand der Formulierung erraten: Auf „Is there a...“ lautet die Antwort meistens „yes“, und auf „What sport is...“ oft „tennis“. VQA v2, das Yash Goyal und seine Kolleginnen und Kollegen auf der CVPR 2017 veröffentlichten, wirkte diesen sprachlichen Vorannahmen entgegen. Zu jeder Frage wurden zwei ähnliche Bilder mit unterschiedlichen Antworten bereitgestellt. Für gute Ergebnisse musste das Modell also das Bild berücksichtigen. Spätere Datensätze konzentrieren sich jeweils auf eine bestimmte Fähigkeit:

• VizWiz: Über 31.000 Fragen, die blinde Menschen zu Fotos stellten, die sie mit ihren Telefonen aufgenommen hatten. Viele davon sind unscharf oder schlecht ausgerichtet.
• TextVQA: Fragen, zu deren Beantwortung Text in der Szene gelesen werden muss, etwa eine Trikotnummer oder der Name eines Ladens.
• GQA: Zusammengesetzte Fragen aus Szenengraphen, etwa „Ist die Tasse links vom Teller aus Glas?“
• OK-VQA: Fragen, für deren Beantwortung externes Wissen benötigt wird, etwa aus welchem Land ein Gericht stammt.
• VQA-RAD: 3.515 von Ärztinnen und Ärzten formulierte Fragen zu 315 radiologischen Bildern, erstellt an der US National Library of Medicine.

Da Menschen richtige Antworten unterschiedlich formulieren, bewertet der VQA-Benchmark eine Antwort danach, wie viele der 10 menschlichen Annotatoren sie gegeben haben. Drei oder mehr übereinstimmende Antworten gelten als vollständig richtig. Der Wert wird über alle Teilmengen von neun Annotatoren gemittelt:

# Ten crowd answers to "What color is the bus?", as collected for every VQA question
human_answers = ["red"] * 7 + ["red and white"] * 2 + ["orange"]


def vqa_accuracy(prediction, answers):
    """Average min(matches / 3, 1) over the ten leave-one-out subsets of nine answers."""
    scores = []
    for i in range(len(answers)):
        others = answers[:i] + answers[i + 1 :]
        scores.append(min(others.count(prediction) / 3, 1))
    return sum(scores) / len(scores)


for prediction in ["red", "red and white", "orange", "blue"]:
    print(f"{prediction}: {vqa_accuracy(prediction, human_answers):.2f}")

Für „rot“ gibt es den Wert 1,00, für „rot und weiß“ 0,60, für „orange“ 0,30 und für „blau“ 0,00: Eine Antwort, die nur eine annotierende Person gegeben hat, erhält dennoch Teilpunkte; eine Antwort, die niemand gegeben hat, erhält keine Punkte. Die Ergebnisse werden getrennt für Ja/Nein-, Zahlen- und sonstige Antworttypen ausgewiesen. Fragen nach Zahlen schneiden durchgängig am schlechtesten ab, weil beim Zählen jedes einzelne Objekt genau einmal gefunden werden muss. Detektoren beantworten Zählfragen direkt: YOLO26 gibt eine Box pro Objekt zurück. Daher beantwortet die Anzahl der Boxen für „person“ im Vorhersage-Ergebnis die Frage „Wie viele Personen sind auf dem Bild?“ für jede der 80 COCO-Klassen. Für Klassen außerhalb dieser Liste können auch Vision-Language-Modelle Boxen zurückgeben. Die VLM-Bestenliste misst, wie genau sie Objekte in realen Datensätzen erkennen.

VQA im Vergleich zu verwandten Aufgaben#

Bildbeschriftung beschreibt ein ganzes Bild, ohne dass eine Frage gestellt wird. VQA beantwortet dagegen eine gezielte Frage. Visuelle Verankerung gibt die Position des Objekts zurück, das ein Ausdruck bezeichnet, häufig als Bounding Box. VQA liefert eine Antwort zu diesem Objekt. Die optische Zeichenerkennung (OCR) stellt den Text bereit, nach dem Fragen im Stil von TextVQA fragen. Visuelles Schlussfolgern bezeichnet die mehrstufige Schlussfolgerung, die zusammengesetzte Fragen wie bei GQA erfordern. Textbasierte Fragebeantwortung nutzt statt Pixeln einen Textabschnitt.

Anwendungen#

Assistenztechnologie ist der deutlichste Anwendungsfall. Be My Eyes ergänzte 2023 Be My AI auf Basis von OpenAIs GPT-4, sodass blinde und sehbehinderte Menschen ein Etikett, einen Bildschirm oder eine Straße fotografieren und Fragen dazu stellen können. Teams im Einzelhandel und in der Fertigung fragen VLMs zu Regal- oder Prüfungsbildern, statt für jede Frage einen Klassifikator zu trainieren. In der Gesundheitsversorgung untersucht die Forschung zu medizinischem VQA Fragen wie „Liegt ein Bruch vor?“ zu Röntgen- und CT-Aufnahmen. Diese Form der medizinischen Bildanalyse bewertet VQA-RAD anhand von Fragen, die Klinikerinnen und Kliniker beim Betrachten der Bilder verfasst haben.