Visual Question Answering (VQA)

La réponse visuelle aux questions (VQA) consiste à répondre en langage naturel à une question sur une image, par exemple « De quelle couleur est le bus ? », « Combien de personnes attendent ? » ou « La cuisinière est-elle allumée ? ». Le système reçoit ensemble l’image et la question, puis renvoie une réponse courte. Il doit donc interpréter la question, repérer les parties pertinentes de l’image et les mettre en relation, ce qui fait de la VQA un test classique de l’IA multimodale. Stanislaw Antol et ses collègues de Virginia Tech et Microsoft Research ont présenté la tâche et son premier grand jeu de référence, le jeu de données VQA, à l’ICCV 2015 : environ 250 000 images, principalement issues de COCO, avec 760 000 questions ouvertes et 10 réponses humaines pour chacune, soit environ 10 millions de réponses au total.

Fonctionnement des modèles VQA#

Un modèle VQA encode l’image avec un réseau neuronal convolutif (CNN) ou un transformer de vision (ViT), encode la question avec un modèle de langage, puis fusionne les deux. Les premiers modèles fusionnaient des caractéristiques d’image globales avec le vecteur de question d’un LSTM et traitaient les réponses comme une classification parmi les quelques milliers de réponses les plus courantes. Un mécanisme d’attention a ensuite permis à la question de choisir où regarder : le modèle ascendant et descendant de Peter Anderson et ses collègues, lauréat du défi VQA 2017, portait son attention sur des régions proposées par un modèle de détection d’objets. La question « De quelle couleur est le bus ? » pouvait ainsi cibler la boîte du bus. Les modèles vision-langage (VLM) actuels génèrent des réponses libres avec un modèle de langage, après un affinage visuel par instruction sur des données associant images, questions et réponses.

Jeux de référence et problème des biais linguistiques#

Les premiers modèles VQA obtenaient de bons scores en partie parce qu’ils ignoraient l’image. De nombreuses questions peuvent être devinées à partir de leur formulation seule : les questions commençant par « Y a-t-il… » appellent souvent la réponse « oui », tandis que « Quel sport… » appelle souvent « tennis ». VQA v2, publié par Yash Goyal et ses collègues à CVPR 2017, a contré ces biais linguistiques en associant chaque question à deux images similaires ayant des réponses différentes ; le modèle doit donc examiner l’image pour obtenir un bon score. Les jeux de données suivants ciblent chacun une compétence :

• VizWiz : plus de 31 000 questions posées par des personnes aveugles à propos de photos prises avec leur téléphone, souvent floues ou mal cadrées.
• TextVQA : questions qui nécessitent de lire du texte dans la scène, comme le numéro sur un maillot ou le nom sur la devanture d’un magasin.
• GQA : questions compositionnelles générées à partir de graphes de scènes, comme « La tasse à gauche de l’assiette est-elle en verre ? »
• OK-VQA : questions nécessitant des connaissances externes, comme le pays d’origine d’un plat.
• VQA-RAD : 3 515 questions rédigées par des cliniciens à propos de 315 images radiologiques, créées à la Bibliothèque nationale de médecine des États-Unis.

Comme les réponses correctes peuvent être formulées de différentes façons, le jeu de référence VQA attribue un score à une réponse selon le nombre de ses 10 annotateurs humains qui l’ont donnée : trois correspondances ou plus comptent comme une réponse entièrement correcte, et le score est calculé en moyenne sur chaque sous-ensemble de neuf annotateurs :

# Ten crowd answers to "What color is the bus?", as collected for every VQA question
human_answers = ["red"] * 7 + ["red and white"] * 2 + ["orange"]


def vqa_accuracy(prediction, answers):
    """Average min(matches / 3, 1) over the ten leave-one-out subsets of nine answers."""
    scores = []
    for i in range(len(answers)):
        others = answers[:i] + answers[i + 1 :]
        scores.append(min(others.count(prediction) / 3, 1))
    return sum(scores) / len(scores)


for prediction in ["red", "red and white", "orange", "blue"]:
    print(f"{prediction}: {vqa_accuracy(prediction, human_answers):.2f}")

Le système affiche 1.00 pour « red », 0.60 pour « red and white », 0.30 pour « orange » et 0.00 pour « blue » : une réponse donnée par un seul annotateur obtient tout de même un crédit partiel, tandis qu’une réponse donnée par aucun annotateur n’en obtient aucun. Les résultats sont présentés séparément pour les réponses oui/non, numériques et autres. Les questions numériques obtiennent systématiquement les scores les plus bas, car compter exige de trouver chaque occurrence exactement une fois. Les détecteurs répondent directement aux questions de comptage : YOLO26 renvoie une boîte par objet ; le nombre de boîtes « person » dans son résultat de prédiction répond donc à la question « Combien de personnes y a-t-il sur l’image ? » pour chacune de ses 80 classes COCO. Pour les classes qui ne figurent pas dans cette liste, les modèles de langage et de vision peuvent aussi renvoyer des boîtes, et le classement VLM mesure la précision avec laquelle ils détectent des objets dans des jeux de données du monde réel.

VQA et tâches apparentées#

Le légendage d’images décrit l’image entière sans qu’on lui pose de question, tandis que la VQA répond à une question ciblée. Le repérage visuel renvoie l’emplacement de l’objet désigné par une expression, souvent sous la forme d’une boîte englobante, tandis que la VQA donne une réponse sur cet objet. La reconnaissance optique de caractères (OCR) fournit le texte auquel se rapportent les questions de type TextVQA, et le raisonnement visuel désigne l’inférence en plusieurs étapes requise par les questions compositionnelles comme celles de GQA. La réponse aux questions basée uniquement sur du texte s’appuie sur un passage plutôt que sur des pixels.

Applications#

Les technologies d’assistance en sont l’usage le plus évident. En 2023, Be My Eyes a ajouté Be My AI, basé sur GPT-4 d’OpenAI, afin que les personnes aveugles ou malvoyantes puissent photographier une étiquette, un écran ou une rue et poser des questions à leur sujet. Les équipes du commerce de détail et de la fabrication interrogent les VLM sur des photos de rayons ou des images d’inspection au lieu d’entraîner un classificateur pour chaque question. Dans le domaine de la santé, la recherche sur le VQA médical porte sur des questions comme « Y a-t-il une fracture ? » au sujet de radiographies et de scanners, une forme d’analyse d’images médicales évaluée par VQA-RAD à l’aide de questions rédigées par des cliniciens qui observaient les images.