Visual Question Answering (VQA)

Le Visual Question Answering (VQA) est une tâche d'intelligence artificielle sophistiquée qui se situe à l'intersection de la Computer Vision (CV) et du Natural Language Processing (NLP). Contrairement à la classification d'images traditionnelle, qui attribue une seule étiquette à une photo, les systèmes VQA sont conçus pour répondre à des questions ouvertes en langage naturel sur le contenu visuel d'une image. Par exemple, face à la photo d'une cuisine, un utilisateur peut demander : « Le four est-il allumé ? » ou « Combien y a-t-il de pommes dans le bol ? » Pour répondre correctement, le modèle doit comprendre la sémantique du texte, identifier les objets pertinents dans la scène et raisonner sur leurs attributs et leurs relations spatiales.

Cette capacité fait du VQA un composant fondamental de l'multimodal AI moderne, car elle nécessite le traitement simultané de types de données hétérogènes. L'architecture implique généralement un encodeur de vision, tel qu'un Convolutional Neural Network (CNN) ou un Vision Transformer (ViT), pour extraire des caractéristiques de l'image, et un encodeur de texte pour traiter la requête linguistique. Les systèmes avancés utilisent un attention mechanism pour aligner les concepts textuels avec des régions spécifiques de l'image, permettant à l'IA de « regarder » les parties pertinentes de la photo avant de générer une réponse.

Applications concrètes et importance#

La capacité d'interroger dynamiquement des données visuelles a conduit à des applications transformatrices dans divers secteurs, améliorant l'automatisation et l'accessibilité.

• Technologie d'assistance : Le VQA est vital pour les applications soutenant les personnes malvoyantes. Des outils comme Be My Eyes peuvent exploiter le VQA pour permettre aux utilisateurs de prendre une photo de leur environnement et de poser des questions telles que : « Est-ce du shampooing ou de l'après-shampooing dans cette bouteille ? » ou « Est-il sûr de traverser la rue ? » Cela favorise une plus grande autonomie en convertissant l'information visuelle en réponses audibles.
• Diagnostic médical : Dans le domaine de l'AI in healthcare, les systèmes VQA aident les radiologues en analysant l'imagerie médicale. Un praticien peut interroger un système sur une radiographie avec des questions telles que : « Y a-t-il des signes de fracture dans le quadrant supérieur gauche ? » Des chercheurs des National Institutes of Health (NIH) ont exploré le VQA pour rationaliser la prise de décision clinique et réduire les erreurs de diagnostic.
• Surveillance intelligente : Les systèmes de sécurité modernes utilisent l'AI for security pour analyser des heures de séquences vidéo. Au lieu d'une révision manuelle, les opérateurs peuvent demander : « Un camion rouge est-il entré sur le quai de chargement après minuit ? » Le VQA permet une anomaly detection rapide basée sur des critères spécifiques plutôt que sur des alertes de mouvement génériques.

Le rôle de la détection d'objets dans le VQA#

Bien que certains modèles VQA soient entraînés de bout en bout, beaucoup s'appuient sur un robuste squelette d'object detection pour identifier d'abord les éléments de la scène. Localiser précisément les objets fournit le contexte nécessaire au moteur de raisonnement. Le modèle Ultralytics YOLO26 sert d'excellente base pour ces pipelines en raison de sa haute précision et de ses performances en temps réel.

Par exemple, les développeurs peuvent utiliser YOLO26 pour extraire des classes d'objets et des boîtes englobantes, qui sont ensuite injectées dans un Large Language Model (LLM) ou un module de raisonnement spécialisé pour répondre aux requêtes des utilisateurs. La gestion des ensembles de données pour entraîner ces structures de détection est souvent simplifiée à l'aide de la Ultralytics Platform, qui simplifie l'annotation et l'entraînement dans le cloud.

L'exemple Python suivant montre comment utiliser YOLO26 pour extraire le contexte visuel (objets et leurs emplacements) d'une image, ce qui constitue l'étape principale d'un flux de travail VQA :

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Run inference to detect objects, providing context for VQA
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display detected classes (e.g., 'bus', 'person') to verify scene understanding
for result in results:
    result.show()  # Visualize the detections

Distinction entre le VQA et les concepts connexes#

Il est utile de différencier le VQA des tâches vision-langage similaires pour comprendre sa portée unique.

• VQA vs. Légendage d'images : Le Image captioning génère une description générique et statique d'une image entière (par exemple, « Un chien qui joue dans le parc »). Le VQA est interactif et spécifique ; il fournit une réponse ciblée à la question d'un utilisateur plutôt qu'un résumé global.
• VQA vs. Ancrage visuel : Le Visual grounding se concentre sur la localisation d'un objet spécifique mentionné dans une phrase textuelle en dessinant une bounding box autour de celui-ci. Le VQA va plus loin en analysant les attributs, les actions ou les quantités des objets trouvés.
• VQA vs. OCR : Alors que l'Optical Character Recognition (OCR) sert strictement à extraire du texte à partir d'images, le VQA peut incorporer l'OCR pour répondre à des questions telles que « Que dit le panneau de signalisation ? » Cependant, la fonction principale du VQA inclut une compréhension de scène plus large qui va au-delà de la simple lecture de texte.

Les chercheurs continuent de faire progresser le domaine en utilisant des benchmarks à grande échelle tels que le VQA Dataset, qui aide les modèles à généraliser sur des millions de paires image-question. À mesure que le matériel s'améliore, permettant une inference latency plus rapide, le VQA devient de plus en plus viable pour les applications mobiles et de périphérie en temps réel.