Scene Graph

Un graphe de scène est une représentation structurée d’une scène visuelle dans laquelle les nœuds représentent des objets, les attributs décrivent leurs propriétés et les arêtes étiquetées décrivent les relations entre eux. Il transforme une image en faits reliés : quels objets apparaissent, à quoi ils ressemblent et comment ils interagissent. En vision par ordinateur, cette structure permet de raisonner sur une scène au-delà de la reconnaissance d’objets individuels.

Justin Johnson, Ranjay Krishna et leurs collègues ont introduit la formulation moderne ancrée dans l’image dans leurs travaux de 2015 sur la recherche d’images à l’aide de graphes de scène. Leur représentation comprenait des objets tels qu’un homme et un bateau, la couleur blanche du bateau et la relation « homme debout sur un bateau », ce qui permettait d’effectuer des recherches portant à la fois sur les relations et sur les catégories d’objets.

Objets, attributs et relations#

Chaque nœud identifie une instance d’objet. Deux chevaux dans une même image reçoivent des identités distinctes, même si leurs étiquettes de catégorie sont identiques. Une boîte englobante localise chaque instance, fournissant un ancrage : un lien entre un objet symbolique et la région de l’image qui lui correspond. Les attributs associent des propriétés telles que la couleur ou le matériau à cette instance. Les relations relient deux instances au moyen d’un prédicat, l’étiquette qui décrit leur lien. Le triplet sujet–prédicat–objet qui en résulte exprime un fait relationnel.

Le jeu de données Visual Genome, développé par Ranjay Krishna et ses collaborateurs, contient 108 077 images avec des annotations visuelles structurées. Les graphes de scène sont des formes de graphes de connaissances propres aux images. Leurs relations sémantiques permettent plusieurs liens entre les objets ainsi que des composantes non connectées ; un graphe de scène d’image n’a donc pas besoin d’un nœud racine.

L’exemple de graphe de scène du pilote Python de Visual Genome comprend « le cheval porte une bride » et « la fenêtre est à côté de la porte ». Ces annotations peuvent être représentées par un graphe orienté avec NetworkX, installé avec pip install networkx :

import networkx as nx

graph = nx.MultiDiGraph()
graph.add_node("horse", label="horse")
graph.add_node("bridle", label="bridle")
graph.add_node("window", label="window")
graph.add_node("door", label="door")

graph.add_edge("horse", "bridle", predicate="is wearing")
graph.add_edge("window", "door", predicate="is next to")

for subject, obj, relation in graph.edges(data=True):
    print(f"{subject} -> {relation['predicate']} -> {obj}")

La sortie expose deux faits relationnels interrogeables, chaque prédicat étant associé à son arête orientée.

Fonctionnement de la génération de graphes de scène#

La génération de graphes de scène, abrégée SGG, prédit cette représentation à partir d’une entrée visuelle. Un pipeline type combine la détection d’objets, l’extraction de caractéristiques et la classification des relations. Les caractéristiques des objets décrivent des régions individuelles ; les caractéristiques par paires décrivent les interactions potentielles. Les modèles contextuels tels que MotifNet s’appuient sur les objets environnants pour aider à prédire les relations. Les réseaux de neurones de graphes peuvent également échanger des informations entre objets connectés et produire des plongements qui encodent le contexte relationnel.

Ultralytics YOLO YOLO26 fournit les instances d’objets de ce pipeline grâce à ses sorties de détection : boîtes, étiquettes de classe et scores de confiance. Un modèle de relations en aval utilise ces instances pour prédire des arêtes telles que « porte » ou « debout sur ».

Applications au raisonnement visuel et à la robotique#

Les relations explicites facilitent les tâches qui nécessitent de comprendre comment les objets s’articulent entre eux :

• Réponses aux questions visuelles : GQA utilise des graphes de scène dérivés de Visual Genome pour générer des questions et des programmes de raisonnement fonctionnel. Le parcours des relations entre objets facilite le raisonnement visuel, notamment l’identification des objets à partir de leurs attributs et de leurs liens.
• Robotique : Kimera crée des graphes de scène dynamiques en 3D à partir de données visuo-inertielles. Sa représentation en couches relie les objets, les personnes, les pièces et les bâtiments, ce qui facilite la cartographie sémantique et la planification hiérarchique de trajectoires. Les coordonnées spatiales et le temps étendent la représentation au-delà d’une seule image.
• Génération d’images : Le système de génération d’images à partir de graphes de scène de Justin Johnson, Agrim Gupta et Li Fei-Fei convertit les graphes en dispositions d’objets, prédit des boîtes et des masques de segmentation, puis génère une image à partir de cette disposition. Le graphe spécifie à la fois le contenu de la scène et les relations.

Évaluation et erreurs relationnelles#

L’évaluation des graphes de scène distingue généralement trois tâches. La classification des prédicats fournit les boîtes et les étiquettes des objets, puis évalue les relations prédites. La classification des graphes de scène fournit les boîtes et exige les étiquettes des objets et des relations. La détection des graphes de scène exige le graphe complet à partir de l’image. Cette distinction permet de déterminer si les erreurs proviennent de la localisation, de la reconnaissance des objets ou de la prédiction des relations.

La fréquence des relations crée un biais de jeu de données : les prédicats fréquents dominent les prédictions tandis que les relations rares et informatives sont ignorées. Recall@K mesure la proportion de relations annotées retrouvées parmi les K prédictions les mieux classées. Mean Recall@K calcule le rappel séparément pour chaque catégorie de prédicat, puis fait la moyenne de ces valeurs, accordant ainsi aux prédicats rares le même poids au niveau de la catégorie qu’aux prédicats fréquents.