Scene Graph

シーングラフは、視覚シーンを構造化して表現したもので、ノードは物体を表し、属性はその特性を記述し、ラベル付きエッジは物体間の関係を記述します。画像を、どの物体が写っているか、物体がどのような特徴を持つか、どのように相互作用するかを示す、相互につながった事実へと変換します。コンピュータビジョンでは、この構造により、個々の物体を認識するだけでなく、シーンについて推論できます。

Justin Johnson、Ranjay Krishnaらは、2015年に発表したシーングラフを用いた画像検索に関する研究で、現代的な画像に基づく定式化を導入しました。この表現には、男性やボートなどの物体、ボートの白い色、「男性がボートの上に立っている」という関係が含まれ、物体カテゴリだけでなく関係も指定した検索が可能になりました。

物体、属性、関係#

各ノードは物体インスタンスを識別します。同じ画像に写る2頭の馬は、カテゴリラベルが同じでも、それぞれ別のIDを持ちます。バウンディングボックスは各インスタンスの位置を示し、シンボルで表された物体と画像領域を結び付けるグラウンディングを提供します。属性は、色や素材などの特性をそのインスタンスに付与します。関係は、2つのインスタンスを述語で結び付けます。述語は、それらのつながりを表すラベルです。こうして得られる主語・述語・目的語の三つ組は、1つの関係性に関する事実を表します。

Ranjay Krishnaらが開発したVisual Genomeデータセットには、構造化された視覚アノテーションが付与された画像が108,077枚含まれています。シーングラフは、ナレッジグラフを画像ごとに表現したものです。意味的な関係により、物体間に複数のつながりや、互いにつながっていない要素を含められるため、画像のシーングラフに必須のルートノードはありません。

Visual Genome Pythonドライバーのシーングラフの例には、「馬が手綱を着けている」や「窓がドアの隣にある」などが含まれています。これらのアノテーションは、pip install networkxをインストールしてNetworkXを使うと、有向グラフで表現できます。

import networkx as nx

graph = nx.MultiDiGraph()
graph.add_node("horse", label="horse")
graph.add_node("bridle", label="bridle")
graph.add_node("window", label="window")
graph.add_node("door", label="door")

graph.add_edge("horse", "bridle", predicate="is wearing")
graph.add_edge("window", "door", predicate="is next to")

for subject, obj, relation in graph.edges(data=True):
    print(f"{subject} -> {relation['predicate']} -> {obj}")

出力からは、クエリ可能な2つの関係性に関する事実が確認でき、それぞれの述語が有向エッジに付与されています。

シーングラフ生成の仕組み#

シーングラフ生成（SGG）は、視覚入力からこの表現を予測します。一般的なパイプラインでは、物体検出、特徴抽出、関係分類を組み合わせます。物体特徴は個々の領域を記述し、ペアワイズ特徴は相互作用の候補を記述します。MotifNetなどのコンテキストモデルは、周辺の物体を利用して関係の予測を支援します。グラフニューラルネットワークも、つながった物体間で情報をやり取りし、関係のコンテキストを符号化した埋め込みを生成できます。

Ultralytics YOLOのYOLO26は、検出出力であるボックス、クラスラベル、信頼度スコアを通じて、このパイプラインに物体インスタンスを提供します。後段の関係モデルはそれらのインスタンスを使って、「身に着けている」や「上に立っている」などのエッジを予測します。

視覚的推論とロボティクスへの応用#

明示的な関係表現は、物体同士の結び付き方を理解する必要があるタスクを支援します。

• 視覚的質問応答：GQAは、Visual Genomeから作成されたシーングラフを使って、質問と機能的推論プログラムを生成します。物体間の関係をたどることで、属性やつながりから物体を特定するなどの視覚的推論が可能になります。
• ロボティクス：Kimeraは、視覚・慣性入力から3Dの動的シーングラフを構築します。階層化された表現は、物体、人、部屋、建物を結び付け、セマンティックマッピングや階層的な経路計画を支援します。空間座標と時間を加えることで、表現を単一の画像の範囲を超えて拡張できます。
• 画像生成：Justin Johnson、Agrim Gupta、Li Fei-Feiによるシーングラフからの画像生成システムは、グラフを物体配置に変換し、ボックスとセグメンテーションマスクを予測して、その配置から画像を生成します。グラフは、シーンの内容と物体間の関係の両方を指定します。

評価と関係予測の誤り#

シーングラフの評価では、一般に3つのタスクを区別します。述語分類では、物体のボックスとラベルが与えられ、予測された関係を評価します。シーングラフ分類では、ボックスが与えられ、物体と関係のラベルを予測します。シーングラフ検出では、画像から完全なグラフを予測する必要があります。この区分により、誤りが位置特定、物体認識、関係予測のいずれに起因するかを特定できます。

関係の出現頻度はデータセットバイアスを生みます。頻出する述語が予測を支配する一方で、頻度は低くても有益な関係が見落とされます。Recall@Kは、スコア上位K件の予測のうち、アノテーション済みの関係を再現できた割合を測定します。Mean Recall@Kは、カテゴリごとに再現率を算出して平均するため、頻出カテゴリと同じカテゴリ単位の重みが、頻度の低い述語にも与えられます。