Visual Question Answering (VQA)
視覚的質問応答(VQA)は、画像に関する自然言語の質問に答えるタスクです。VQAモデルの仕組み、主要なベンチマーク、評価方法について解説します。
視覚的質問応答(VQA)は、「バスは何色ですか?」「何人が待っていますか?」「コンロはついていますか?」など、画像に関する自然言語の質問に答えるタスクです。システムは画像と質問を同時に受け取り、短い回答を返します。そのため、質問を読み取り、画像の関連部分を見つけて、それらを組み合わせる必要があり、VQAはマルチモーダルAIの標準的な評価タスクとなっています。Virginia TechとMicrosoft ResearchのStanislaw Antolらは、2015年のICCVでこのタスクと初の大規模ベンチマークであるVQAデータセットを発表しました。データセットは約25万枚の画像(大半はCOCO)、76万件の自由回答形式の質問、および各質問に対する人間の回答10件で構成され、回答数は合計でおよそ1,000万件です。
VQAモデルの仕組み#
VQAモデルは、畳み込みニューラルネットワーク(CNN)またはビジョントランスフォーマー(ViT)で画像をエンコードし、言語モデルで質問をエンコードして、両者を融合します。初期のモデルは、画像全体の特徴とLSTMの質問ベクトルを融合し、数千件の頻出回答から選ぶ分類問題として回答を扱っていました。その後、アテンション機構によって、質問に応じて注目箇所を選べるようになりました。2017年のVQA Challengeで優勝したPeter Andersonらのボトムアップ・トップダウンモデルは、物体検出モデルが提案した領域に注目するため、「バスは何色ですか?」という質問ではバスのボックスに焦点を当てられます。現在のビジョン言語モデル(VLM)は、画像・質問・回答のデータで視覚指示チューニングを行った後、言語モデルで自由形式の回答を生成します。
ベンチマークと言語事前知識の問題#
初期のVQAモデルは、画像を無視することで高いスコアを得ている場合がありました。「Is there a...」で始まる質問には「yes」、「What sport is...」で始まる質問には「tennis」と答えることが多いように、質問の表現だけから回答を推測できる場合が多いためです。Yash Goyalらが2017年のCVPRで発表したVQA v2は、各質問に対し、異なる回答が当てはまる類似画像を2枚ずつ組み合わせることで、こうした言語上の偏りに対処しました。そのため、高いスコアを得るにはモデルが画像を見る必要があります。その後のデータセットは、それぞれ異なる能力を対象としています。
- VizWiz:視覚障害者がスマートフォンで撮影した写真について尋ねた3万1,000件以上の質問を収録しています。写真の多くはぼやけていたり、構図が適切でなかったりします。
- TextVQA:ジャージの番号や店舗の看板の名前など、シーン内の文字を読み取る必要がある質問です。
- GQA:シーングラフから生成された合成的な質問です。たとえば、「皿の左にあるカップはガラス製ですか?」のような質問が含まれます。
- OK-VQA:料理の発祥国など、外部知識が必要な質問です。
- VQA-RAD:米国国立医学図書館で作成された、315枚の放射線画像に関する臨床医執筆の質問3,515件です。
人によって正解の表現が異なるため、VQAベンチマークでは、人間のアノテーター10人のうち何人がその回答をしたかでスコアを算出します。一致が3人以上なら完全な正解として扱い、アノテーター9人からなるすべての部分集合で平均します。
# Ten crowd answers to "What color is the bus?", as collected for every VQA question
human_answers = ["red"] * 7 + ["red and white"] * 2 + ["orange"]
def vqa_accuracy(prediction, answers):
"""Average min(matches / 3, 1) over the ten leave-one-out subsets of nine answers."""
scores = []
for i in range(len(answers)):
others = answers[:i] + answers[i + 1 :]
scores.append(min(others.count(prediction) / 3, 1))
return sum(scores) / len(scores)
for prediction in ["red", "red and white", "orange", "blue"]:
print(f"{prediction}: {vqa_accuracy(prediction, human_answers):.2f}")「red」には1.00、「red and white」には0.60、「orange」には0.30、「blue」には0.00が出力されます。注釈者の1人だけが回答した場合も部分点が得られ、誰も回答しなかった場合は点が得られません。結果は、はい/いいえ、数値、その他の回答タイプ別に報告されます。数値の質問は、すべてのインスタンスを漏れなく1回ずつ検出する必要があるため、常に最も低いスコアになります。検出器は数を直接答えられます。YOLO26は物体ごとに1つのボックスを返すため、予測結果に含まれる「person」ボックスの数が、COCOの80クラスのいずれかについて「写真には何人いますか?」という質問への回答になります。その一覧にないクラスについても視覚言語モデルはボックスを返せます。VLM Leaderboardでは、実世界のデータセットで物体をどれほど正確に検出するかを測定します。
VQAと関連タスク#
画像キャプション生成は質問されることなく画像全体を説明し、VQAは特定の質問に回答します。視覚的グラウンディングは、語句が指す物体の位置を、通常はバウンディングボックスで返します。VQAはその物体に関する質問に回答します。光学文字認識(OCR)はTextVQA形式の質問が対象とするテキストを抽出し、視覚的推論はGQAの合成的な質問に必要な複数ステップの推論です。テキストのみの質問応答は、ピクセルではなく文章をもとに処理します。
用途#
最も明確な用途は支援技術です。Be My Eyesは2023年、OpenAIのGPT-4をベースとするBe My AIを追加し、視覚障害者や弱視のユーザーがラベル、画面、街路を撮影して質問できるようにしました。小売業や製造業のチームは、質問ごとに分類器をトレーニングする代わりに、棚の写真や検査画像についてVLMに質問します。医療分野の医用VQA研究では、X線画像やCTスキャンについて「骨折はありますか?」などの質問に取り組みます。これは医用画像解析の一形態であり、VQA-RADでは、臨床医が画像を見ながら作成した質問を使って評価します。










