YOLOのライセンス
Ultralytics用語集に戻る

Visual Question Answering (VQA)

視覚的質問応答(VQA)は、画像に関する自然言語の質問に答えるタスクです。VQAモデルの仕組み、主要なベンチマーク、評価方法について解説します。

視覚的質問応答(VQA)は、「バスは何色ですか?」「何人が待っていますか?」「コンロはついていますか?」など、画像に関する自然言語の質問に答えるタスクです。システムは画像と質問を同時に受け取り、短い回答を返します。そのため、質問を読み取り、画像の関連部分を見つけて、それらを組み合わせる必要があり、VQAはマルチモーダルAIの標準的な評価タスクとなっています。Virginia TechとMicrosoft ResearchのStanislaw Antolらは、2015年のICCVでこのタスクと初の大規模ベンチマークであるVQAデータセットを発表しました。データセットは約25万枚の画像(大半はCOCO)、76万件の自由回答形式の質問、および各質問に対する人間の回答10件で構成され、回答数は合計でおよそ1,000万件です。

VQAモデルの仕組み#

VQAモデルは、畳み込みニューラルネットワーク(CNN)またはビジョントランスフォーマー(ViT)で画像をエンコードし、言語モデルで質問をエンコードして、両者を融合します。初期のモデルは、画像全体の特徴とLSTMの質問ベクトルを融合し、数千件の頻出回答から選ぶ分類問題として回答を扱っていました。その後、アテンション機構によって、質問に応じて注目箇所を選べるようになりました。2017年のVQA Challengeで優勝したPeter Andersonらのボトムアップ・トップダウンモデルは、物体検出モデルが提案した領域に注目するため、「バスは何色ですか?」という質問ではバスのボックスに焦点を当てられます。現在のビジョン言語モデル(VLM)は、画像・質問・回答のデータで視覚指示チューニングを行った後、言語モデルで自由形式の回答を生成します。

ベンチマークと言語事前知識の問題#

初期のVQAモデルは、画像を無視することで高いスコアを得ている場合がありました。「Is there a...」で始まる質問には「yes」、「What sport is...」で始まる質問には「tennis」と答えることが多いように、質問の表現だけから回答を推測できる場合が多いためです。Yash Goyalらが2017年のCVPRで発表したVQA v2は、各質問に対し、異なる回答が当てはまる類似画像を2枚ずつ組み合わせることで、こうした言語上の偏りに対処しました。そのため、高いスコアを得るにはモデルが画像を見る必要があります。その後のデータセットは、それぞれ異なる能力を対象としています。

  • VizWiz:視覚障害者がスマートフォンで撮影した写真について尋ねた3万1,000件以上の質問を収録しています。写真の多くはぼやけていたり、構図が適切でなかったりします。
  • TextVQA:ジャージの番号や店舗の看板の名前など、シーン内の文字を読み取る必要がある質問です。
  • GQA:シーングラフから生成された合成的な質問です。たとえば、「皿の左にあるカップはガラス製ですか?」のような質問が含まれます。
  • OK-VQA:料理の発祥国など、外部知識が必要な質問です。
  • VQA-RAD:米国国立医学図書館で作成された、315枚の放射線画像に関する臨床医執筆の質問3,515件です。

人によって正解の表現が異なるため、VQAベンチマークでは、人間のアノテーター10人のうち何人がその回答をしたかでスコアを算出します。一致が3人以上なら完全な正解として扱い、アノテーター9人からなるすべての部分集合で平均します。

# Ten crowd answers to "What color is the bus?", as collected for every VQA question
human_answers = ["red"] * 7 + ["red and white"] * 2 + ["orange"]


def vqa_accuracy(prediction, answers):
    """Average min(matches / 3, 1) over the ten leave-one-out subsets of nine answers."""
    scores = []
    for i in range(len(answers)):
        others = answers[:i] + answers[i + 1 :]
        scores.append(min(others.count(prediction) / 3, 1))
    return sum(scores) / len(scores)


for prediction in ["red", "red and white", "orange", "blue"]:
    print(f"{prediction}: {vqa_accuracy(prediction, human_answers):.2f}")

「red」には1.00、「red and white」には0.60、「orange」には0.30、「blue」には0.00が出力されます。注釈者の1人だけが回答した場合も部分点が得られ、誰も回答しなかった場合は点が得られません。結果は、はい/いいえ、数値、その他の回答タイプ別に報告されます。数値の質問は、すべてのインスタンスを漏れなく1回ずつ検出する必要があるため、常に最も低いスコアになります。検出器は数を直接答えられます。YOLO26は物体ごとに1つのボックスを返すため、予測結果に含まれる「person」ボックスの数が、COCOの80クラスのいずれかについて「写真には何人いますか?」という質問への回答になります。その一覧にないクラスについても視覚言語モデルはボックスを返せます。VLM Leaderboardでは、実世界のデータセットで物体をどれほど正確に検出するかを測定します。

画像キャプション生成は質問されることなく画像全体を説明し、VQAは特定の質問に回答します。視覚的グラウンディングは、語句が指す物体の位置を、通常はバウンディングボックスで返します。VQAはその物体に関する質問に回答します。光学文字認識(OCR)はTextVQA形式の質問が対象とするテキストを抽出し、視覚的推論はGQAの合成的な質問に必要な複数ステップの推論です。テキストのみの質問応答は、ピクセルではなく文章をもとに処理します。

用途#

最も明確な用途は支援技術です。Be My Eyesは2023年、OpenAIのGPT-4をベースとするBe My AIを追加し、視覚障害者や弱視のユーザーがラベル、画面、街路を撮影して質問できるようにしました。小売業や製造業のチームは、質問ごとに分類器をトレーニングする代わりに、棚の写真や検査画像についてVLMに質問します。医療分野の医用VQA研究では、X線画像やCTスキャンについて「骨折はありますか?」などの質問に取り組みます。これは医用画像解析の一形態であり、VQA-RADでは、臨床医が画像を見ながら作成した質問を使って評価します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう