Vision Language Model (VLM)
ビジョン言語モデル(VLM)は、画像とテキストを一緒に処理して、キャプションの生成、質問への回答、名前による物体の検索を行います。アーキテクチャと例を紹介します。
視覚言語モデル (VLM)は、画像や、多くの場合は動画とテキストを一緒に処理するニューラルネットワークです。設計によって、画像とキャプションの適合度をスコアリングしたり、画像について文章を書いたり、テキストプロンプトで指定した物体を見つけたりします。VLMは、「バス停で待っている人は何人ですか」といった質問に答え、グラフやレシートを構造化データに変換し、自由形式の言葉で説明された物体を特定します。固定されたクラス一覧から予測するコンピュータービジョンモデルの視覚認識と、大規模言語モデル (LLMs)の自由度の高い言語能力を結び付けます。
ビジョン・言語モデルの仕組み#
すべてのVLMには、画像を埋め込みに変換する視覚エンコーダーが必要です。通常はVision Transformer (ViT)が使われ、さらに、その埋め込みをテキストと関連付ける方法が必要です。一般的な設計は3つあります。
- デュアルエンコーダー: CLIPとSigLIPは、画像とテキストをそれぞれ共通の埋め込み空間にエンコードし、数億から数十億件の画像・キャプションペアを使った対照学習で学習します。テキスト生成ではなく類似度を測定するため、ゼロショット分類や画像検索の標準的なツールです。
- 生成型VLM: 多くの場合CLIPまたはSigLIP由来の事前学習済み視覚エンコーダーが、パッチ埋め込みをLLMの入力空間における「視覚トークン」に変換するプロジェクターに接続されます。LLMはテキストプロンプトとともに視覚トークンを読み取り、回答を生成します。LLaVA-1.5はこの方式です。CLIP ViT-L/14エンコーダーは336×336の画像を24×24のパッチグリッドに分割し、576個の視覚トークンを生成します。DeepMindのFlamingoは異なる方式を採用し、凍結したLLMにクロスアテンションレイヤーを挿入して、テキストトークンが画像特徴に注意を向けるようにしました。
- オープンボキャブラリー検出器: Grounding DINO、YOLO-World、YOLOEなどのモデルは、画像領域とテキスト埋め込みを比較して、名前を指定した任意の物体のボックスやマスクを返します。このタスクはグラウンディングと呼ばれます。生成型VLMの中にも物体をグラウンディングするものがあり、ボックス座標をテキストや特殊な位置トークンとして出力します。
生成型の設計では、LLMは各ステップで視覚トークンとプロンプトに注意を向けながら、回答をトークンごとに生成します。
生成型VLMは通常、複数段階で学習します。まず、エンコーダーとLLMを凍結したまま、画像・キャプションペアを使ってプロジェクターが視覚トークンとLLMの埋め込みを対応付けるよう学習します。次に、視覚指示チューニングで画像に関する会話を使ってモデルをファインチューニングします。RLHFなどの選好チューニングによって、画像に含まれていないものを説明する回答を減らします。
オープンボキャブラリー検出器は、同じテキスト照合をリアルタイム検出に適用します。清華大学の研究者が発表し、YOLO26アーキテクチャに基づくYOLOE-26としてUltralyticsパッケージで利用できるYOLOEは、AppleのMobileCLIP2テキストエンコーダーでクラス名を埋め込みに変換し、画像領域と照合します。学習時にラベル付けされていなかったカテゴリについても、ボックスとインスタンスマスクを返します。以下のプロンプトにはサングラスが含まれています。サングラスは、クローズドセットのYOLOモデルが検出する80個のCOCOクラスには含まれません。
from ultralytics import YOLOE
# オープンボキャブラリー対応のYOLOE-26検出・セグメンテーションモデルを読み込みます
model = YOLOE("yoloe-26s-seg.pt")
# クラスを平易な言葉で指定すると、テキストエンコーダーがそれぞれを埋め込みに変換します
model.set_classes(["person", "glasses", "bus"])
# プロンプトで指定したクラスだけを検出・セグメント化します
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")出力リストにはバス、4人の人物、そのうち2人が着用している眼鏡が含まれています。また、再学習しなくても、単語のリストを変えるだけでモデルが検出する対象を変更できます。
実際のアプリケーション#
- 視覚質問応答: 検査、小売、サポート向けのツールでは、棚が十分に補充されているか、ダッシュボード画像のどの警告灯が点灯しているかなど、写真についてVLMに質問します。
- ドキュメント理解: VLMは請求書、フォーム、表、グラフをページ画像から直接読み取り、構造化フィールドを返します。多くの場合、独立したOCR工程を置き換えます。
- 画像キャプション生成とアクセシビリティ: 生成された説明は、スクリーンリーダー向けの代替テキストや、写真ライブラリ向けの検索可能なメタデータとして利用できます。
- ロボティクス: Google DeepMindのRT-2などの視覚・言語・行動モデルは、VLMを拡張してロボットの動作を出力するため、ロボットは「空き缶を拾って」といった指示に従えます。
- データラベリング: オープンボキャブラリー検出器は、テキストプロンプトから新しいクラスのボックスやマスクの下書きを作成し、注釈担当者が白紙の画像から始めるのではなく、それを出発点として作業できます。Ultralytics Platformは、このような検出器や生成VLMを使って検出データセットを自動アノテーションし、そのラベルでYOLO26モデルを学習します。
VLMと関連用語#
- LLM: テキストのみを扱うモデルです。生成型VLMの多くは、視覚エンコーダーを接続したLLMであり、LLMの推論能力、知識、そして事実を作り出す傾向を引き継ぎます。
- マルチモーダルAI: 複数のデータ種別を組み合わせるモデルのより広いカテゴリーです。音声とテキスト、またはレーダーとカメラ画像を組み合わせるモデルは、VLMでなくてもマルチモーダルです。
- 物体検出: クローズドセット検出器は、学習時に使用したクラスのみを予測し、テキスト入力を受け付けません。推論時にクラス名が指定される場合は、オープンボキャブラリー検出器であるVLMがこのタスクを引き継ぎます。VLM Leaderboardでは、オープンボキャブラリー検出器と生成VLMが実世界のデータセットでどれほど正確に物体を検出するかを比較します。
制限事項#
VLMはハルシネーションを起こします。言語モデルがもっともらしい文を補完するため、何も置かれていないテーブルにフォークがあるとキャプションが記述することがあります。細かな空間推論、大人数の計数、小さな文字の読み取りも弱点です。また、画像1枚あたり数百から数千トークンがLLMのコンテキストウィンドウを消費します。POPEベンチマークは、「画像に車はありますか」のような質問をモデルに行い、物体のハルシネーションを測定します。存在しない物体は、ランダムに、データセットで頻出する物体から、または画像にある物体と一緒に現れることの多い物体から選びます。










