YOLOのライセンス
Ultralytics用語集に戻る

Vision Language Model (VLM)

ビジョン言語モデル(VLM)は、画像とテキストを一緒に処理して、キャプションの生成、質問への回答、名前による物体の検索を行います。アーキテクチャと例を紹介します。

視覚言語モデル (VLM)は、画像や、多くの場合は動画とテキストを一緒に処理するニューラルネットワークです。設計によって、画像とキャプションの適合度をスコアリングしたり、画像について文章を書いたり、テキストプロンプトで指定した物体を見つけたりします。VLMは、「バス停で待っている人は何人ですか」といった質問に答え、グラフやレシートを構造化データに変換し、自由形式の言葉で説明された物体を特定します。固定されたクラス一覧から予測するコンピュータービジョンモデルの視覚認識と、大規模言語モデル (LLMs)の自由度の高い言語能力を結び付けます。

ビジョン・言語モデルの仕組み#

すべてのVLMには、画像を埋め込みに変換する視覚エンコーダーが必要です。通常はVision Transformer (ViT)が使われ、さらに、その埋め込みをテキストと関連付ける方法が必要です。一般的な設計は3つあります。

  • デュアルエンコーダー: CLIPとSigLIPは、画像とテキストをそれぞれ共通の埋め込み空間にエンコードし、数億から数十億件の画像・キャプションペアを使った対照学習で学習します。テキスト生成ではなく類似度を測定するため、ゼロショット分類や画像検索の標準的なツールです。
  • 生成型VLM: 多くの場合CLIPまたはSigLIP由来の事前学習済み視覚エンコーダーが、パッチ埋め込みをLLMの入力空間における「視覚トークン」に変換するプロジェクターに接続されます。LLMはテキストプロンプトとともに視覚トークンを読み取り、回答を生成します。LLaVA-1.5はこの方式です。CLIP ViT-L/14エンコーダーは336×336の画像を24×24のパッチグリッドに分割し、576個の視覚トークンを生成します。DeepMindのFlamingoは異なる方式を採用し、凍結したLLMにクロスアテンションレイヤーを挿入して、テキストトークンが画像特徴に注意を向けるようにしました。
  • オープンボキャブラリー検出器: Grounding DINO、YOLO-World、YOLOEなどのモデルは、画像領域とテキスト埋め込みを比較して、名前を指定した任意の物体のボックスやマスクを返します。このタスクはグラウンディングと呼ばれます。生成型VLMの中にも物体をグラウンディングするものがあり、ボックス座標をテキストや特殊な位置トークンとして出力します。

生成型の設計では、LLMは各ステップで視覚トークンとプロンプトに注意を向けながら、回答をトークンごとに生成します。

生成型VLMは通常、複数段階で学習します。まず、エンコーダーとLLMを凍結したまま、画像・キャプションペアを使ってプロジェクターが視覚トークンとLLMの埋め込みを対応付けるよう学習します。次に、視覚指示チューニングで画像に関する会話を使ってモデルをファインチューニングします。RLHFなどの選好チューニングによって、画像に含まれていないものを説明する回答を減らします。

オープンボキャブラリー検出器は、同じテキスト照合をリアルタイム検出に適用します。清華大学の研究者が発表し、YOLO26アーキテクチャに基づくYOLOE-26としてUltralyticsパッケージで利用できるYOLOEは、AppleのMobileCLIP2テキストエンコーダーでクラス名を埋め込みに変換し、画像領域と照合します。学習時にラベル付けされていなかったカテゴリについても、ボックスとインスタンスマスクを返します。以下のプロンプトにはサングラスが含まれています。サングラスは、クローズドセットのYOLOモデルが検出する80個のCOCOクラスには含まれません。

from ultralytics import YOLOE

# オープンボキャブラリー対応のYOLOE-26検出・セグメンテーションモデルを読み込みます
model = YOLOE("yoloe-26s-seg.pt")

# クラスを平易な言葉で指定すると、テキストエンコーダーがそれぞれを埋め込みに変換します
model.set_classes(["person", "glasses", "bus"])

# プロンプトで指定したクラスだけを検出・セグメント化します
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

出力リストにはバス、4人の人物、そのうち2人が着用している眼鏡が含まれています。また、再学習しなくても、単語のリストを変えるだけでモデルが検出する対象を変更できます。

実際のアプリケーション#

  • 視覚質問応答: 検査、小売、サポート向けのツールでは、棚が十分に補充されているか、ダッシュボード画像のどの警告灯が点灯しているかなど、写真についてVLMに質問します。
  • ドキュメント理解: VLMは請求書、フォーム、表、グラフをページ画像から直接読み取り、構造化フィールドを返します。多くの場合、独立したOCR工程を置き換えます。
  • 画像キャプション生成とアクセシビリティ: 生成された説明は、スクリーンリーダー向けの代替テキストや、写真ライブラリ向けの検索可能なメタデータとして利用できます。
  • ロボティクス: Google DeepMindのRT-2などの視覚・言語・行動モデルは、VLMを拡張してロボットの動作を出力するため、ロボットは「空き缶を拾って」といった指示に従えます。
  • データラベリング: オープンボキャブラリー検出器は、テキストプロンプトから新しいクラスのボックスやマスクの下書きを作成し、注釈担当者が白紙の画像から始めるのではなく、それを出発点として作業できます。Ultralytics Platformは、このような検出器や生成VLMを使って検出データセットを自動アノテーションし、そのラベルでYOLO26モデルを学習します。
  • LLM: テキストのみを扱うモデルです。生成型VLMの多くは、視覚エンコーダーを接続したLLMであり、LLMの推論能力、知識、そして事実を作り出す傾向を引き継ぎます。
  • マルチモーダルAI: 複数のデータ種別を組み合わせるモデルのより広いカテゴリーです。音声とテキスト、またはレーダーとカメラ画像を組み合わせるモデルは、VLMでなくてもマルチモーダルです。
  • 物体検出: クローズドセット検出器は、学習時に使用したクラスのみを予測し、テキスト入力を受け付けません。推論時にクラス名が指定される場合は、オープンボキャブラリー検出器であるVLMがこのタスクを引き継ぎます。VLM Leaderboardでは、オープンボキャブラリー検出器と生成VLMが実世界のデータセットでどれほど正確に物体を検出するかを比較します。

制限事項#

VLMはハルシネーションを起こします。言語モデルがもっともらしい文を補完するため、何も置かれていないテーブルにフォークがあるとキャプションが記述することがあります。細かな空間推論、大人数の計数、小さな文字の読み取りも弱点です。また、画像1枚あたり数百から数千トークンがLLMのコンテキストウィンドウを消費します。POPEベンチマークは、「画像に車はありますか」のような質問をモデルに行い、物体のハルシネーションを測定します。存在しない物体は、ランダムに、データセットで頻出する物体から、または画像にある物体と一緒に現れることの多い物体から選びます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう