Vision Language Model (VLM)

Vision Language Model (VLM) は、視覚情報（画像または動画）とテキスト情報の両方を同時に処理および解釈できる人工知能の一種です。ピクセルデータのみに注目する従来の computer vision モデルや、テキストのみを理解する Large Language Models (LLMs) とは異なり、VLMはこれら2つのモダリティのギャップを埋める存在です。画像とテキストのペアを含む大規模なデータセットで学習を行うことで、これらのモデルは視覚的特徴と言語的概念を結びつける方法を学習します。これにより、画像の記述、視覚的シーンに関する質問への回答、さらには「見えているもの」に基づいたコマンドの実行が可能になります。

Link to this sectionVision Language Modelの仕組み#

VLMは基本的に、ビジョンエンコーダーとテキストエンコーダーという2つの主要なコンポーネントで構成されています。ビジョンエンコーダーは画像を処理して feature maps と視覚的表現を抽出する一方、テキストエンコーダーは言語入力を処理します。これらの個別のデータストリームは、cross-attention のようなメカニズムを使用して統合され、共通の埋め込み空間内で視覚情報とテキスト情報を調整します。

2024年から2025年にかけての最近の進歩により、単一のTransformerバックボーンが両方のモダリティを処理する、より統一されたアーキテクチャへと移行しています。例えば、Google PaliGemma 2 などのモデルは、これらのストリームを効果的に統合することで、複雑な推論タスクのパフォーマンスをどのように向上できるかを示しています。この調整により、モデルはコンテキストを理解できるようになります。例えば、画像内の「apple」という言葉が、食料品店にある画像では果物を指し、ロゴではテック企業を指しているといった違いを認識できます。

Link to this section実社会での応用#

視覚と言語の両方を通じて世界を理解する能力は、さまざまな業界で多様な応用を可能にします。

• Visual Question Answering (VQA): VLMは医療診断において、放射線科医を支援するために広く活用されています。医師が「このX線写真に骨折はありますか？」とシステムに問いかけると、モデルが医療画像を分析して予備的な評価を提供し、診断エラーの削減に貢献します。
• スマートEコマース検索: 小売環境において、VLMはユーザーが自然言語の説明と画像を組み合わせて商品を検索することを可能にします。買い物客が著名人の服装の写真をアップロードして「この柄と同じドレスで、色は青いものを探して」と尋ねると、システムはセマンティック検索を使用して正確な一致商品を検索します。
• 自動キャプション生成とアクセシビリティ: VLMは、Web上の画像に対して自動的に記述的な alt text を生成し、スクリーンリーダーを使用する視覚障がい者にとってデジタルコンテンツをよりアクセスしやすいものにします。

Link to this sectionVLMと関連概念の違い#

VLMの特定の役割を理解するために、他のAIカテゴリーと区別することが役立ちます。

• VLM vs. LLM: Large Language Model (GPT-4のテキスト専用バージョンなど) は、テキストデータのみを処理します。創造的な物語やコードを生成することはできますが、画像を「見る」ことはできません。VLMは、LLMに実質的な視覚能力を与えるものです。
• VLM vs. Object Detection: 初期のYOLOバージョンなどの従来の object detection モデルは、オブジェクトが「どこにある」か、どの「クラス」に属するか（例：「車：99%」）を特定します。VLMはさらに進んで、「消火栓の隣に駐車された赤いスポーツカー」といった関係性や属性を理解します。
• VLM vs. Multimodal AI: Multimodal AI は、より広範な包括的用語です。すべてのVLMはマルチモーダル（視覚と言語を組み合わせる）ですが、すべてのマルチモーダルモデルがVLMというわけではありません。言語コンポーネントを使用せずに音声とテキスト（音声認識など）や動画とセンサーデータを組み合わせるモデルもあります。

Link to this sectionYOLOを用いたオープンボキャブラリー検出#

最新のVLMは「オープンボキャブラリー」検出を実現しており、事前に定義されたクラスではなく、自由形式のテキストプロンプトを使用してオブジェクトを検出できます。これは Ultralytics YOLO-World などのモデルの主要な機能であり、再学習なしで動的なクラス定義を可能にします。

以下の例は、ultralytics パッケージを使用してテキストで記述された特定のオブジェクトを検出する方法を示しています。

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this section課題と今後の方向性#

強力である一方で、Vision Language Modelには重大な課題が存在します。大きな問題の一つが hallucination であり、モデルが画像内に存在しないオブジェクトやテキストを自信を持って記述してしまう現象です。研究者は、グラウンディングと精度を向上させるために、Reinforcement Learning from Human Feedback (RLHF) などの技術に積極的に取り組んでいます。

もう一つの課題は計算コストです。これらの巨大なモデルをトレーニングするには、膨大なGPUリソースが必要です。しかし、Ultralytics YOLO26のような効率的なアーキテクチャの登場により、高度な視覚機能がエッジデバイスにもたらされつつあります。今後、VLMはロボットエージェントにおいて重要な役割を果たすようになり、ロボットが複雑な口頭指示に基づいて移動したり物体を操作したりできるようになると期待されています。

理論的基礎に興味がある方には、OpenAIによるオリジナルの CLIP paper by OpenAI が、対照言語画像事前学習（contrastive language-image pre-training）についての優れた洞察を提供しています。さらに、これらのアーキテクチャの急速な進化を追跡するには、CVPR conference papers を確認することが不可欠です。独自の視覚モデルの学習を試すには、データセット管理とモデルデプロイメントを効率化できる Ultralytics Platform をご利用いただけます。