Visual Instruction Tuning

ビジュアル・インストラクション・チューニングは、従来の自然言語処理手法をマルチモーダル領域へと拡張する革新的な機械学習手法です。Vision Language Model (VLM)を訓練し、画像や動画の入力に基づいて人間からの明示的な指示に従わせることで、開発者は視覚コンテンツを理解・推論するAIアシスタントを作成できます。あらかじめ定義されたカテゴリを出力する標準的なimage classificationモデルとは異なり、ビジュアル・インストラクション・チューニングは、シーンの説明、画像内のテキストの読み取り、空間的関係に関する特定の質問への回答といった、複雑で自由形式のタスクをモデルが実行できるようにします。これにより、テキストベースのlarge language models (LLMs)と、従来のcomputer visionパイプラインの橋渡しが行われます。

Link to this section概念と区別の理解#

ビジュアル・インストラクション・チューニングを理解するためには、AIエコシステムにおける密接に関連する概念と区別することが有益です。

• Instruction Tuning: 通常、テキストのみのLLMが人間の意図を安全かつ正確に実行するように調整することを指します。ビジュアル・インストラクション・チューニングは、この同じ手法を適用しつつ、プロンプトと期待される出力に画像を取り入れます。
• Visual Prompting: 通常、バウンディングボックスの描画、点の配置、画像上の領域のマスク処理など、視覚的な手がかりを使用してAIと対話し、モデルの焦点を誘導することに関わります。対照的に、ビジュアル・インストラクション・チューニングは、視覚データと組み合わせた自然言語コマンドに大きく依存します。

トレーニングプロセスでは、一般的に「画像・テキスト・指示」の3つ組形式で構成された大規模なデータセットを使用して、事前学習済みのマルチモーダル基盤モデルをファインチューニングします。arXivのビジュアルインストラクションチューニングに関する先駆的な研究であるLLaVA (Large Language-and-Vision Assistant)プロジェクトなどは、これらのモデルが驚異的なゼロショット性能を実現できることを証明しました。今日では、主要なAI組織がこの手法を採用し、OpenAI GPT-4o、Anthropic Claude 3.5 Sonnet、Google DeepMind Geminiをはじめとする高度なモデルの動力源として活用しています。

Link to this section実社会での応用#

multimodal deep learningアーキテクチャを人間の意図と一致させることで、ビジュアル・インストラクション・チューニングはさまざまな業界において高度にインタラクティブなアプリケーションを実現します。

• ヘルスケア診断におけるAI: 医療専門家は、インストラクションチューニング済みのモデルをVisual Question Answering (VQA)に利用できます。放射線科医がレントゲン画像とともに「左下葉の肺炎の兆候を強調し、説明してください」といった指示をシステムに入力することで、AIが共同診断アシスタントとして機能します。
• 製造品質管理におけるAI: オペレーターは、欠陥検出モデルをゼロから厳密に学習させる代わりに、Microsoft Florence-2のようなビジョンシステムに対して「新しく製造されたこの金属筐体にある微細な傷やへこみを特定してください」と指示を出すだけで対応できます。

Link to this sectionビジョン・ワークフローの構築#

これらの機能を活用するシステムを構築するために、開発者は多くの場合、堅牢なobject detectionモデルを利用して画像から構造的なコンテキストを抽出し、そのデータをVLMに渡します。PyTorch multi-modal documentationやTensorFlow vision modelsを使用して、開発者はハイブリッドパイプラインを作成できます。

例えば、Ultralytics YOLOモデルを使用してシーンを素早く認識し、ダウンストリームのVLM向けに情報を含んだ言語プロンプトを生成することができます。

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

次世代アプリケーションに必要な複雑なマルチモーダル・データセットの管理は困難な場合があります。Ultralytics Platformは、データセットのアノテーション、クラウドでの訓練、シームレスなモデルデプロイメントのためのエンドツーエンドのツールを提供することで、このプロセスを簡素化します。ACM digital libraryやIEEE Xplore computer visionアーカイブで最先端の論文を読んでいるかどうかにかかわらず、インストラクション・チューニングされた高性能な視覚システムへの移行は、人工知能の最先端を表しています。YOLO26による認識とチューニング済みの推論モデルを組み合わせることで、組織は非常に堅牢なAIエージェントをデプロイできます。