Visual Instruction Tuning

Visual instruction tuningは、従来の自然言語処理の手法をマルチモーダル領域に拡張する、革新的な機械学習のテクニックです。画像や動画の入力を基に、明示的な人間の指示に従うVision Language Model (VLM)をトレーニングすることで、開発者は視覚的コンテンツを理解して推論するAIアシスタントを作成できます。あらかじめ定義されたカテゴリを出力する標準的なimage classificationモデルとは異なり、Visual instruction tuningにより、シーンの記述、画像内のテキストの読み取り、空間関係に関する具体的な質問への回答といった、複雑でオープンエンドなタスクを実行できるようになります。これにより、テキストベースのlarge language models (LLMs)と従来のcomputer visionパイプラインの間のギャップが埋められます。

概念と区別の理解#

ビジュアル・インストラクション・チューニングを理解するためには、AIエコシステムにおける密接に関連する概念と区別することが有益です。

• Instruction Tuning: 通常は、テキストのみのLLMを調整して、人間の意図に安全かつ正確に従うようにすることを指します。Visual instruction tuningはこれと同じ方法論を適用しますが、プロンプトと期待される出力に画像を取り込みます。
• Visual Prompting: 通常、モデルのフォーカスを誘導するために、画像上でバウンディングボックスを描画したり、ポイントを配置したり、領域をマスクしたりといった視覚的な手がかりを使用してAIと対話することを伴います。対照的に、Visual instruction tuningは、視覚データとペアになった自然言語のコマンドに大きく依存します。

トレーニングプロセスには一般的に、画像・テキスト・指示のトリプレットとしてフォーマットされた大規模なデータセットを使用して、事前トレーニング済みのマルチモーダル基盤モデルをfine-tuningすることが含まれます。LLaVA (Large Language-and-Vision Assistant)プロジェクトなどの、Visual instruction tuningに関する先駆的なarXiv research on visual instruction tuningは、これらのモデルが優れたゼロショット性能を達成できることを実証しました。現在、主要なAI組織はこのテクニックを採用して、OpenAI GPT-4o、Anthropic Claude 3.5 Sonnet、Google DeepMind Geminiなどの高度なモデルを支えています。

実社会での応用#

multimodal deep learningのアーキテクチャを人間の意図に合わせることで、Visual instruction tuningはさまざまな産業においてインタラクティブ性の高いアプリケーションを実現します。

• AI in Healthcare Diagnostics: 医療専門家は、Instruction-tunedモデルをVisual Question Answering (VQA)に使用できます。放射線科医がX線画像と「左下葉の肺炎の兆候をハイライトして説明してください」という指示をシステムに入力することで、AIが協調的な診断アシスタントとして機能するようになります。
• AI in Manufacturing Quality Control: 最初から厳格な欠陥検出モデルをトレーニングする代わりに、オペレーターはMicrosoft Florence-2のようなビジョンシステムに対して「この新しく製造された金属製ケーシングにある微小な傷や凹みを特定してください」と指示することで操作できます。

ビジョン・ワークフローの構築#

これらの機能を活用するシステムを構築するために、開発者は多くの場合、強力なobject detectionモデルに依存して画像から構造的なコンテキストを抽出し、そのデータをVLMに渡します。PyTorch multi-modal documentationやTensorFlow vision modelsを使用して、開発者はハイブリッドパイプラインを作成できます。

例えば、Ultralytics YOLOモデルを使用してシーンを素早く認識し、ダウンストリームのVLM向けに情報を含んだ言語プロンプトを生成することができます。

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

次世代アプリケーションに必要な複雑なマルチモーダルデータセットの管理は、困難な場合があります。Ultralytics Platformは、データセットのアノテーション、クラウドトレーニング、シームレスなモデルデプロイメントのためのエンドツーエンドのツールを提供することで、このプロセスを簡素化します。ACM digital libraryやIEEE Xplore computer visionのアーカイブで最先端の論文を読む場合でも、Instruction-tunedで高度な能力を持つビジョンシステムへの移行は、人工知能の最先端を表しています。YOLO26の知覚と、調整された推論モデルを組み合わせることで、組織は非常に堅牢なAIエージェントをデプロイできます。