Visual Instruction Tuning

ビジュアルインストラクションチューニングとは、画像と自然言語の指示、および望ましい応答を組み合わせた例でビジョン言語モデル（VLM）をファインチューニングし、画像についての自由形式の依頼（シーンの説明、質問への回答、文字の読み取り、表示内容についての推論など）に従えるようモデルを学習する手法です。テキストのみのインストラクションチューニングを画像に拡張したもので、画像と言葉の関連付けしかできないモデルを視覚アシスタントへと変える段階です。ウィスコンシン大学マディソン校、Microsoft Research、コロンビア大学のHaotian Liu、Chunyuan Li、Qingyang Wu、Yong Jae Leeは、NeurIPS 2023で口頭発表されたVisual Instruction Tuningでこの用語を紹介し、同時に、その研究から生まれたLLaVA（Large Language and Vision Assistant）モデルを発表しました。

インストラクションデータの生成#

画像と指示・応答を組み合わせたデータセットはほとんどなかったため、LLaVAの著者らはテキスト専用モデルでデータを生成しました。COCOの各画像について、画像の記号的な説明、つまり人が書いたキャプションと、物体カテゴリおよび座標を含むバウンディングボックスをGPT-4に与え、さらに人手で作成した例をいくつか添えて、画像が見えているかのように質問と回答を書くよう指示しました。LLaVA-Instruct-150Kとして公開された合成データは、3種類の合計158,000サンプルで構成されています。内訳は、マルチターン会話58,000件、詳細な説明23,000件、シーンについて段階的に考える必要のある複雑な推論問題77,000件です。

アーキテクチャと学習#

LLaVAは、CLIPのViT-L/14画像エンコーダーを、単一の線形射影を介してVicunaの大規模言語モデル（LLM）に接続します。この射影は画像特徴をLLMの単語埋め込み空間に写像するため、画像は指示の前に並ぶ視覚的なトークン列としてLLMに入力されます。学習は2段階で行います。

1. 特徴のアラインメント： CC3Mデータセットから抽出した595,000件の画像とキャプションのペアを使い、射影のみを学習します。ビジョンエンコーダーとLLMは凍結したままにし、視覚トークンをLLMが解釈できるようにします。
2. ビジュアルインストラクションチューニング： インストラクションデータで射影とLLMの両方を更新し、ビジョンエンコーダーは凍結したままにします。次トークン損失を計算するのはアシスタントの回答だけで、画像トークンやユーザーの指示は対象にしません。

その結果、モデルは未見の画像や指示について会話できるようになりました。GPT-4が採点する合成マルチモーダル指示追従ベンチマークでは、LLaVAはGPT-4自身のスコアの85.1%に達しました。また、ScienceQAベンチマークでファインチューニングした後、LLaVAとGPT-4のアンサンブルは92.53%の精度を達成し、最先端記録を更新しました。

LLaVA-1.5では手順が簡素化され、性能も向上しました。線形射影を2層MLPに置き換え、CLIPの入力解像度を336ピクセルに上げ、回答形式を指定する短いプロンプトを含む学術的な視覚質問応答データセットを追加しました。さらに、13億ではなく13-billionパラメーターのモデルを、A100 GPU 8基を搭載した単一ノードで約1日かけて学習し、公開サンプル120万件を使用しました。SalesforceのInstructBLIPは別の方法を採用し、既存のラベル付きデータセットをインストラクション形式に変換して、画像特徴を指示に応じて調整しました。

用途#

インストラクションチューニング済みVLMは、多くの単一タスクモデルを1つのシステムに置き換え、自由形式の質問に回答し、ユーザーが求める詳細度で画像キャプションを書き、光学文字認識（OCR）と文字の意味についての推論を組み合わせて写真内の文字を読み取ります。この方法でスクリーンショットを読み取るモデルは、コンピュータ操作エージェントを支えます。この手順は専門分野にも応用できます。LLaVA-MedはPubMed Centralの生物医学図表とキャプションのペアでアラインメントし、それらについてGPT-4が生成した指示で調整した後、A100 GPU 8基で15時間未満で学習しました。これは、所見を言葉で説明する医用画像解析アシスタントへの道を開きます。

インストラクションチューニング済みVLMの多くは、尋ねると物体の位置も返します。Ultralytics Platformでは、クラスプロンプトによるSmart annotationにこの機能を活用しています。クラス数が1～200の検出データセットで、Moondream 3.1などのホスト型オープンソースモデル、またはプロバイダーの有料ビジョンモデルが、画像内のデータセットのクラスを検出し、確認・編集できるボックスを返します。

インストラクションチューニング済みVLMは、学習データの弱点も引き継ぎます。生成された回答が画像に存在しない物体を説明することがあり、インストラクションチューニング後に直接選好最適化（DPO）などの選好手法を適用して、こうしたハルシネーションを減らします。

ビジュアルインストラクションチューニングと関連概念の比較#

• テキストインストラクションチューニング： テキスト専用LLMを、指示と応答のペアでファインチューニングします。ビジュアルインストラクションチューニングでは、すべての例に画像を加え、ビジョンエンコーダーとLLMの接続を学習します。
• ビジョン言語事前学習： CLIPなどの対照学習モデルは、画像とキャプションの対応を学習します。これによりVLMは視覚特徴を得ますが、指示に従う能力は得られません。
• ビジュアルプロンプティング： プロンプト可能なセグメンテーションのように、点、ボックス、または画像例などの視覚的な手掛かりを使って推論時にモデルを誘導します。ビジュアルインストラクションチューニングは学習段階であり、そのプロンプトは自然言語で記述します。
• 視覚的質問応答（VQA）のファインチューニング： 単一のVQAベンチマークのように、1つのタスクと回答形式でモデルを学習します。ビジュアルインストラクションチューニングでは、多様なタスクを1つの指示形式に混在させ、新しい依頼にも汎化できるようにします。