Multi-Modal Learning

マルチモーダル学習は、キャプション付き画像、サウンドトラック付き動画、カメラのフレームとLiDARスキャンなど、複数のモダリティからなるデータでモデルを学習し、モダリティ間の関係を学ばせる機械学習の分野です。その手法では、異なるモダリティを比較可能な形で表現する方法と、モデル内のどこでそれらを組み合わせるかという2つの問いに取り組みます。視覚言語アシスタントから自動運転の知覚スタックまで、これらの手法で構築されたシステムはマルチモーダルAIと呼ばれます。

人は複数の感覚を自然に組み合わせます。1976年に報告されたマガーク効果では、「ga」と発音する唇の動画に「ba」という音声を重ねると、「da」と聞こえます。StanfordのJiquan Ngiamらは2011年、この考え方をディープラーニングに取り入れ、音声と読唇動画を同時に使ってネットワークを学習させ、両方のモダリティから学習した特徴が動画単独の読唇よりも優れていることを示しました。

主な課題#

Tadas Baltrušaitis、Chaitanya Ahuja、Louis-Philippe Morencyは、2019年の調査論文で、この分野を5つの課題に整理しました。

• 表現： 各モダリティをベクトルとしてエンコードします。1つの共通空間を使う方法と、互いに対応するよう学習した別々の空間を使う方法があります。
• 変換： 画像キャプション生成やテキストから画像を生成するように、あるモダリティを別のモダリティに変換します。
• アライメント： あるモダリティのどの部分が別のモダリティのどの部分に対応するかを特定します。たとえば、あるフレーズが説明する画像領域を見つけます。
• 融合： 複数のモダリティからの情報を組み合わせて予測します。
• 協調学習： データが豊富なモダリティから、データが少ないモダリティへ知識を転移します。

融合戦略#

早期融合では、モダリティごとの処理を行う前に入力または低レベルの特徴を組み合わせます。たとえば、深度マップをRGBチャンネルと重ねて4チャンネル画像を作ります。後期融合では、モダリティごとに別々のモデルを実行し、予測の平均化や投票によって統合します。そのため、一方のモダリティが欠けていても機能します。中間融合では、モダリティごとに個別にエンコードした後、通常はクロスアテンションを使ってネットワーク内で情報を交換します。クロスアテンションは、一方のモダリティのトークンが他方の特徴に注意を向けるアテンション機構です。ロボットや車両のセンサーフュージョンでは、この3つすべてが使われます。

モダリティを追加すると、精度が低下することもあります。Weiyao Wang、Du Tran、Matt Feiszliは2020年、音声、フレーム、動きを同時に使って学習した動画分類ネットワークが、最も性能の高い単一モダリティのモデルより低い性能になることが多いと示しました。これは過学習が起き、モダリティごとに学習速度が異なるためです。彼らが提案したGradient-Blending手法は、各モダリティの損失に重みを付けてこの問題を補正します。

対照アライメント#

対照学習は、手作業のラベルなしでモダリティを整合させます。OpenAIのCLIP（2021年）は、4億組の画像とキャプションを使って画像エンコーダーとテキストエンコーダーを学習させ、各画像の埋め込みが、バッチ内のすべてのキャプションの中で対応するキャプションと最も類似するようにしました。その結果、ImageNetのラベル付き学習画像128万枚を一切使わずに、元のResNet-50と同等のImageNet精度をゼロショットで達成しました。損失関数は類似度行列に対するクロスエントロピーであり、両方向に適用します。

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

各キャプションが対応する画像に近い場合、損失は0.577です。キャプションを1行ずらしてすべての画像を誤ったキャプションと組み合わせると、損失は2.756に上昇します。学習では、多数のペアからなるバッチ（CLIPでは32,768組）を使って損失を下げ、各画像を対応するキャプションに近づけ、バッチ内の他のすべてのキャプションから遠ざけます。また、CLIPは学習中に温度パラメーターを学習し、0.07から開始します。GoogleのALIGN（2021年）は、同じ手法を18億組のノイズを含む画像と代替テキストに拡張しました。SigLIP（2023年）はソフトマックスをペアごとの独立したシグモイドに置き換え、MetaのImageBind（2023年）は、音声、深度、熱画像、モーションセンサーデータを含む6つのモダリティを、それぞれ画像と組み合わせることで整合させました。

オープンボキャブラリー検出器は、テキストと画像領域の間に同じ種類の対応関係を学習します。清華大学のYOLOEをベースとするオープンボキャブラリーYOLO26、YOLOE-26をスクラッチから学習するUltralyticsのレシピでは、Objects365の検出ラベルと、約140万サンプルのGQAおよびFlickr30kのグラウンディングデータを組み合わせます。トレーナーは、Appleの凍結済みMobileCLIP2テキストエンコーダーで各クラス名とフレーズを一度だけエンコードして埋め込みをキャッシュするため、学習で更新されるのは検出器だけです。これには、キャッシュされたテキストベクトルを領域特徴と照合する前に調整する小さな残差レイヤーも含まれます。

マルチモーダル学習と関連用語#

• マルチモーダルAI： 視覚アシスタントや運転支援向けの知覚システムなど、マルチモーダル学習で構築されたシステムやアプリケーションです。
• マルチモーダルモデル： 複数のモダリティを扱う学習済みモデルであり、マルチモーダル学習によって生成される成果物です。
• 視覚言語モデル（VLM）： 画像とテキストを扱うマルチモーダルモデルで、多くの場合、対照的事前学習、画像エンコーダーと言語モデルの接続、視覚指示チューニングという段階を経て学習されます。
• 転移学習： あるタスクで学習したモデルを別のタスクに再利用します。協調学習では、この考え方を複数のモダリティに適用します。