YOLOのライセンス
Ultralytics用語集に戻る

Matryoshka Representation Learning (MRL)

Matryoshka表現学習は、先頭の次元だけでも機能する埋め込みを学習するため、1つのベクトルを切り詰めてストレージと検索のコストを抑えられます。

入れ子表現学習(MRL)は、埋め込みの先頭の次元部分を、それ単独で埋め込みとして使えるようにする学習手法です。MRLで学習したモデルは、たとえば768次元のベクトルを1つ出力します。その先頭512、256、128個の値を切り出せば、検索や分類にそのまま使えます。ベクトルを短くしても、精度は段階的にしか低下しません。この名称はロシアの入れ子人形に由来します。KusupatiらはNeurIPS 2022で入れ子表現学習を発表し、ImageNet-1K分類精度を同等に保ちながら、埋め込みを最大14分の1に小型化できること、さらに大規模検索を最大14倍高速化できることを報告しました。

MRLの仕組み#

標準的な埋め込みモデルでは、ベクトル全体に損失関数を適用するため、情報がすべての次元に分散し、切り詰めると情報の一部が失われます。MRLでは入れ子になったサイズの集合を選び、通常は8から完全な次元数まで倍増させながら、埋め込みの各プレフィックスにタスク損失を適用して、その損失を合計します。各プレフィックスだけでタスクを解く必要があるため、最も有用な情報が先頭の次元に集まります。エンコーダーは入力ごとに一度だけ実行されるため、学習コストは従来よりわずかに増える程度です。効率的な変種のMRL-Eでは、単一の分類器をサイズ間で共有し、各プレフィックスは重み行列の先頭の列を使います。以下の例では、scikit-learnの手書き数字で標準モデルとMRLモデルを学習し、切り詰めた埋め込みからテストセットを分類します。

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

両モデルとも、64次元すべてを使うとテスト精度は0.91です。4次元に切り詰めると、標準モデルは0.43に低下する一方、MRLモデルは0.88を維持します。2次元ではスコアがそれぞれ0.22と0.66です。

適応型検索#

MRLは、2つの方法でベクトル検索のコストを削減します。プレフィックスだけを保存すれば、ベクトルデータベースのサイズも比例して小さくなります。また、適応型検索、あるいはファネル検索では、短いプレフィックスでコレクション全体を検索してから、候補を絞り込んだリストを完全なベクトルで再スコアリングします。コサイン類似度や内積を計算する前に、切り詰めたベクトルを再度単位長に正規化する必要があります。Ultralytics Platformでは、データセット間で埋め込み検索を実行できます。類似画像を検索するアクションは、公開、個人、チームの各データセットにある画像ごとの埋め込みを比較し、類似度スコアとともに最大24件の近傍画像を返します。これは共有インデックスであり、メモリと検索コストは埋め込みの次元数に応じて増加します。

  • 次元削減: 主成分分析(PCA)などの手法は、学習後に固定されたベクトル集合へ射影を適合させます。この射影を保存し、新しいベクトルごとに適用する必要があります。MRLでは学習時に順序を組み込むため、切り詰めるだけで済みます。
  • ベクトル量子化: 次元数ではなくビット数を減らして各ベクトルを保存します。たとえば、初回検索に使うMRLプレフィックスをバイナリ量子化するなど、両者を組み合わせることができます。
  • モデルプルーニングと知識蒸留: 埋め込みを生成するモデルを小型化します。MRLではエンコーダーを変更せず、出力だけを小さくします。
  • 再ランキングモデル: 候補を絞り込んだリストを再スコアリングする、別個の高コストなモデルです。適応型検索では、単一のMRL埋め込みから、同じ2段階パターンをより低コストで実現できます。

埋め込みモデルにおけるMRL#

OpenAIのtext-embedding-3モデルは2024年1月にリリースされ、dimensionsパラメーターを使って埋め込みを短縮できます。text-embedding-3-largeは256次元に切り詰めても、MTEBベンチマークで1,536次元のtext-embedding-ada-002を上回ります。Sentence TransformersではMatryoshkaLossを使ってMRLモデルを学習でき、この手法はHugging Faceの入れ子型埋め込みモデルの紹介で解説されています。テキスト埋め込みモデルのGoogleのEmbeddingGemmaは、約3億パラメーターで768次元を出力し、MRLによる切り詰めで512、256、128次元を利用できます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう