Matryoshka Representation Learning (MRL)
Matryoshka表現学習は、先頭の次元だけでも機能する埋め込みを学習するため、1つのベクトルを切り詰めてストレージと検索のコストを抑えられます。
入れ子表現学習(MRL)は、埋め込みの先頭の次元部分を、それ単独で埋め込みとして使えるようにする学習手法です。MRLで学習したモデルは、たとえば768次元のベクトルを1つ出力します。その先頭512、256、128個の値を切り出せば、検索や分類にそのまま使えます。ベクトルを短くしても、精度は段階的にしか低下しません。この名称はロシアの入れ子人形に由来します。KusupatiらはNeurIPS 2022で入れ子表現学習を発表し、ImageNet-1K分類精度を同等に保ちながら、埋め込みを最大14分の1に小型化できること、さらに大規模検索を最大14倍高速化できることを報告しました。
MRLの仕組み#
標準的な埋め込みモデルでは、ベクトル全体に損失関数を適用するため、情報がすべての次元に分散し、切り詰めると情報の一部が失われます。MRLでは入れ子になったサイズの集合を選び、通常は8から完全な次元数まで倍増させながら、埋め込みの各プレフィックスにタスク損失を適用して、その損失を合計します。各プレフィックスだけでタスクを解く必要があるため、最も有用な情報が先頭の次元に集まります。エンコーダーは入力ごとに一度だけ実行されるため、学習コストは従来よりわずかに増える程度です。効率的な変種のMRL-Eでは、単一の分類器をサイズ間で共有し、各プレフィックスは重み行列の先頭の列を使います。以下の例では、scikit-learnの手書き数字で標準モデルとMRLモデルを学習し、切り詰めた埋め込みからテストセットを分類します。
import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits
torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64] # train/test split and nested prefixes of a 64-dim embedding
for nested in (False, True):
encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
head = torch.nn.Linear(64, 10) # shared classifier: its first d columns score a d-dim prefix
optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
sizes = dims if nested else [64] # MRL adds a loss for every prefix, a standard model only for all 64
for step in range(500):
z = encoder(x[:n])
loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
optimizer.zero_grad()
loss.backward()
optimizer.step()
z = encoder(x[n:]).detach() # test embeddings, classified from each truncated prefix
accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
print("MRL: " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))両モデルとも、64次元すべてを使うとテスト精度は0.91です。4次元に切り詰めると、標準モデルは0.43に低下する一方、MRLモデルは0.88を維持します。2次元ではスコアがそれぞれ0.22と0.66です。
適応型検索#
MRLは、2つの方法でベクトル検索のコストを削減します。プレフィックスだけを保存すれば、ベクトルデータベースのサイズも比例して小さくなります。また、適応型検索、あるいはファネル検索では、短いプレフィックスでコレクション全体を検索してから、候補を絞り込んだリストを完全なベクトルで再スコアリングします。コサイン類似度や内積を計算する前に、切り詰めたベクトルを再度単位長に正規化する必要があります。Ultralytics Platformでは、データセット間で埋め込み検索を実行できます。類似画像を検索するアクションは、公開、個人、チームの各データセットにある画像ごとの埋め込みを比較し、類似度スコアとともに最大24件の近傍画像を返します。これは共有インデックスであり、メモリと検索コストは埋め込みの次元数に応じて増加します。
MRLと関連概念#
- 次元削減: 主成分分析(PCA)などの手法は、学習後に固定されたベクトル集合へ射影を適合させます。この射影を保存し、新しいベクトルごとに適用する必要があります。MRLでは学習時に順序を組み込むため、切り詰めるだけで済みます。
- ベクトル量子化: 次元数ではなくビット数を減らして各ベクトルを保存します。たとえば、初回検索に使うMRLプレフィックスをバイナリ量子化するなど、両者を組み合わせることができます。
- モデルプルーニングと知識蒸留: 埋め込みを生成するモデルを小型化します。MRLではエンコーダーを変更せず、出力だけを小さくします。
- 再ランキングモデル: 候補を絞り込んだリストを再スコアリングする、別個の高コストなモデルです。適応型検索では、単一のMRL埋め込みから、同じ2段階パターンをより低コストで実現できます。
埋め込みモデルにおけるMRL#
OpenAIのtext-embedding-3モデルは2024年1月にリリースされ、dimensionsパラメーターを使って埋め込みを短縮できます。text-embedding-3-largeは256次元に切り詰めても、MTEBベンチマークで1,536次元のtext-embedding-ada-002を上回ります。Sentence TransformersではMatryoshkaLossを使ってMRLモデルを学習でき、この手法はHugging Faceの入れ子型埋め込みモデルの紹介で解説されています。テキスト埋め込みモデルのGoogleのEmbeddingGemmaは、約3億パラメーターで768次元を出力し、MRLによる切り詰めで512、256、128次元を利用できます。










