Matryoshka Representation Learning (MRL)

Matryoshka Representation Learning (MRL) は、人工知能 (AI) および機械学習 (ML) におけるトレーニング手法であり、単一の出力ベクトル内でニューラルネットワークにマルチ粒度な埋め込みの学習を強制します。ロシアのマトリョーシカ人形にインスパイアされた MRL は、重要なセマンティック情報が先頭に偏るように埋め込みを構造化します。これにより、高次元ベクトル（例：1024次元）を、その基盤となる表現を失うことなく、より小さくネストされたサブセット（512、256、64次元など）に切り詰めることができます。この柔軟性により、情報検索タスクに通常伴う計算オーバーヘッドが大幅に削減されます。

Matryoshka Representation Learning の仕組み#

従来、埋め込みモデルは、固定された出力サイズに対して特定の損失関数を最適化するようにトレーニングされます。メモリを節約するためにシステムにより小さなベクトルが必要な場合、まったく新しいモデルをトレーニングする必要があります。MRL は、トレーニングフェーズ中にネストされた損失関数を適用することで、この問題を解決します。フル表現とそのネストされたサブセットを共同で最適化します。OpenAI は MRL を採用しており、近代的な埋め込み API に利用されています。これにより、開発者は正確なコサイン類似度のスコアを維持しながら、ベクトルの末尾の次元を動的に削除できます。

実社会での応用#

MRL は、精度とストレージコストおよびメモリ帯域幅のバランスを取る際に、明確な利点を提供します。

• LLM 向けのアダプティブベクトル検索: 検索拡張生成 (RAG) パイプラインにおいて、大規模言語モデル (LLM) は多くの場合、膨大なベクトルデータベースに依存しています。MRL を使用すると、企業は埋め込みの最初の 64 次元を使用して高速で粗いセマンティック検索を実行し、フル 1024 次元ベクトルを使用して上位の結果を再ランク付けできます。この2パスアプローチにより、ベクトル検索が大幅に高速化され、データベースのストレージコストが削減されます。
• エッジでのスケーラブルなコンピュータビジョン: Ultralytics Platform を使用してコンピュータビジョンシステムをデプロイする場合、ハードウェアの制約は大きく異なることがあります。MRL を利用するモデルは、強力なクラウドデプロイサーバーにフルサイズの視覚的埋め込みを送信できますが、低電力のエッジコンピューティングデバイスで動作する際には、切り詰められた 128 次元埋め込みの送信に優雅にフォールバックし、モデルを再トレーニングすることなくレイテンシを最適化します。

関連する概念との違い#

MRL を適切に活用するためには、データを圧縮するために使用される古い技術と区別することが役立ちます。

• MRL 対次元削減: PCA（主成分分析）や t-SNE などのアルゴリズムは、データを圧縮するためにトレーニング 後 に適用されます。対照的に、MRL はトレーニング中にニューラルネットワークアーキテクチャにネイティブに組み込まれ、より深い非線形関係を保持します。
• MRL 対モデルプルーニング: プルーニングは、Ultralytics YOLO モデルの小さなバリアントを作成するなど、推論を高速化するために実際のニューラルネットワークから重みとレイヤーを削除します。MRL はモデルサイズを変更せず、モデルによって生成される出力ベクトルのサイズのみを変更します。

実践的な実装#

MRL 埋め込みの切り詰めは非常に簡単であり、複雑なセマンティックインデックスロジックを必要としません。最も重要な特徴量には最も早い次元で重みが強くかけられているため、配列をスライスするだけです。次の例は、基本的なPyTorch テンソル演算を使用して、シミュレートされた YOLO26 マルチモーダル出力を切り詰める方法を示しています。

import torch

# Simulate a full 1024-dimensional MRL embedding returned by a model
full_embedding = torch.rand(1, 1024)

# To deploy on memory-constrained hardware, simply slice the first 256 dimensions
# Because the model was trained with MRL, this subset remains highly accurate
truncated_embedding = full_embedding[:, :256]

print(f"Original size: {full_embedding.shape[1]}, Compressed size: {truncated_embedding.shape[1]}")