Matryoshka Representation Learning (MRL)
Matryoshka 表征学习训练的嵌入具有这样的特性:仅使用前面的维度也能发挥作用,因此可以截短同一个向量,以降低存储和搜索成本。
套娃式表示学习(MRL)是一种训练方法,可让嵌入的前导维度本身就能作为嵌入使用。经过 MRL 训练的模型会输出一个向量,例如长度为 768 维;你可以截取其前 512、256 或 128 个值,直接用于搜索或分类,向量越短,准确率就逐渐下降。这个名称来自俄罗斯套娃。Kusupati 等人在 NeurIPS 2022 上提出了套娃式表示学习,并报告称,在 ImageNet-1K 分类准确率相同的情况下,嵌入最多可缩小 14 倍,大规模检索速度最多可提高 14 倍。
MRL 的工作原理#
标准嵌入模型会对完整向量应用损失函数,因此信息会分散到所有维度中,截断时就会丢失其中一部分。MRL 会选取一组嵌套尺寸,通常从 8 开始,每次加倍直至完整宽度;它对嵌入的每个前缀应用任务损失,并将这些损失相加。每个前缀都必须独立完成任务,这会促使最有用的信息集中在前面的维度中。编码器对每个输入仍只运行一次,因此训练成本只比之前略高;高效变体 MRL-E 会在各个尺寸间共享一个分类器,每个前缀使用其权重矩阵的前几列。下面的示例在 scikit-learn 的手写数字数据上训练标准模型和 MRL 模型,并使用截断后的嵌入对测试集进行分类:
import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits
torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64] # train/test split and nested prefixes of a 64-dim embedding
for nested in (False, True):
encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
head = torch.nn.Linear(64, 10) # shared classifier: its first d columns score a d-dim prefix
optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
sizes = dims if nested else [64] # MRL adds a loss for every prefix, a standard model only for all 64
for step in range(500):
z = encoder(x[:n])
loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
optimizer.zero_grad()
loss.backward()
optimizer.step()
z = encoder(x[n:]).detach() # test embeddings, classified from each truncated prefix
accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
print("MRL: " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))两个模型在使用全部 64 个维度时,测试准确率都达到 0.91。截断至 4 个维度后,标准模型降至 0.43,而 MRL 模型仍为 0.88;在 2 个维度时,分数分别为 0.22 和 0.66。
自适应检索#
MRL 能通过两种方式降低向量搜索成本。只存储前缀可按比例缩小向量数据库;自适应检索(又称漏斗式检索)则先用短前缀搜索整个集合,再用完整向量重新评估候选列表。计算余弦相似度或点积前,必须再次将截断后的向量归一化为单位长度。Ultralytics Platform支持跨数据集进行嵌入搜索:其查找相似图像操作会比较公共、个人和团队数据集中的逐图像嵌入,并返回最多 24 张最相近图像及其相似度分数;这是一个共享索引,其内存和搜索成本会随嵌入维度增加。
MRL 与相关概念#
- 降维:主成分分析(PCA)等方法会在训练后为固定的一组向量拟合投影,并且必须存储该投影,并将其应用于每个新向量。MRL 则在训练过程中构建维度顺序,因此截断只需切片。
- 向量量化:通过减少每个向量的比特数而非维度数来存储向量。两者可以结合使用,例如用二值量化的 MRL 前缀进行第一轮搜索。
- 模型剪枝和知识蒸馏:缩小生成嵌入的模型。MRL 保持编码器不变,只缩小其输出。
- 重排序器:一个独立且成本更高的模型,用于重新评估候选列表。自适应检索通过单个 MRL 嵌入,以更低成本实现同样的两阶段模式。
嵌入模型中的 MRL#
OpenAI 于 2024 年 1 月发布的 text-embedding-3 模型支持通过 dimensions 参数缩短嵌入;text-embedding-3-large 即使截断到 256 维,在 MTEB 基准上的表现仍优于 1,536 维的 text-embedding-ada-002。Sentence Transformers 使用其 MatryoshkaLoss 训练 MRL 模型,相关内容见 Hugging Face 的套娃式嵌入模型简介。Google 的 EmbeddingGemma是一种约 3 亿参数的文本嵌入模型,可输出 768 维,并支持通过 MRL 截断得到 512、256 和 128 维。










