获取 YOLO 许可
返回 Ultralytics 术语表

Matryoshka Representation Learning (MRL)

Matryoshka 表征学习训练的嵌入具有这样的特性:仅使用前面的维度也能发挥作用,因此可以截短同一个向量,以降低存储和搜索成本。

套娃式表示学习(MRL)是一种训练方法,可让嵌入的前导维度本身就能作为嵌入使用。经过 MRL 训练的模型会输出一个向量,例如长度为 768 维;你可以截取其前 512、256 或 128 个值,直接用于搜索或分类,向量越短,准确率就逐渐下降。这个名称来自俄罗斯套娃。Kusupati 等人在 NeurIPS 2022 上提出了套娃式表示学习,并报告称,在 ImageNet-1K 分类准确率相同的情况下,嵌入最多可缩小 14 倍,大规模检索速度最多可提高 14 倍。

MRL 的工作原理#

标准嵌入模型会对完整向量应用损失函数,因此信息会分散到所有维度中,截断时就会丢失其中一部分。MRL 会选取一组嵌套尺寸,通常从 8 开始,每次加倍直至完整宽度;它对嵌入的每个前缀应用任务损失,并将这些损失相加。每个前缀都必须独立完成任务,这会促使最有用的信息集中在前面的维度中。编码器对每个输入仍只运行一次,因此训练成本只比之前略高;高效变体 MRL-E 会在各个尺寸间共享一个分类器,每个前缀使用其权重矩阵的前几列。下面的示例在 scikit-learn 的手写数字数据上训练标准模型和 MRL 模型,并使用截断后的嵌入对测试集进行分类:

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

两个模型在使用全部 64 个维度时,测试准确率都达到 0.91。截断至 4 个维度后,标准模型降至 0.43,而 MRL 模型仍为 0.88;在 2 个维度时,分数分别为 0.22 和 0.66。

自适应检索#

MRL 能通过两种方式降低向量搜索成本。只存储前缀可按比例缩小向量数据库;自适应检索(又称漏斗式检索)则先用短前缀搜索整个集合,再用完整向量重新评估候选列表。计算余弦相似度或点积前,必须再次将截断后的向量归一化为单位长度。Ultralytics Platform支持跨数据集进行嵌入搜索:其查找相似图像操作会比较公共、个人和团队数据集中的逐图像嵌入,并返回最多 24 张最相近图像及其相似度分数;这是一个共享索引,其内存和搜索成本会随嵌入维度增加。

  • 降维:主成分分析(PCA)等方法会在训练后为固定的一组向量拟合投影,并且必须存储该投影,并将其应用于每个新向量。MRL 则在训练过程中构建维度顺序,因此截断只需切片。
  • 向量量化:通过减少每个向量的比特数而非维度数来存储向量。两者可以结合使用,例如用二值量化的 MRL 前缀进行第一轮搜索。
  • 模型剪枝和知识蒸馏:缩小生成嵌入的模型。MRL 保持编码器不变,只缩小其输出。
  • 重排序器:一个独立且成本更高的模型,用于重新评估候选列表。自适应检索通过单个 MRL 嵌入,以更低成本实现同样的两阶段模式。

嵌入模型中的 MRL#

OpenAI 于 2024 年 1 月发布的 text-embedding-3 模型支持通过 dimensions 参数缩短嵌入;text-embedding-3-large 即使截断到 256 维,在 MTEB 基准上的表现仍优于 1,536 维的 text-embedding-ada-002。Sentence Transformers 使用其 MatryoshkaLoss 训练 MRL 模型,相关内容见 Hugging Face 的套娃式嵌入模型简介。Google 的 EmbeddingGemma是一种约 3 亿参数的文本嵌入模型,可输出 768 维,并支持通过 MRL 截断得到 512、256 和 128 维。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来