Matryoshka Representation Learning (MRL)
Обучение матрёшечных представлений обучает эмбеддинги, начальные измерения которых работают самостоятельно. Благодаря этому один вектор можно усечь, чтобы сократить расходы на хранение и поиск.
Обучение представлений «матрёшка» (MRL) — это метод обучения, благодаря которому начальные измерения эмбеддинга можно использовать как самостоятельный эмбеддинг. Модель, обученная с помощью MRL, выдаёт один вектор, например длиной 768 измерений, первые 512, 256 или 128 значений которого можно отсечь и напрямую использовать для поиска или классификации; при уменьшении вектора точность постепенно падает. Название отсылает к русским матрёшкам. Кусупати и соавторы представили обучение представлений «матрёшка» на NeurIPS 2022 и сообщили, что при той же точности классификации на ImageNet-1K размер эмбеддингов можно уменьшить до 14 раз, а поиск в больших масштабах ускорить до 14 раз.
Как работает MRL#
Стандартная модель эмбеддингов применяет функцию потерь ко всему вектору, поэтому информация распределяется по всем измерениям, и при усечении часть её теряется. MRL выбирает набор вложенных размеров, обычно удваивая их от 8 до полной длины, применяет функцию потерь задачи к каждому префиксу эмбеддинга и суммирует потери. Каждый префикс должен самостоятельно решать задачу, благодаря чему наиболее полезная информация перемещается в начальные измерения. Кодировщик по-прежнему выполняется один раз для каждого входа, поэтому обучение обходится лишь немного дороже, чем раньше. В эффективном варианте MRL-E для всех размеров используется один классификатор, а каждый префикс задействует первые столбцы его матрицы весов. В примере ниже стандартная модель и модель MRL обучаются на рукописных цифрах из scikit-learn, а для классификации тестовой выборки используются усечённые эмбеддинги:
import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits
torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64] # train/test split and nested prefixes of a 64-dim embedding
for nested in (False, True):
encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
head = torch.nn.Linear(64, 10) # shared classifier: its first d columns score a d-dim prefix
optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
sizes = dims if nested else [64] # MRL adds a loss for every prefix, a standard model only for all 64
for step in range(500):
z = encoder(x[:n])
loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
optimizer.zero_grad()
loss.backward()
optimizer.step()
z = encoder(x[n:]).detach() # test embeddings, classified from each truncated prefix
accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
print("MRL: " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))Обе модели достигают точности 0.91 на тестовой выборке, используя все 64 измерения. При усечении до 4 измерений точность стандартной модели падает до 0.43, а модель MRL сохраняет 0.88; при 2 измерениях результаты составляют 0.22 и 0.66.
Адаптивный поиск#
MRL снижает стоимость поиска по векторам двумя способами. Хранение только префикса пропорционально уменьшает размер векторной базы данных, а адаптивный, или воронкообразный, поиск сначала ищет по всей коллекции, используя короткий префикс, а затем пересчитывает оценки для короткого списка с помощью полных векторов. Усечённые векторы перед вычислением косинусного сходства или скалярного произведения нужно повторно нормализовать до единичной длины. Платформа Ultralytics выполняет поиск по эмбеддингам в наборах данных: действие «Найти похожие изображения» сравнивает эмбеддинги отдельных изображений в публичных, личных и командных наборах данных и возвращает до 24 ближайших изображений с оценками сходства. Это общий индекс, затраты памяти и поиска в котором растут с каждым измерением эмбеддинга.
MRL и связанные понятия#
- Снижение размерности: Такие методы, как анализ главных компонент (PCA), после обучения подбирают проекцию для фиксированного набора векторов; эту проекцию нужно хранить и применять к каждому новому вектору. MRL задаёт порядок измерений во время обучения, поэтому усечение сводится к срезу.
- Векторное квантование: Для хранения каждого вектора используется меньше битов, а не меньше измерений. Эти подходы можно сочетать, например используя префиксы MRL с бинарным квантованием для первичного поиска.
- Обрезка моделей и дистилляция знаний: Уменьшают модель, создающую эмбеддинги. MRL не меняет кодировщик и уменьшает только его выход.
- Модель переранжирования: Отдельная, более ресурсоёмкая модель, которая пересчитывает оценки для короткого списка. Благодаря одному эмбеддингу MRL адаптивный поиск реализует более дешёвый вариант той же двухэтапной схемы.
MRL в моделях эмбеддингов#
Модели OpenAI text-embedding-3, выпущенные в январе 2024 года, поддерживают уменьшение длины эмбеддингов с помощью параметра dimensions; при усечении до 256 измерений text-embedding-3-large всё ещё превосходит text-embedding-ada-002 с 1 536 измерениями на бенчмарке MTEB. Sentence Transformers обучает модели MRL с помощью MatryoshkaLoss; этот подход описан во введении в модели эмбеддингов «матрёшка» от Hugging Face. EmbeddingGemma от Google — модель эмбеддингов текста примерно с 300 миллионами параметров — выдаёт 768 измерений, а благодаря усечению MRL предлагает варианты на 512, 256 и 128 измерений.










