Matryoshka Representation Learning (MRL)
El aprendizaje de representaciones Matryoshka entrena embeddings cuyas dimensiones iniciales funcionan por sí solas, de modo que un vector puede truncarse para reducir el coste de almacenamiento y búsqueda.
El aprendizaje de representaciones Matryoshka (MRL) es un método de entrenamiento que permite usar las dimensiones iniciales de una representación vectorial como una representación por sí solas. Un modelo entrenado con MRL genera un vector, por ejemplo de 768 dimensiones, cuyos primeros 512, 256 o 128 valores se pueden recortar y utilizar directamente para búsqueda o clasificación, con una precisión que disminuye gradualmente a medida que se acorta el vector. El nombre procede de las muñecas rusas encajables. Kusupati et al. presentaron Matryoshka Representation Learning en NeurIPS 2022 y comunicaron representaciones hasta 14 veces más pequeñas con la misma precisión de clasificación en ImageNet-1K, además de una recuperación a gran escala hasta 14 veces más rápida.
Cómo funciona MRL#
Un modelo de representación vectorial estándar aplica su función de pérdida al vector completo, por lo que la información se distribuye entre todas las dimensiones y cualquier truncamiento hace que se pierda parte de ella. MRL elige un conjunto de tamaños anidados, que normalmente se duplican desde 8 hasta alcanzar el ancho completo, aplica la pérdida de la tarea a cada prefijo de la representación y suma las pérdidas. Cada prefijo debe resolver la tarea por sí solo, lo que concentra la información más útil en las primeras dimensiones. El codificador sigue ejecutándose una vez por entrada, así que el entrenamiento apenas cuesta más que antes; además, la variante eficiente MRL-E comparte un único clasificador entre los distintos tamaños y cada prefijo usa las primeras columnas de su matriz de pesos. El ejemplo siguiente entrena un modelo estándar y otro MRL con los dígitos manuscritos de scikit-learn y clasifica el conjunto de prueba a partir de representaciones truncadas:
import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits
torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64] # train/test split and nested prefixes of a 64-dim embedding
for nested in (False, True):
encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
head = torch.nn.Linear(64, 10) # shared classifier: its first d columns score a d-dim prefix
optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
sizes = dims if nested else [64] # MRL adds a loss for every prefix, a standard model only for all 64
for step in range(500):
z = encoder(x[:n])
loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
optimizer.zero_grad()
loss.backward()
optimizer.step()
z = encoder(x[n:]).detach() # test embeddings, classified from each truncated prefix
accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
print("MRL: " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))Ambos modelos alcanzan una precisión de 0.91 en las pruebas con las 64 dimensiones. Al truncarlos a 4 dimensiones, el modelo estándar baja a 0.43 y el modelo MRL mantiene 0.88; con 2 dimensiones, las puntuaciones son 0.22 y 0.66.
Recuperación adaptativa#
MRL abarata la búsqueda vectorial de dos maneras. Almacenar solo un prefijo reduce proporcionalmente el tamaño de una base de datos vectorial, y la recuperación adaptativa, o en embudo, busca en toda la colección con un prefijo corto y luego vuelve a puntuar una lista reducida con los vectores completos. Los vectores truncados deben normalizarse de nuevo a longitud unidad antes de calcular la similitud del coseno o los productos escalares. Ultralytics Platform ejecuta la búsqueda por embeddings en todos los conjuntos de datos: su acción Buscar imágenes similares compara los embeddings de cada imagen entre conjuntos de datos públicos, personales y de equipo, y devuelve hasta 24 de las imágenes más cercanas con sus puntuaciones de similitud; un índice compartido cuyos requisitos de memoria y coste de búsqueda aumentan con cada dimensión de embedding.
MRL y conceptos relacionados#
- Reducción de dimensionalidad: Métodos como el análisis de componentes principales (PCA) ajustan una proyección a un conjunto fijo de vectores después del entrenamiento; esa proyección debe almacenarse y aplicarse a cada vector nuevo. MRL incorpora el orden durante el entrenamiento, por lo que el truncamiento consiste en recortar el vector.
- Cuantización vectorial: Almacena cada vector con menos bits, en lugar de reducir el número de dimensiones. Ambos métodos se pueden combinar, por ejemplo, con prefijos MRL cuantizados en binario para una búsqueda inicial.
- Poda de modelos y destilación de conocimiento: Reducen el tamaño del modelo que genera las representaciones vectoriales. MRL mantiene el codificador intacto y reduce solo su salida.
- Reranker: Modelo independiente y más costoso que vuelve a puntuar una lista reducida. La recuperación adaptativa obtiene una versión más barata del mismo patrón de dos etapas a partir de una única representación MRL.
MRL en modelos de representación vectorial#
Los modelos text-embedding-3 de OpenAI, publicados en enero de 2024, permiten acortar las representaciones vectoriales mediante el parámetro dimensions, y text-embedding-3-large reducido a 256 dimensiones sigue superando en la prueba de referencia MTEB a text-embedding-ada-002, de 1.536 dimensiones. Sentence Transformers entrena modelos MRL con su MatryoshkaLoss, que se explica en la introducción de Hugging Face a los modelos de representación vectorial Matryoshka. EmbeddingGemma de Google, un modelo de representación vectorial de texto con unos 300 millones de parámetros, genera 768 dimensiones y ofrece 512, 256 y 128 mediante el truncamiento MRL.










