Licencia YOLO
Volver al glosario de Ultralytics

Matryoshka Representation Learning (MRL)

El aprendizaje de representaciones Matryoshka entrena embeddings cuyas dimensiones iniciales funcionan por sí solas, de modo que un vector puede truncarse para reducir el coste de almacenamiento y búsqueda.

El aprendizaje de representaciones Matryoshka (MRL) es un método de entrenamiento que permite usar las dimensiones iniciales de una representación vectorial como una representación por sí solas. Un modelo entrenado con MRL genera un vector, por ejemplo de 768 dimensiones, cuyos primeros 512, 256 o 128 valores se pueden recortar y utilizar directamente para búsqueda o clasificación, con una precisión que disminuye gradualmente a medida que se acorta el vector. El nombre procede de las muñecas rusas encajables. Kusupati et al. presentaron Matryoshka Representation Learning en NeurIPS 2022 y comunicaron representaciones hasta 14 veces más pequeñas con la misma precisión de clasificación en ImageNet-1K, además de una recuperación a gran escala hasta 14 veces más rápida.

Cómo funciona MRL#

Un modelo de representación vectorial estándar aplica su función de pérdida al vector completo, por lo que la información se distribuye entre todas las dimensiones y cualquier truncamiento hace que se pierda parte de ella. MRL elige un conjunto de tamaños anidados, que normalmente se duplican desde 8 hasta alcanzar el ancho completo, aplica la pérdida de la tarea a cada prefijo de la representación y suma las pérdidas. Cada prefijo debe resolver la tarea por sí solo, lo que concentra la información más útil en las primeras dimensiones. El codificador sigue ejecutándose una vez por entrada, así que el entrenamiento apenas cuesta más que antes; además, la variante eficiente MRL-E comparte un único clasificador entre los distintos tamaños y cada prefijo usa las primeras columnas de su matriz de pesos. El ejemplo siguiente entrena un modelo estándar y otro MRL con los dígitos manuscritos de scikit-learn y clasifica el conjunto de prueba a partir de representaciones truncadas:

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

Ambos modelos alcanzan una precisión de 0.91 en las pruebas con las 64 dimensiones. Al truncarlos a 4 dimensiones, el modelo estándar baja a 0.43 y el modelo MRL mantiene 0.88; con 2 dimensiones, las puntuaciones son 0.22 y 0.66.

Recuperación adaptativa#

MRL abarata la búsqueda vectorial de dos maneras. Almacenar solo un prefijo reduce proporcionalmente el tamaño de una base de datos vectorial, y la recuperación adaptativa, o en embudo, busca en toda la colección con un prefijo corto y luego vuelve a puntuar una lista reducida con los vectores completos. Los vectores truncados deben normalizarse de nuevo a longitud unidad antes de calcular la similitud del coseno o los productos escalares. Ultralytics Platform ejecuta la búsqueda por embeddings en todos los conjuntos de datos: su acción Buscar imágenes similares compara los embeddings de cada imagen entre conjuntos de datos públicos, personales y de equipo, y devuelve hasta 24 de las imágenes más cercanas con sus puntuaciones de similitud; un índice compartido cuyos requisitos de memoria y coste de búsqueda aumentan con cada dimensión de embedding.

  • Reducción de dimensionalidad: Métodos como el análisis de componentes principales (PCA) ajustan una proyección a un conjunto fijo de vectores después del entrenamiento; esa proyección debe almacenarse y aplicarse a cada vector nuevo. MRL incorpora el orden durante el entrenamiento, por lo que el truncamiento consiste en recortar el vector.
  • Cuantización vectorial: Almacena cada vector con menos bits, en lugar de reducir el número de dimensiones. Ambos métodos se pueden combinar, por ejemplo, con prefijos MRL cuantizados en binario para una búsqueda inicial.
  • Poda de modelos y destilación de conocimiento: Reducen el tamaño del modelo que genera las representaciones vectoriales. MRL mantiene el codificador intacto y reduce solo su salida.
  • Reranker: Modelo independiente y más costoso que vuelve a puntuar una lista reducida. La recuperación adaptativa obtiene una versión más barata del mismo patrón de dos etapas a partir de una única representación MRL.

MRL en modelos de representación vectorial#

Los modelos text-embedding-3 de OpenAI, publicados en enero de 2024, permiten acortar las representaciones vectoriales mediante el parámetro dimensions, y text-embedding-3-large reducido a 256 dimensiones sigue superando en la prueba de referencia MTEB a text-embedding-ada-002, de 1.536 dimensiones. Sentence Transformers entrena modelos MRL con su MatryoshkaLoss, que se explica en la introducción de Hugging Face a los modelos de representación vectorial Matryoshka. EmbeddingGemma de Google, un modelo de representación vectorial de texto con unos 300 millones de parámetros, genera 768 dimensiones y ofrece 512, 256 y 128 mediante el truncamiento MRL.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático