YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Matryoshka Representation Learning (MRL)

Beim Matryoshka Representation Learning werden Embeddings so trainiert, dass ihre führenden Dimensionen eigenständig funktionieren. So lässt sich ein Vektor kürzen, um Speicherbedarf und Suchaufwand zu verringern.

Matroschka-Repräsentationslernen (MRL) ist ein Trainingsverfahren, bei dem sich die führenden Dimensionen eines Embeddings eigenständig als Embedding verwenden lassen. Ein mit MRL trainiertes Modell gibt einen Vektor aus, beispielsweise mit 768 Dimensionen. Die ersten 512, 256 oder 128 Werte lassen sich abschneiden und direkt für die Suche oder Klassifizierung verwenden. Dabei sinkt die Genauigkeit allmählich, je kürzer der Vektor wird. Der Name leitet sich von russischen Matrjoschka-Puppen ab. Kusupati et al. stellten Matryoshka Representation Learning bei NeurIPS 2022 vor und berichteten von Embeddings, die bei gleicher Klassifizierungsgenauigkeit auf ImageNet-1K bis zu 14-mal kleiner waren, sowie von einer bis zu 14-mal schnelleren Suche in großen Datenbeständen.

So funktioniert MRL#

Ein herkömmliches Embedding-Modell wendet seine Verlustfunktion auf den gesamten Vektor an. Dadurch verteilt sich die Information über alle Dimensionen, und beim Abschneiden geht ein Teil davon verloren. MRL wählt eine Reihe ineinander verschachtelter Größen – üblicherweise Verdopplungen von 8 bis zur vollen Breite –, wendet den Aufgabenverlust auf jeden Präfix des Embeddings an und summiert die Verluste. Jeder Präfix muss die Aufgabe eigenständig lösen können. Dadurch gelangt die nützlichste Information in die ersten Dimensionen. Der Encoder wird weiterhin nur einmal pro Eingabe ausgeführt, sodass das Training kaum mehr kostet als zuvor. Bei der effizienten Variante MRL-E nutzen alle Größen denselben Klassifikator. Jeder Präfix verwendet dabei die ersten Spalten seiner Gewichtsmatrix. Das folgende Beispiel trainiert ein Standardmodell und ein MRL-Modell mit den handgeschriebenen Ziffern von scikit-learn und klassifiziert den Testsatz anhand gekürzter Embeddings:

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

Beide Modelle erreichen mit allen 64 Dimensionen eine Testgenauigkeit von 0.91. Bei einer Kürzung auf 4 Dimensionen fällt das Standardmodell auf 0.43, während das MRL-Modell 0.88 erreicht. Bei 2 Dimensionen liegen die Werte bei 0.22 und 0.66.

Adaptive Suche#

MRL macht die Vektorsuche auf zwei Arten kostengünstiger. Werden nur die Präfixe gespeichert, schrumpft die Vektordatenbank entsprechend. Bei der adaptiven Suche – auch Trichtersuche genannt – wird zunächst die gesamte Sammlung mithilfe eines kurzen Präfixes durchsucht. Anschließend wird eine Auswahlliste anhand der vollständigen Vektoren neu bewertet. Gekürzte Vektoren müssen vor der Berechnung des Kosinusähnlichkeitswerts oder von Skalarprodukten erneut auf Einheitslänge normiert werden. Die Ultralytics Platform ermöglicht die Suche anhand von Embeddings über Datensätze hinweg: Die Aktion Ähnliche Bilder finden vergleicht bildbezogene Embeddings in öffentlichen, persönlichen und Team-Datensätzen und gibt bis zu 24 der ähnlichsten Bilder mit ihren Ähnlichkeitswerten zurück. Der gemeinsame Index benötigt umso mehr Speicher und Suchaufwand, je mehr Dimensionen jedes Embedding hat.

  • Dimensionsreduktion: Verfahren wie die Hauptkomponentenanalyse (PCA) ermitteln nach dem Training eine Projektion für eine feste Menge von Vektoren. Diese Projektion muss gespeichert und auf jeden neuen Vektor angewendet werden. Bei MRL wird die Reihenfolge während des Trainings festgelegt, sodass das Abschneiden einem einfachen Ausschnitt entspricht.
  • Vektorquantisierung: Speichert jeden Vektor mit weniger Bits statt mit weniger Dimensionen. Beide Verfahren lassen sich kombinieren, etwa indem binär quantisierte MRL-Präfixe für die erste Suchrunde verwendet werden.
  • Modellbeschneidung und Wissensdestillation: Verkleinern das Modell, das Embeddings erzeugt. MRL lässt den Encoder unverändert und verkleinert nur seine Ausgabe.
  • Neubewerter: Ein separates, rechenintensiveres Modell, das eine Auswahlliste neu bewertet. Die adaptive Suche erhält dasselbe zweistufige Verfahren in einer kostengünstigeren Form aus einem einzigen MRL-Embedding.

MRL in Embedding-Modellen#

OpenAIs text-embedding-3-Modelle, die im Januar 2024 veröffentlicht wurden, unterstützen das Verkürzen von Embeddings über einen Parameter namens dimensions. Auch mit 256 Dimensionen übertrifft text-embedding-3-large im MTEB-Benchmark noch das 1,536-dimensionale text-embedding-ada-002. Sentence Transformers trainiert MRL-Modelle mit MatryoshkaLoss, das in Hugging Faces Einführung in Matroschka-Embedding-Modelle erläutert wird. Googles EmbeddingGemma, ein Text-Embedding-Modell mit ungefähr 300 Millionen Parametern, gibt 768 Dimensionen aus und unterstützt durch MRL-Kürzung auch 512, 256 und 128 Dimensionen.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens