Matryoshka Representation Learning (MRL)
Matryoshka Representation Learning, baştaki boyutları tek başına da işe yarayan gömmeleri eğitir; böylece daha düşük depolama maliyeti ve daha hızlı arama için tek bir vektör kısaltılabilir.
Matruşka Temsil Öğrenimi (MRL), gömmenin baştaki boyutlarını tek başına gömme olarak kullanılabilir hâle getiren bir eğitim yöntemidir. MRL ile eğitilmiş bir model, örneğin 768 boyut uzunluğunda tek bir vektör üretir; bu vektörün ilk 512, 256 veya 128 değeri kesilip doğrudan arama ya da sınıflandırma için kullanılabilir ve vektör küçüldükçe doğruluk kademeli olarak azalır. Adı Rus iç içe geçen bebeklerinden gelir. Kusupati ve diğerleri, Matruşka Temsil Öğrenimi yöntemini NeurIPS 2022'de tanıttı ve aynı ImageNet-1K sınıflandırma doğruluğunda 14 kata kadar daha küçük gömmeler ve büyük ölçekli erişimde 14 kata kadar hızlanma bildirdi.
MRL Nasıl Çalışır?#
Standart bir gömme modeli, kayıp fonksiyonunu vektörün tamamına uygular; bu nedenle bilgi tüm boyutlara yayılır ve vektör kırpıldığında bilginin bir kısmı kaybolur. MRL, genellikle 8'den tam genişliğe kadar ikiye katlanan iç içe boyutlar kümesi seçer, görevin kaybını gömmenin her önekine uygular ve kayıpları toplar. Her önek görevi tek başına çözmek zorunda olduğundan, en yararlı bilgi ilk boyutlarda toplanır. Kodlayıcı her girdi için yine bir kez çalışır; dolayısıyla eğitim maliyeti öncekinden yalnızca biraz fazladır. Verimli MRL-E sürümü, tüm boyutlar arasında tek bir sınıflandırıcı paylaşır ve her önek ağırlık matrisinin ilk sütunlarını kullanır. Aşağıdaki örnek, scikit-learn'ün el yazısı rakamları üzerinde standart bir modeli ve MRL modelini eğitir; ardından kesilmiş gömmelerle test kümesini sınıflandırır:
import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits
torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64] # train/test split and nested prefixes of a 64-dim embedding
for nested in (False, True):
encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
head = torch.nn.Linear(64, 10) # shared classifier: its first d columns score a d-dim prefix
optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
sizes = dims if nested else [64] # MRL adds a loss for every prefix, a standard model only for all 64
for step in range(500):
z = encoder(x[:n])
loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
optimizer.zero_grad()
loss.backward()
optimizer.step()
z = encoder(x[n:]).detach() # test embeddings, classified from each truncated prefix
accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
print("MRL: " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))Her iki model de 64 boyutun tamamıyla 0.91 test doğruluğuna ulaşır. Boyut 4'e kesildiğinde standart model 0.43'e düşerken MRL modeli 0.88'i korur; boyut 2'de puanlar sırasıyla 0.22 ve 0.66 olur.
Uyarlanabilir Erişim#
MRL, vektör aramasını iki şekilde ucuzlatır. Yalnızca öneki depolamak, vektör veri tabanını aynı oranda küçültür; uyarlanabilir veya huni tipi erişim ise tüm koleksiyonda kısa bir önekle arama yaptıktan sonra kısa listedeki sonuçları tam vektörlerle yeniden puanlar. Kesilmiş vektörler, kosinüs benzerliği veya nokta çarpımları hesaplanmadan önce tekrar birim uzunluğa normalize edilmelidir. Ultralytics Platform, veri kümeleri genelinde gömme araması yapar: Benzer görüntüleri bul eylemi, herkese açık, kişisel ve ekip veri kümelerindeki görüntü başına gömmeleri karşılaştırır ve benzerlik puanlarıyla birlikte en yakın 24 görüntüye kadar sonuç döndürür. Bu ortak dizinin bellek ve arama maliyeti, gömme boyutu arttıkça yükselir.
MRL ve İlgili Kavramlar#
- Boyut indirgeme: Temel bileşen analizi (PCA) gibi yöntemler, eğitimden sonra sabit bir vektör kümesine izdüşüm uydurur; izdüşümün saklanması ve her yeni vektöre uygulanması gerekir. MRL sıralamayı eğitime yerleştirir; böylece kırpma yalnızca bir dilim alma işlemidir.
- Vektör nicelemesi: Her vektörü daha az boyutla değil, daha az bit kullanarak saklar. Bu iki yöntem birleştirilebilir; örneğin ilk aşama arama için ikili nicelemeli MRL önekleri kullanılabilir.
- Model budama ve bilgi damıtma: Gömme üreten modeli küçültür. MRL kodlayıcıyı değiştirmez, yalnızca çıktısını küçültür.
- Yeniden sıralayıcı: Kısa listedeki sonuçları yeniden puanlayan, ayrı ve daha maliyetli bir modeldir. Uyarlanabilir erişim, aynı iki aşamalı yapının daha ucuz bir sürümünü tek bir MRL gömmesinden elde eder.
Gömme Modellerinde MRL#
OpenAI'nin Ocak 2024'te yayımlanan text-embedding-3 modelleri, dimensions parametresi aracılığıyla gömmelerin kısaltılmasını destekler. 256 boyuta kısaltılan text-embedding-3-large, MTEB kıyaslamasında 1.536 boyutlu text-embedding-ada-002 modelinden hâlâ daha iyi performans gösterir. Sentence Transformers, Hugging Face'in Matruşka gömme modellerine giriş yazısında ele alınan MatryoshkaLoss ile MRL modellerini eğitir. Yaklaşık 300 milyon parametreli bir metin gömme modeli olan Google'ın EmbeddingGemma modeli 768 boyut üretir ve MRL kırpmasıyla 512, 256 ve 128 boyut seçenekleri sunar.










