Matryoshka Representation Learning (MRL)
Matryoshka 표현 학습은 임베딩의 앞쪽 차원만으로도 작동하도록 학습하므로, 벡터 하나를 잘라 저장 및 검색 비용을 줄일 수 있습니다.
마트료시카 표현 학습(MRL)은 임베딩의 앞쪽 차원만으로도 임베딩처럼 사용할 수 있게 하는 학습 방법입니다. MRL로 학습한 모델은 예를 들어 길이가 768차원인 벡터 하나를 출력하며, 이 벡터의 앞 512개, 256개 또는 128개 값을 잘라 검색이나 분류에 바로 사용할 수 있습니다. 벡터가 짧아질수록 정확도는 점진적으로 낮아집니다. 이름은 러시아의 마트료시카 인형에서 유래했습니다. Kusupati 외 연구진은 NeurIPS 2022에서 마트료시카 표현 학습을 소개하고, 동일한 ImageNet-1K 분류 정확도를 유지하면서 임베딩 크기를 최대 14배 줄였으며 대규모 검색 속도를 최대 14배 높였다고 보고했습니다.
MRL의 작동 방식#
표준 임베딩 모델은 전체 벡터에 손실 함수를 적용하므로 정보가 모든 차원에 분산되고, 벡터를 잘라내면 정보 일부가 손실됩니다. MRL은 일반적으로 8부터 전체 차원까지 두 배씩 늘어나는 중첩 크기 집합을 선택하고, 임베딩의 각 접두 부분에 작업 손실을 적용한 다음 손실을 합산합니다. 각 접두 부분은 독립적으로 작업을 수행해야 하므로 가장 유용한 정보가 앞쪽 차원에 집중됩니다. 입력마다 인코더를 한 번만 실행하므로 학습 비용은 기존보다 약간만 증가합니다. 효율적인 변형인 MRL-E는 크기별로 분류기 하나를 공유하며, 각 접두 부분은 가중치 행렬의 앞쪽 열을 사용합니다. 아래 예제에서는 scikit-learn의 손글씨 숫자로 표준 모델과 MRL 모델을 학습하고, 잘라낸 임베딩으로 테스트 세트를 분류합니다:
import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits
torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64] # train/test split and nested prefixes of a 64-dim embedding
for nested in (False, True):
encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
head = torch.nn.Linear(64, 10) # shared classifier: its first d columns score a d-dim prefix
optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
sizes = dims if nested else [64] # MRL adds a loss for every prefix, a standard model only for all 64
for step in range(500):
z = encoder(x[:n])
loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
optimizer.zero_grad()
loss.backward()
optimizer.step()
z = encoder(x[n:]).detach() # test embeddings, classified from each truncated prefix
accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
print("MRL: " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))두 모델 모두 64개 차원을 모두 사용하면 테스트 정확도 0.91을 달성합니다. 차원을 4개로 자르면 표준 모델의 정확도는 0.43으로 떨어지지만 MRL 모델은 0.88을 유지하며, 2개 차원에서는 각각 0.22와 0.66을 기록합니다.
적응형 검색#
MRL은 벡터 검색 비용을 두 가지 방식으로 줄입니다. 접두 부분만 저장하면 벡터 데이터베이스 크기를 그에 비례해 줄일 수 있으며, 적응형 검색 또는 퍼널 검색은 짧은 접두 부분으로 전체 컬렉션을 검색한 뒤 후보 목록을 전체 벡터로 재점수화합니다. 잘라낸 벡터는 코사인 유사도나 내적을 계산하기 전에 다시 단위 길이로 정규화해야 합니다. Ultralytics Platform은 데이터세트 전반에서 임베딩 검색을 실행합니다. 유사 이미지 찾기 작업은 공개, 개인, 팀 데이터세트 전반에서 이미지별 임베딩을 비교하고 유사도 점수와 함께 가장 가까운 이미지 최대 24개를 반환합니다. 이 공유 인덱스는 임베딩 차원이 늘어날수록 메모리 사용량과 검색 비용이 증가합니다.
MRL과 관련 개념 비교#
- 차원 축소: 주성분 분석(PCA)과 같은 방법은 학습이 끝난 후 고정된 벡터 집합에 맞춰 투영을 학습하므로, 새로운 벡터마다 해당 투영을 저장하고 적용해야 합니다. MRL은 학습 과정에 차원 순서를 반영하므로 슬라이스만으로 벡터를 자를 수 있습니다.
- 벡터 양자화: 각 벡터의 차원 수가 아니라 비트 수를 줄여 저장합니다. 두 방법을 결합해 첫 단계 검색에 이진 양자화된 MRL 접두 부분을 사용할 수 있습니다.
- 모델 가지치기 및 지식 증류: 임베딩을 생성하는 모델의 크기를 줄입니다. MRL은 인코더를 변경하지 않고 출력 크기만 줄입니다.
- 재순위화 모델: 후보 목록을 재점수화하는 별도의 고비용 모델입니다. 적응형 검색은 단일 MRL 임베딩으로 동일한 2단계 패턴의 저비용 버전을 구현합니다.
임베딩 모델에서의 MRL#
OpenAI의 text-embedding-3 모델은 2024년 1월 공개되었으며 dimensions 매개변수를 통해 임베딩 단축을 지원합니다. 256차원으로 줄인 text-embedding-3-large도 MTEB 벤치마크에서 1,536차원 text-embedding-ada-002보다 성능이 높습니다. Sentence Transformers는 Hugging Face의 마트료시카 임베딩 모델 소개에서 다루는 MatryoshkaLoss를 사용해 MRL 모델을 학습합니다. 약 3억 개의 파라미터를 가진 Google의 EmbeddingGemma는 768차원을 출력하며 MRL로 잘라 512, 256, 128차원으로 사용할 수 있습니다.










