YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Matryoshka Representation Learning (MRL)

Matryoshka 표현 학습은 임베딩의 앞쪽 차원만으로도 작동하도록 학습하므로, 벡터 하나를 잘라 저장 및 검색 비용을 줄일 수 있습니다.

마트료시카 표현 학습(MRL)은 임베딩의 앞쪽 차원만으로도 임베딩처럼 사용할 수 있게 하는 학습 방법입니다. MRL로 학습한 모델은 예를 들어 길이가 768차원인 벡터 하나를 출력하며, 이 벡터의 앞 512개, 256개 또는 128개 값을 잘라 검색이나 분류에 바로 사용할 수 있습니다. 벡터가 짧아질수록 정확도는 점진적으로 낮아집니다. 이름은 러시아의 마트료시카 인형에서 유래했습니다. Kusupati 외 연구진은 NeurIPS 2022에서 마트료시카 표현 학습을 소개하고, 동일한 ImageNet-1K 분류 정확도를 유지하면서 임베딩 크기를 최대 14배 줄였으며 대규모 검색 속도를 최대 14배 높였다고 보고했습니다.

MRL의 작동 방식#

표준 임베딩 모델은 전체 벡터에 손실 함수를 적용하므로 정보가 모든 차원에 분산되고, 벡터를 잘라내면 정보 일부가 손실됩니다. MRL은 일반적으로 8부터 전체 차원까지 두 배씩 늘어나는 중첩 크기 집합을 선택하고, 임베딩의 각 접두 부분에 작업 손실을 적용한 다음 손실을 합산합니다. 각 접두 부분은 독립적으로 작업을 수행해야 하므로 가장 유용한 정보가 앞쪽 차원에 집중됩니다. 입력마다 인코더를 한 번만 실행하므로 학습 비용은 기존보다 약간만 증가합니다. 효율적인 변형인 MRL-E는 크기별로 분류기 하나를 공유하며, 각 접두 부분은 가중치 행렬의 앞쪽 열을 사용합니다. 아래 예제에서는 scikit-learn의 손글씨 숫자로 표준 모델과 MRL 모델을 학습하고, 잘라낸 임베딩으로 테스트 세트를 분류합니다:

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

두 모델 모두 64개 차원을 모두 사용하면 테스트 정확도 0.91을 달성합니다. 차원을 4개로 자르면 표준 모델의 정확도는 0.43으로 떨어지지만 MRL 모델은 0.88을 유지하며, 2개 차원에서는 각각 0.22와 0.66을 기록합니다.

적응형 검색#

MRL은 벡터 검색 비용을 두 가지 방식으로 줄입니다. 접두 부분만 저장하면 벡터 데이터베이스 크기를 그에 비례해 줄일 수 있으며, 적응형 검색 또는 퍼널 검색은 짧은 접두 부분으로 전체 컬렉션을 검색한 뒤 후보 목록을 전체 벡터로 재점수화합니다. 잘라낸 벡터는 코사인 유사도나 내적을 계산하기 전에 다시 단위 길이로 정규화해야 합니다. Ultralytics Platform은 데이터세트 전반에서 임베딩 검색을 실행합니다. 유사 이미지 찾기 작업은 공개, 개인, 팀 데이터세트 전반에서 이미지별 임베딩을 비교하고 유사도 점수와 함께 가장 가까운 이미지 최대 24개를 반환합니다. 이 공유 인덱스는 임베딩 차원이 늘어날수록 메모리 사용량과 검색 비용이 증가합니다.

  • 차원 축소: 주성분 분석(PCA)과 같은 방법은 학습이 끝난 후 고정된 벡터 집합에 맞춰 투영을 학습하므로, 새로운 벡터마다 해당 투영을 저장하고 적용해야 합니다. MRL은 학습 과정에 차원 순서를 반영하므로 슬라이스만으로 벡터를 자를 수 있습니다.
  • 벡터 양자화: 각 벡터의 차원 수가 아니라 비트 수를 줄여 저장합니다. 두 방법을 결합해 첫 단계 검색에 이진 양자화된 MRL 접두 부분을 사용할 수 있습니다.
  • 모델 가지치기 및 지식 증류: 임베딩을 생성하는 모델의 크기를 줄입니다. MRL은 인코더를 변경하지 않고 출력 크기만 줄입니다.
  • 재순위화 모델: 후보 목록을 재점수화하는 별도의 고비용 모델입니다. 적응형 검색은 단일 MRL 임베딩으로 동일한 2단계 패턴의 저비용 버전을 구현합니다.

임베딩 모델에서의 MRL#

OpenAI의 text-embedding-3 모델은 2024년 1월 공개되었으며 dimensions 매개변수를 통해 임베딩 단축을 지원합니다. 256차원으로 줄인 text-embedding-3-large도 MTEB 벤치마크에서 1,536차원 text-embedding-ada-002보다 성능이 높습니다. Sentence Transformers는 Hugging Face의 마트료시카 임베딩 모델 소개에서 다루는 MatryoshkaLoss를 사용해 MRL 모델을 학습합니다. 약 3억 개의 파라미터를 가진 Google의 EmbeddingGemma는 768차원을 출력하며 MRL로 잘라 512, 256, 128차원으로 사용할 수 있습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요