Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Matryoshka Representation Learning (MRL)

Matryoshka Representation Learning huấn luyện embedding sao cho các chiều đầu tiên có thể hoạt động độc lập, nhờ đó có thể cắt ngắn một vector để giảm chi phí lưu trữ và tìm kiếm.

Học biểu diễn Matryoshka (MRL) là phương pháp huấn luyện giúp các chiều đầu của một embedding có thể được sử dụng độc lập như một embedding. Model được huấn luyện bằng MRL tạo ra một vector, chẳng hạn dài 768 chiều, trong đó có thể cắt 512, 256 hoặc 128 giá trị đầu tiên để dùng trực tiếp cho tìm kiếm hoặc phân loại, với độ chính xác giảm dần khi vector ngắn đi. Tên gọi bắt nguồn từ búp bê lồng nhau của Nga. Kusupati và cộng sự giới thiệu Học biểu diễn Matryoshka tại NeurIPS 2022 và báo cáo embedding nhỏ hơn tới 14 lần với độ chính xác phân loại ImageNet-1K tương đương, đồng thời truy xuất quy mô lớn nhanh hơn tới 14 lần.

Cách MRL hoạt động#

Model embedding tiêu chuẩn áp dụng hàm loss lên toàn bộ vector, khiến thông tin phân tán trên mọi chiều và việc cắt bớt sẽ làm mất một phần thông tin. MRL chọn một tập kích thước lồng nhau, thường tăng gấp đôi từ 8 đến toàn bộ độ rộng, áp dụng loss của tác vụ lên từng tiền tố embedding rồi cộng các loss lại. Mỗi tiền tố phải tự giải quyết được tác vụ, nhờ đó thông tin hữu ích nhất được đẩy vào các chiều đầu tiên. Encoder vẫn chỉ chạy một lần cho mỗi đầu vào, vì vậy chi phí huấn luyện chỉ cao hơn đôi chút; biến thể hiệu quả MRL-E dùng chung một classifier cho mọi kích thước, trong đó mỗi tiền tố sử dụng các cột đầu tiên của ma trận trọng số. Ví dụ bên dưới huấn luyện một model tiêu chuẩn và một model MRL trên bộ chữ số viết tay của scikit-learn, rồi phân loại tập kiểm thử từ các embedding bị cắt ngắn:

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

Cả hai model đều đạt độ chính xác kiểm thử 0.91 khi dùng đủ 64 chiều. Khi chỉ còn 4 chiều, model tiêu chuẩn giảm xuống 0.43 còn model MRL giữ được 0.88; với 2 chiều, điểm số lần lượt là 0.22 và 0.66.

Truy xuất thích ứng#

MRL giúp giảm chi phí tìm kiếm vector theo hai cách. Chỉ lưu tiền tố giúp thu nhỏ vector database tương ứng; còn truy xuất thích ứng, hay truy xuất dạng phễu, tìm kiếm toàn bộ tập hợp bằng tiền tố ngắn rồi chấm điểm lại danh sách rút gọn bằng các vector đầy đủ. Cần chuẩn hóa lại vector bị cắt về độ dài đơn vị trước khi tính độ tương đồng cosine hoặc tích vô hướng. Ultralytics Platform thực hiện tìm kiếm embedding trên các dataset: thao tác Tìm ảnh tương tự so sánh embedding của từng ảnh giữa các dataset công khai, cá nhân và nhóm, rồi trả về tối đa 24 ảnh gần nhất cùng điểm tương đồng; bộ chỉ mục dùng chung này tiêu tốn thêm bộ nhớ và chi phí tìm kiếm theo từng chiều embedding.

  • Giảm chiều: Các phương pháp như phân tích thành phần chính (PCA) khớp phép chiếu với một tập vector cố định sau khi huấn luyện, và cần lưu phép chiếu đó rồi áp dụng cho mọi vector mới. MRL đưa thứ tự chiều vào quá trình huấn luyện, vì vậy việc cắt ngắn chỉ là lấy một đoạn.
  • Lượng tử hóa vector: Lưu mỗi vector với ít bit hơn thay vì giảm số chiều. Có thể kết hợp hai phương pháp, chẳng hạn dùng tiền tố MRL được lượng tử hóa nhị phân cho lượt tìm kiếm đầu tiên.
  • Cắt tỉa model và chưng cất tri thức: Thu nhỏ model tạo embedding. MRL giữ nguyên encoder và chỉ thu nhỏ đầu ra.
  • Model xếp hạng lại: Model riêng biệt, tốn kém hơn, dùng để chấm điểm lại danh sách rút gọn. Truy xuất thích ứng có được phiên bản tiết kiệm hơn của cùng quy trình hai giai đoạn chỉ từ một embedding MRL.

MRL trong các model embedding#

Các model text-embedding-3 của OpenAI, ra mắt tháng 1 năm 2024, hỗ trợ rút ngắn embedding thông qua tham số dimensions; phiên bản text-embedding-3-large rút xuống 256 chiều vẫn vượt text-embedding-ada-002 1,536 chiều trên benchmark MTEB. Sentence Transformers huấn luyện model MRL bằng MatryoshkaLoss của mình, được đề cập trong giới thiệu về model embedding Matryoshka của Hugging Face. EmbeddingGemma của Google là model embedding văn bản có khoảng 300 triệu tham số, tạo đầu ra 768 chiều và hỗ trợ các kích thước 512, 256 và 128 bằng cách cắt ngắn theo MRL.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning