Matryoshka Representation Learning (MRL)

Học biểu diễn Matryoshka (MRL) là kỹ thuật huấn luyện trong lĩnh vực trí tuệ nhân tạo (AI) và machine learning (ML), buộc mạng nơ-ron học embedding nhiều mức độ hạt trong cùng một vector đầu ra. Lấy cảm hứng từ búp bê lồng nhau của Nga, MRL cấu trúc embedding sao cho thông tin ngữ nghĩa quan trọng được xếp ở đầu. Điều này có nghĩa vector nhiều chiều (ví dụ 1024 chiều) có thể được cắt ngắn thành các tập con lồng nhau nhỏ hơn (như 512, 256 hoặc 64 chiều) mà không làm mất biểu diễn nền tảng. Tính linh hoạt này giúp giảm đáng kể chi phí tính toán thường gắn với các tác vụ truy xuất thông tin.

Cách hoạt động của học biểu diễn Matryoshka#

Theo cách truyền thống, model embedding được huấn luyện để tối ưu một hàm mất mát cụ thể cho kích thước đầu ra cố định. Nếu hệ thống cần vector nhỏ hơn để tiết kiệm bộ nhớ, phải huấn luyện một model hoàn toàn mới. MRL giải quyết vấn đề này bằng cách áp dụng hàm mất mát lồng nhau trong giai đoạn huấn luyện. Phương pháp này tối ưu đồng thời toàn bộ biểu diễn và các tập con lồng nhau. Các tổ chức như OpenAI đã áp dụng MRL cho API embedding hiện đại, cho phép nhà phát triển linh hoạt loại bỏ các chiều ở cuối vector mà vẫn duy trì điểm độ tương đồng cosine chính xác.

Ứng dụng thực tế#

MRL mang lại những lợi ích riêng biệt khi cần cân bằng độ chính xác với chi phí lưu trữ và băng thông bộ nhớ.

• Tìm kiếm vector thích ứng cho LLM: Trong pipeline tạo sinh tăng cường truy xuất (RAG), mô hình ngôn ngữ lớn (LLMs) thường dựa vào cơ sở dữ liệu vector quy mô lớn. Với MRL, doanh nghiệp có thể thực hiện tìm kiếm ngữ nghĩa thô nhanh bằng 64 chiều đầu tiên của embedding, sau đó xếp hạng lại các kết quả hàng đầu bằng vector đầy đủ 1024 chiều. Phương pháp hai lượt này giúp tăng tốc đáng kể tìm kiếm vector và giảm chi phí lưu trữ cơ sở dữ liệu.
• Thị giác máy tính mở rộng quy mô trên thiết bị biên: Khi triển khai hệ thống thị giác máy tính bằng Nền tảng Ultralytics, giới hạn phần cứng có thể rất khác nhau. Model sử dụng MRL có thể truyền embedding thị giác đầy đủ đến máy chủ triển khai trên cloud mạnh mẽ, nhưng vẫn có thể linh hoạt chuyển sang truyền embedding 128 chiều đã cắt ngắn khi hoạt động trên thiết bị điện toán biên công suất thấp, tối ưu hóa độ trễ mà không cần huấn luyện lại model.

Phân biệt các khái niệm liên quan#

Để sử dụng MRL hiệu quả, cần phân biệt phương pháp này với các kỹ thuật nén dữ liệu cũ hơn.

• MRL và Giảm chiều: Các thuật toán như PCA (Phân tích thành phần chính) hoặc t-SNE được áp dụng sau khi huấn luyện để nén dữ liệu. Ngược lại, MRL được tích hợp nguyên bản vào kiến trúc mạng nơ-ron trong quá trình huấn luyện, nhờ đó bảo toàn các quan hệ phi tuyến sâu hơn.
• MRL và Cắt tỉa Model: Cắt tỉa loại bỏ trọng số và lớp khỏi mạng nơ-ron thực tế để tăng tốc suy luận, chẳng hạn như tạo biến thể nhỏ hơn của model Ultralytics YOLO. MRL không thay đổi kích thước model; phương pháp này chỉ thay đổi kích thước vector đầu ra do model tạo ra.

Triển khai thực tế#

Việc cắt ngắn embedding MRL vô cùng đơn giản và không cần logic lập chỉ mục ngữ nghĩa phức tạp. Vì các đặc trưng quan trọng nhất có trọng số lớn ở những chiều đầu tiên, bạn chỉ cần cắt mảng. Ví dụ sau minh họa cách cắt ngắn đầu ra đa phương thức mô phỏng của YOLO26 bằng các phép toán tensor cơ bản của PyTorch.

import torch

# Simulate a full 1024-dimensional MRL embedding returned by a model
full_embedding = torch.rand(1, 1024)

# To deploy on memory-constrained hardware, simply slice the first 256 dimensions
# Because the model was trained with MRL, this subset remains highly accurate
truncated_embedding = full_embedding[:, :256]

print(f"Original size: {full_embedding.shape[1]}, Compressed size: {truncated_embedding.shape[1]}")