Vector Quantization

Lượng tử hóa vector là một kỹ thuật nén và rời rạc hóa dữ liệu mạnh mẽ, được sử dụng rộng rãi trong học máy (ML) hiện đại và xử lý tín hiệu số. Về cốt lõi, kỹ thuật này chia một tập hợp lớn các điểm hoặc vector liên tục thành nhiều nhóm và biểu diễn mỗi nhóm bằng một vector "nguyên mẫu" duy nhất, cùng nhau tạo thành một cấu trúc được gọi là bảng mã. Bằng cách ánh xạ các vector liên tục có số chiều cao tới những mục rời rạc trong bảng mã này, hệ thống có thể giảm đáng kể mức sử dụng bộ nhớ trong khi vẫn bảo toàn các đặc trưng ngữ nghĩa thiết yếu của dữ liệu để giảm số chiều hiệu quả.

Vai trò của việc rời rạc hóa trong học sâu#

Trong học sâu (DL) hiện đại, khái niệm này được phổ biến rộng rãi nhờ Autoencoder biến phân lượng tử hóa vector (VQ-VAE). Khác với các autoencoder tiêu chuẩn học một không gian ẩn liên tục để thực hiện trích xuất đặc trưng, VQ-VAE học một biểu diễn rời rạc. Điều này cho phép các model generative xử lý hình ảnh, âm thanh hoặc video dưới dạng một chuỗi token rời rạc, tương tự cách Các mô hình ngôn ngữ lớn (LLMs) xử lý đầu vào văn bản. Bạn có thể tìm hiểu các nghiên cứu nền tảng về học biểu diễn rời rạc để thấy cách những triển khai ban đầu đã mở đường cho các hệ thống thị giác dựa trên token hiện đại.

Các ứng dụng trong thực tế#

Lượng tử hóa vector đóng vai trò quan trọng trong nhiều ứng dụng AI thực tế, nơi hiệu năng và hiệu quả sử dụng bộ nhớ là yếu tố then chốt:

• AI tạo sinh và nén media: Bằng cách nén dữ liệu hình ảnh phức tạp thành các mã ẩn rời rạc, lượng tử hóa vector cho phép tạo hình ảnh và video với hiệu quả cao. Các model ánh xạ pixel liên tục thành token rời rạc giúp giảm đáng kể chi phí tính toán, hỗ trợ các kiến trúc tiên tiến như model khuếch tán ẩn.
• Truy xuất vector tốc độ cao: Để thực hiện tìm kiếm tương đồng nhanh chóng, các hệ thống hiện đại phải truy vấn hàng triệu embedding. Lượng tử hóa vector nén các tập dữ liệu khổng lồ này, cho phép các engine truy xuất thực hiện nhanh các tìm kiếm láng giềng gần nhất xấp xỉ (ANN), đặc biệt hữu ích cho AI trong bán lẻ và các hệ thống đề xuất sản phẩm. Hãy xem hướng dẫn về embedding của OpenAI để có thêm thông tin về việc xử lý dữ liệu nhiều chiều.

Phân biệt các khái niệm liên quan#

Hiểu rõ sắc thái khác biệt giữa lượng tử hóa vector và các thuật ngữ tương tự rất hữu ích khi thiết kế một kiến trúc thị giác máy tính (CV) hiệu quả:

• Lượng tử hóa vector so với lượng tử hóa model: Lượng tử hóa model thường đề cập đến việc giảm độ chính xác số của các trọng số mạng neural (ví dụ: từ số dấu phẩy động 32-bit xuống số nguyên 8-bit) để tăng tốc suy luận khi triển khai các model như Ultralytics YOLO26 trên phần cứng. Tuy nhiên, lượng tử hóa vector phân cụm các vector dữ liệu thành một từ vựng cố định gồm các vector nguyên mẫu rời rạc.
• Lượng tử hóa vector so với cơ sở dữ liệu vector: Cơ sở dữ liệu vector là hạ tầng thực tế lưu trữ dữ liệu nhiều chiều. Lượng tử hóa vector là một kỹ thuật thuật toán nền tảng thường được các cơ sở dữ liệu này sử dụng để giảm dung lượng bộ nhớ, như được trình bày chi tiết trong giải thích của Qdrant về việc xử lý vector.
• Lượng tử hóa vector so với tìm kiếm vector: Tìm kiếm vector là quá trình chủ động tìm các mục tương tự dựa trên độ gần giữa các vector. Lượng tử hóa hoạt động như một lớp tối ưu hóa cấu trúc, giúp quá trình tìm kiếm khả thi về mặt tính toán ở quy mô cực lớn.

Ví dụ triển khai cơ bản#

Để xem cách lượng tử hóa vector ánh xạ các đầu vào liên tục thành token rời rạc trong thực tế, bạn có thể sử dụng PyTorch để tính khoảng cách Euclid và tìm vector nguyên mẫu gần nhất trong một bảng mã được định nghĩa trước:

import torch

# Define a continuous input batch and a discrete codebook vocabulary
inputs = torch.randn(4, 128)  # 4 input vectors of dimension 128
codebook = torch.randn(10, 128)  # 10 discrete prototype vectors

# Compute distances and find the nearest codebook index for each input
distances = torch.cdist(inputs, codebook)
quantized_indices = torch.argmin(distances, dim=1)

# Retrieve the discrete quantized vectors corresponding to the inputs
quantized_vectors = codebook[quantized_indices]

Để tìm hiểu chuyên sâu về cách tính khoảng cách tensor bằng các API gốc và tối ưu hóa những phép toán này, hãy tham khảo tài liệu chính thức về cdist của PyTorch.

Nâng cao quy trình làm việc với Nền tảng Ultralytics#

Việc tích hợp các embedding đã tối ưu vào pipeline của bạn đòi hỏi bộ công cụ mạnh mẽ. Nền tảng Ultralytics cung cấp một môi trường đầu-cuối để tuyển chọn dữ liệu huấn luyện và huấn luyện các model thị giác tiên tiến. Bằng cách tinh gọn việc quản lý dữ liệu và đơn giản hóa triển khai model, các developer có thể dễ dàng tạo ra các đặc trưng hình ảnh chất lượng cao phù hợp cho lượng tử hóa vector, từ đó hỗ trợ các ứng dụng phát hiện đối tượng nhanh hơn và truy xuất media quy mô lớn.