Vector Quantization

Lượng tử hóa vector (VQ) là một kỹ thuật nén, thay mỗi vector trong tập dữ liệu bằng chỉ mục của phần tử gần nhất trong một tập nhỏ các vector đại diện gọi là codebook. Khi mã hóa, chỉ mục được lưu lại; khi giải mã, chỉ mục được tra cứu; sai số tái tạo là khoảng cách giữa vector ban đầu và codeword tương ứng. Codebook gồm K phần tử cần log₂(K) bit cho mỗi vector, bất kể vector có bao nhiêu chiều, vì vậy codebook 256 phần tử lưu được một vector bất kỳ trong một byte. VQ bắt nguồn từ xử lý tín hiệu: thuật toán Bell Labs năm 1957 của Stuart Lloyd để thiết kế bộ lượng tử hóa vô hướng, được công bố năm 1982, nay thường được gọi là k-means; năm 1980, Yoseph Linde, Andrés Buzo và Robert Gray đã mở rộng thuật toán này sang vector. Trong deep learning, VQ trở thành phương pháp tiêu chuẩn để chuyển ảnh, âm thanh và video thành các token rời rạc cho AI tạo sinh.

Cách lượng tử hóa vector hoạt động#

Codebook thường được học bằng phân cụm k-means: gán từng vector huấn luyện cho từ mã gần nhất, chuyển mỗi từ mã về giá trị trung bình của các vector được gán cho nó, rồi lặp lại; quy trình này không bao giờ làm tăng độ méo trung bình. Lượng tử hóa màu minh họa toàn bộ quy trình trên các pixel của một bức ảnh, sử dụng module scipy.cluster.vq của SciPy:

import numpy as np
from scipy.cluster.vq import kmeans2, vq
from sklearn.datasets import load_sample_image

image = load_sample_image("china.jpg")  # 427 x 640 RGB photo bundled with scikit-learn
pixels = image.reshape(-1, 3).astype(np.float64)  # one 3-D color vector per pixel

# Learn a 16-entry codebook with k-means (Lloyd's algorithm) on a sample of pixels
rng = np.random.default_rng(0)
codebook, _ = kmeans2(rng.choice(pixels, 5000), 16, minit="++", seed=0)

# Encode: replace each pixel with the index of its nearest codeword (4 bits instead of 24)
indices, _ = vq(pixels, codebook)
# Decode: look each index up in the codebook
reconstruction = codebook[indices]

rmse = np.sqrt(((pixels - reconstruction) ** 2).mean())
print(f"{len(pixels):,} pixels, {len(codebook)} codewords, 24 -> 4 bits per pixel")
print(f"Reconstruction RMSE: {rmse:.1f} on the 0-255 scale")

Toàn bộ 273,280 pixel được lưu dưới dạng chỉ số 4 bit trỏ đến 16 màu, giúp giảm lượng dữ liệu màu xuống còn một phần sáu so với RGB 24 bit, với sai số căn trung bình bình phương là 11.3 mức cường độ trên thang 255.

Lượng tử hóa vô hướng là trường hợp một chiều, còn lượng tử hóa model áp dụng kỹ thuật này cho mạng nơ-ron. Ultralytics YOLO26 sử dụng kỹ thuật này khi export: quantize=8 làm tròn riêng từng trọng số và activation về một trong 256 mức nguyên, với các dải activation được đo trong một lượt hiệu chuẩn qua các ảnh trong data. Lượng tử hóa toàn bộ vector cùng lúc khai thác tương quan giữa các chiều; ở cùng tốc độ bit, bộ lượng tử hóa vector tối ưu không bao giờ có độ méo cao hơn bộ lượng tử hóa vô hướng tối ưu áp dụng riêng cho từng giá trị.

Lượng tử hóa tích và lượng tử hóa phần dư#

Một codebook đơn lẻ tăng theo cấp số mũ khi ngân sách bit tăng, vì 64 bit sẽ cần 2⁶⁴ codeword. Lượng tử hóa tích, do Hervé Jégou, Matthijs Douze và Cordelia Schmid giới thiệu năm 2011, chia mỗi vector thành m vector con và lượng tử hóa từng vector bằng một codebook 256 phần tử riêng. Với m = 8, một embedding float32 128 chiều giảm từ 512 byte xuống còn 8 byte, và khoảng cách tới truy vấn được tính bằng các bảng tra cứu nhỏ. Thư viện FAISS của Meta kết hợp phương pháp này với chỉ mục inverted file, một bộ lượng tử hóa k-means thô giúp giới hạn mỗi truy vấn trong một vài cụm, để thực hiện tìm kiếm vector ở quy mô hàng tỷ vector.

Thay vào đó, lượng tử hóa phần dư xếp chồng các codebook: codebook thứ hai lượng tử hóa sai số còn lại sau codebook thứ nhất, codebook thứ ba lượng tử hóa sai số còn lại sau codebook thứ hai, v.v. Codec âm thanh nơ-ron SoundStream (2021) của Google và EnCodec (2022) của Meta dùng phương pháp này để nén giọng nói và âm nhạc xuống vài kilobit mỗi giây; mô hình hóa tự hồi quy thị giác (VAR) áp dụng phương pháp này trên các độ phân giải ảnh.

VQ-VAE và token ảnh#

Aäron van den Oord, Oriol Vinyals và Koray Kavukcuoglu của DeepMind giới thiệu VQ-VAE trong bài báo Neural Discrete Representation Learning năm 2017. Đầu ra encoder tại mỗi vị trí không gian của autoencoder được thay bằng từ mã gần nhất, rồi decoder tái tạo đầu vào từ các từ mã đó. Việc tra cứu láng giềng gần nhất không có gradient, vì vậy một bộ ước lượng truyền thẳng sao chép gradient của decoder đi qua phép tra cứu trong quá trình lan truyền ngược, được viết bằng PyTorch như sau: z_q = z + (z_q - z).detach(). Hai thành phần loss bổ sung kéo các từ mã về phía đầu ra encoder và buộc encoder gắn với những từ mã đã chọn; trong bài báo, thành phần thứ hai có trọng số 0.25.

Các lưới token thu được đưa vào một model thứ hai, thường là transformer, để học cách tạo ra chúng. VQGAN (2021) bổ sung loss đối kháng và loss cảm nhận để tạo token sắc nét hơn, rồi trở thành tokenizer đứng sau nhiều model chuyển văn bản thành ảnh. Một lỗi thường gặp là sụp đổ codebook, khi phần lớn từ mã không bao giờ được chọn khiến từ vựng hữu hiệu thu nhỏ lại. Khởi tạo bằng k-means, cập nhật codebook bằng trung bình trượt và đặt lại các mã không được sử dụng giúp khắc phục lỗi này; lượng tử hóa vô hướng hữu hạn (FSQ, 2023) của Google tránh được lỗi bằng cách làm tròn từng chiều ẩn trong số ít chiều về một số mức cố định, nhờ vậy mọi mã trong codebook ngầm định đều có thể được chọn.

Lượng tử hóa vector và các thuật ngữ liên quan#

• Cơ sở dữ liệu vector: Lưu trữ và lập chỉ mục embedding, thường áp dụng lượng tử hóa tích nội bộ để tiết kiệm bộ nhớ.
• Giảm chiều: Ánh xạ vector sang số chiều liên tục ít hơn, như PCA thực hiện; VQ thì ánh xạ mỗi vector thành một mã rời rạc.
• Token hóa: Chia văn bản thành các đơn vị thuộc một từ vựng cố định; VQ tạo ra từ vựng tương đương cho các tín hiệu liên tục như vùng ảnh và khung hình âm thanh.