Vector Quantization

Векторное квантование — это мощный метод сжатия и дискретизации данных, который широко используется в современном машинном обучении (ML) и цифровой обработке сигналов. По сути, он работает путем разделения большого набора непрерывных точек или векторов на группы, где каждая группа представляется одним «прототипным» вектором, что в совокупности формирует структуру, называемую кодовой книгой. Отображая непрерывные многомерные векторы в эти дискретные записи кодовой книги, системы могут значительно сократить использование памяти, сохраняя при этом важные семантические характеристики данных для эффективного понижения размерности.

Link to this sectionРоль дискретизации в глубоком обучении#

В современном глубоком обучении (DL) эта концепция получила широкую известность благодаря вариационному автокодировщику с векторным квантованием (VQ-VAE). В отличие от стандартных автокодировщиков, которые обучают непрерывное латентное пространство для выполнения извлечения признаков, VQ-VAE обучаются дискретному представлению. Это позволяет генеративным моделям обрабатывать изображения, аудио или видео как последовательность дискретных токенов, подобно тому, как большие языковые модели (LLM) обрабатывают текстовые входные данные. Ты можешь изучить фундаментальные исследования по обучению дискретным представлениям, чтобы увидеть, как ранние реализации проложили путь для современных систем компьютерного зрения, основанных на токенах.

Link to this sectionРеальные приложения#

Векторное квантование играет решающую роль в ряде реальных приложений ИИ, где производительность и эффективность памяти имеют первостепенное значение:

• Генеративный ИИ и сжатие медиаданных: Сжимая сложные визуальные данные в дискретные латентные коды, векторное квантование обеспечивает высокоэффективную генерацию изображений и видео. Модели, отображающие непрерывные пиксели в дискретные токены, значительно снижают вычислительные затраты, что помогает таким продвинутым архитектурам, как латентные диффузионные модели.
• Высокоскоростной векторный поиск: Для выполнения быстрого поиска по сходству современным системам приходится обрабатывать миллионы эмбеддингов. Векторное квантование сжимает эти огромные наборы данных, позволяя поисковым движкам выполнять быстрый приближенный поиск ближайших соседей (ANN), что крайне полезно для ИИ в розничной торговле и систем рекомендаций товаров. Загляни в руководство OpenAI по эмбеддингам для получения дополнительной информации о работе с многомерными данными.

Link to this sectionРазграничение похожих концепций#

Понимание различий между векторным квантованием и схожими терминами полезно при проектировании эффективной архитектуры компьютерного зрения (CV):

• Векторное квантование против квантования моделей: Квантование моделей обычно означает снижение численной точности весов нейронной сети (например, с 32-битного числа с плавающей запятой до 8-битного целого числа) для ускорения вывода при развертывании на оборудовании таких моделей, как Ultralytics YOLO26. Векторное же квантование кластеризует векторы данных в фиксированный словарь дискретных прототипов.
• Векторное квантование против векторной базы данных: Векторная база данных — это инфраструктура для хранения многомерных данных. Векторное квантование является базовым алгоритмическим методом, часто используемым такими базами данных для минимизации занимаемой ими памяти, как подробно описано в пояснении Qdrant о векторной обработке.
• Векторное квантование против векторного поиска: Векторный поиск — это активный процесс нахождения похожих элементов на основе близости векторов. Квантование выступает в качестве структурного уровня оптимизации, делающего этот поиск вычислительно возможным в огромных масштабах.

Link to this sectionПример базовой реализации#

Чтобы увидеть, как векторное квантование отображает непрерывные входные данные в дискретные токены на практике, ты можешь использовать PyTorch для вычисления евклидовых расстояний и нахождения ближайшего прототипа в заранее заданной кодовой книге:

import torch

# Define a continuous input batch and a discrete codebook vocabulary
inputs = torch.randn(4, 128)  # 4 input vectors of dimension 128
codebook = torch.randn(10, 128)  # 10 discrete prototype vectors

# Compute distances and find the nearest codebook index for each input
distances = torch.cdist(inputs, codebook)
quantized_indices = torch.argmin(distances, dim=1)

# Retrieve the discrete quantized vectors corresponding to the inputs
quantized_vectors = codebook[quantized_indices]

Для детального ознакомления с вычислением тензорных расстояний нативно и оптимизацией этих операций обратись к официальной документации PyTorch cdist.

Link to this sectionУлучшение рабочих процессов с помощью платформы Ultralytics#

Integrating optimized embeddings into your pipeline requires robust tooling. The Ultralytics Platform provides an end-to-end environment for curating training data and training state-of-the-art vision models. By streamlining data management and simplifying model deployment, developers can effortlessly generate high-quality visual features suitable for vector quantization, leading to faster object detection and large-scale media retrieval applications.