Vector Quantization

ベクトル量子化は、現代の機械学習 (ML)やデジタル信号処理において広く使用されている強力なデータ圧縮・離散化手法です。その中心的な仕組みは、連続的な点やベクトルの大きな集合をグループに分割し、各グループを単一の「プロトタイプ」ベクトルで表現することにあり、これらが集合してコードブックと呼ばれる構造を形成します。連続的な高次元ベクトルをこれらの離散的なコードブックエントリにマッピングすることで、システムはメモリ使用量を大幅に削減しつつ、効果的な次元削減のためにデータの重要な意味特性を維持できます。

Link to this sectionディープラーニングにおける離散化の役割#

In contemporary deep learning (DL), this concept was famously popularized by the Vector Quantized Variational Autoencoder (VQ-VAE). Unlike standard autoencoders that learn a continuous latent space to perform feature extraction, VQ-VAEs learn a discrete representation. This allows generative models to treat images, audio, or video as a sequence of discrete tokens, similar to how Large Language Models (LLMs) process text inputs. You can explore foundational research on discrete representation learning to see how early implementations paved the way for modern token-based vision systems.

Link to this section実社会での応用#

ベクトル量子化は、パフォーマンスとメモリ効率が最重要視されるいくつかの実際のAIアプリケーションにおいて重要な役割を果たします：

• 生成AIとメディア圧縮: 複雑な視覚データを離散的な潜在コードに圧縮することで、ベクトル量子化は非常に効率的な画像およびビデオ生成を可能にします。連続的なピクセルを離散トークンにマッピングするモデルは、計算オーバーヘッドを大幅に削減し、潜在拡散モデルのような高度なアーキテクチャを支援します。
• 高速ベクトル検索: 高速な類似性検索を実行するために、現代のシステムは何百万もの埋め込み (embeddings)に対してクエリを行う必要があります。ベクトル量子化はこれらの膨大なデータセットを圧縮し、検索エンジンが高速な近似最近傍 (ANN) 検索を実行できるようにします。これは、リテール向けAIや製品レコメンデーションシステムにおいて非常に有益です。高次元データ処理の詳細については、OpenAIによる埋め込みガイドをご覧ください。

Link to this section関連概念の区別#

効率的なコンピュータビジョン (CV)アーキテクチャを設計する際には、ベクトル量子化と類似の用語との間のニュアンスを理解することが役立ちます：

• ベクトル量子化とモデル量子化: モデル量子化は一般に、Ultralytics YOLO26のようなモデルをハードウェアにデプロイする際、推論を高速化するためにニューラルネットワークの重みの数値精度（例：32ビット浮動小数点から8ビット整数へ）を低減することを指します。一方、ベクトル量子化は、データベクトルを離散的なプロトタイプの固定語彙にクラスタリングします。
• ベクトル量子化とベクトルデータベース: ベクトルデータベースは、高次元データを保存するための実際のインフラストラクチャです。Qdrantによるベクトル処理の解説で詳述されているように、ベクトル量子化は、メモリフットプリントを最小限に抑えるためにこれらのデータベースによって頻繁に採用される基礎的なアルゴリズム手法です。
• ベクトル量子化とベクトル検索: ベクトル検索は、ベクトルの近接性に基づいて類似のアイテムを見つけるアクティブなプロセスです。量子化は、この検索を大規模なスケールで計算的に実行可能にするための構造的最適化レイヤーとして機能します。

Link to this section基本的な実装例#

ベクトル量子化が実際にどのように連続的な入力を離散トークンにマッピングするかを確認するには、PyTorchを使用してユークリッド距離を計算し、事前に定義されたコードブック内で最も近いプロトタイプを見つけることができます：

import torch

# Define a continuous input batch and a discrete codebook vocabulary
inputs = torch.randn(4, 128)  # 4 input vectors of dimension 128
codebook = torch.randn(10, 128)  # 10 discrete prototype vectors

# Compute distances and find the nearest codebook index for each input
distances = torch.cdist(inputs, codebook)
quantized_indices = torch.argmin(distances, dim=1)

# Retrieve the discrete quantized vectors corresponding to the inputs
quantized_vectors = codebook[quantized_indices]

テンソルの距離をネイティブに計算し、これらの操作を最適化する詳細については、公式のPyTorch cdistドキュメントを参照してください。

Link to this sectionUltralytics Platformでワークフローを強化する#

最適化された埋め込みをパイプラインに統合するには、堅牢なツールが必要です。Ultralytics Platformは、トレーニングデータのキュレーションと最先端のビジョンモデルのトレーニングのためのエンドツーエンドの環境を提供します。データ管理を効率化し、モデルデプロイを簡素化することで、開発者はベクトル量子化に適した高品質な視覚的特徴を容易に生成でき、より高速な物体検出や大規模なメディア検索アプリケーションにつながります。