Vector Database

ベクターデータベースは、高次元のベクターデータ（多くの場合embeddingsと呼ばれます）を管理、インデックス化、クエリするように設計された特殊なストレージシステムです。正確なキーワードマッチングのために構造化データを行と列に整理する従来のrelational databaseとは異なり、ベクターデータベースはセマンティック検索に最適化されています。これにより、インテリジェントシステムは同一のデータだけでなく、概念的に類似したデータポイントを見つけることができます。この機能は現代のartificial intelligence (AI)インフラストラクチャの基礎であり、アプリケーションが画像、音声、動画、テキストなどのunstructured dataの間にある数学的関係を分析して処理・理解できるようにします。これらのデータベースはインテリジェントエージェントの長期記憶として機能し、視覚的検索やパーソナライズされたレコメンデーションなどのタスクを容易にします。

ベクトルデータベースの仕組み#

ベクターデータベースの機能はベクター空間の概念を中心としており、そこではデータアイテムが多次元座標系内の点としてマッピングされます。プロセスはfeature extractionから始まり、deep learning (DL)モデルが生入力を数値ベクトルに変換します。

1. **インジェスチョン：**データは、最先端のYOLO26などのニューラルネットワークによって処理され、embeddingsを生成します。これらのベクトルは、入力の意味的意味を浮動小数点数の高密度なリストに圧縮します。

2. **インデックス作成：**取得時の低いinference latencyを確保するため、データベースは特殊なアルゴリズムを使用してこれらのベクトルを整理します。Hierarchical Navigable Small World (HNSW)やInverted File Index (IVF)などの技術により、すべてのエントリをスキャンすることなく、システムが数十億のベクトルを効率的にナビゲートできるようになります。

3. **クエリ：**ユーザーが検索クエリ（例：特定の靴スタイルの画像）を送信すると、システムはクエリをベクトルに変換し、cosine similarityやEuclidean distanceなどの距離指標を使用して、保存されたベクトルとの近接性を計算します。

4. 取得 (Retrieval): データベースは、コンテキスト的に最も関連性の高い結果を表す「近傍（nearest neighbors）」を返します。

次のPythonスニペットは、ベクターデータベースにデータを投入する前の前提条件のステップである、標準の ultralytics モデルを使用してembeddingsを生成する方法を示しています。

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Generate feature embeddings for an image file
# The 'embed' method creates the vector representation needed for the database
results = model.embed("https://ultralytics.com/images/bus.jpg")

# Output the shape of the resulting embedding vector
print(f"Embedding vector shape: {results[0].shape}")

実社会での応用#

ベクターデータベースは、今日のエンタープライズ環境で使用されている多くの高度なcomputer vision (CV)およびNatural Language Processing (NLP)アプリケーションのエンジンです。

• Retrieval-Augmented Generation (RAG)：generative AIの時代において、ベクターデータベースはLarge Language Models (LLMs)がプライベートで最新の膨大なデータライブラリにアクセスできるようにします。ユーザーのプロンプトの意味的意味に基づいて関連ドキュメントを取得することにより、システムはhallucinations in LLMsを削減し、事実に基づいたコンテキストを意識した応答を提供します。
• ビジュアルレコメンデーションエンジン：AI in retailにおいて、プラットフォームはベクターデータベースを使用して「類似スタイルを購入する」機能を駆動します。ユーザーが特定の夏用ドレスを表示すると、システムはパターン、カット、カラーが一致する同様の視覚的embeddingsを持つ他の製品画像をデータベースにクエリし、単純なタグベースのフィルタリングよりも優れたuser experienceを提供します。
• **異常および脅威検知：**セキュリティシステムは、anomaly detectionのためにベクターデータベースを活用します。「通常」の動作や許可された担当者のembeddingsを保存することにより、システムはベクター空間内の期待されるクラスターから外れる外れ値を即座に検出し、data securityと施設モニタリングを強化します。

関連する概念との違い#

これらのシステムを効果的に実装するために、machine learning operations (MLOps)の環境における関連技術とベクターデータベースを区別することが役立ちます。

• **ベクターデータベース vs Vector Search：**Vector searchは、類似のベクトルを見つけるアクションまたはアルゴリズムのプロセス（「方法」）です。ベクターデータベースは、データを保存し、インデックスを管理し、これらの検索を大規模に実行するために構築された堅牢なインフラストラクチャ（「場所」）です。
• **ベクターデータベース vs Feature Store：**Feature storeは、モデルのトレーニングと推論で使用される特徴量を管理し、一貫性を確保するための集中型リポジトリです。特徴データを処理しますが、ベクターデータベースを定義する類似性ベースの取得クエリに主として最適化されているわけではありません。
• **ベクターデータベース vs Data Lake：**データレイクは、膨大な量の生データをネイティブ形式で保存します。ベクターデータベースは、そのデータの処理された数学的表現（embeddings）を保存し、similarity searchに特化して最適化されています。

最新のAIワークフローとの統合#

ベクターデータベースの実装には、効率的なYOLO26などのモデルがembeddingsエンジンとして機能するパイプラインが関わることがよくあります。これらのモデルはエッジまたはクラウドで視覚データを処理し、結果として得られたベクトルはPinecone、Milvus、Qdrantなどのソリューションにプッシュされます。

データのキュレーションや自動アノテーションからモデルのトレーニングやデプロイメントに至るまで、このライフサイクル全体を合理化したいチームにとって、Ultralytics Platformは包括的な環境を提供します。モデルのトレーニングと効率的なデプロイメント戦略を統合することにより、開発者はベクターデータベースに供給するembeddingsの精度を高め、より高品質な検索結果とよりスマートなAIエージェントを実現できます。