YOLOのライセンス
Ultralytics用語集に戻る

Hybrid Search

ハイブリッド検索では、同じクエリに対してキーワード検索(BM25)とベクトル検索を実行し、通常は相互ランク融合を使って2つのランキングリストを統合します。

ハイブリッド検索は、同じクエリに対してキーワード検索とベクトル検索を実行し、2つのランキングリストを統合して1つにまとめます。キーワード検索(語彙検索とも呼ばれます)は、BM25などの式で完全一致する語句を採点します。文書を語彙全体にわたる用語重みの疎ベクトルとして表現するため、疎検索と呼ばれます。ベクトル検索は、意味を捉える密な埋め込みを比較します。BM25は、埋め込みモデルでは曖昧になり得る正確なエラーコード、製品SKU、人名を見つけます。埋め込みは、クエリと単語が一致しない言い換えや同義語を見つけます。両者の組み合わせは、検索拡張生成(RAG)やエンタープライズ検索で一般的な検索構成です。

疎検索と密検索を組み合わせる理由#

密検索モデルは特定の学習データから学習するため、未知のドメインでは優位性が小さくなります。BEIRベンチマーク(2021年)は、18のデータセットで検索モデルをゼロショット評価し、BM25が堅牢なベースラインであることを示しました。多くの密検索モデルは、学習ドメイン外ではBM25を上回れませんでした。一方、ColBERTなどのリランカーやレイトインタラクションモデルは、より高い計算コストをかけて最高スコアを達成しました。密検索の隣でBM25を実行すれば、セマンティック検索を犠牲にせずにキーワード検索の強みを維持できます。SPLADEなどの学習型疎検索モデルは、別の方向から両者の境界を曖昧にします。トランスフォーマーを使って語彙内の用語に重みを割り当て、文書に含まれていない関連語も対象にします。

検索結果の統合方法#

BM25のスコアには上限がありませんが、コサイン類似度は-1から1の範囲に収まるため、2つのリストをそのまま加算することはできません。一般的な統合方法は2つあります。

  • 逆順位融合(RRF): 各文書について、文書が含まれる各リストの1 / (k + 順位)を合計します。k = 60は、Cormack、Clarke、Büttcherによる2009年の論文に基づく値です。順位のみを使うため、スコアの正規化や調整は不要です。
  • 重み付きスコア融合: たとえばスコアを0から1の範囲に正規化し、alpha x dense + (1 - alpha) x sparseとして結合します。alphaは検証用クエリで調整します。

リランカーは、結果を表示する前、または大規模言語モデル(LLM)に渡す前に、統合済みリストの順序を並べ替えることがよくあります。次の例では、scikit-learnのTF-IDFキーワードスコアとSentence Transformersの埋め込みを使って両方の検索を実行し、RRFで統合します。

import numpy as np
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import TfidfVectorizer

docs = [
    "Fault E-4012: hydraulic pressure low on press 7",
    "Fault E-4021: hydraulic pressure low on press 2",
    "Order form for E-4012 replacement sensor kits",
    "Low oil pressure makes the press ram sluggish",
    "Weekly cleaning checklist for the paint booth",
]
query = "E-4012 sluggish"

# 疎検索:障害コードなどの完全一致トークンに合致するTF-IDFキーワードスコア
tfidf = TfidfVectorizer(token_pattern=r"[\w-]+", stop_words="english").fit(docs)
sparse = (tfidf.transform(docs) @ tfidf.transform([query]).T).toarray().ravel()

# 密検索:意味に合致する文埋め込みのコサイン類似度
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
dense = model.similarity(model.encode(query), model.encode(docs))[0].numpy()

# 逆順位融合:各リストは、文書のスコアに1 / (60 + 順位)を加算します
fused = np.zeros(len(docs))
for scores in (sparse, dense):
    fused[np.argsort(-scores)] += 1 / (60 + np.arange(1, len(docs) + 1))
for name, scores in [("sparse", sparse), ("dense", dense), ("hybrid", fused)]:
    print(name, np.argsort(-scores)[:3])

キーワード検索では、まれな語「sluggish」を含むため、症状の説明(文書3)が最初にランクされます。密検索では、E-4012の障害項目(文書0)が最初にランクされ、その次に部品注文フォームが続きます。RRFでは、E-4012の障害項目が一方のリストで2位、もう一方で1位を占めるため最上位になり、症状の説明が2位になります。この2つの文書を合わせると、クエリへの回答になります。

実際のアプリケーション#

  • 小売の商品検索: 型番やブランド名の完全一致に加え、「防水トレイルシューズ」のような説明的なクエリも理解します。
  • テクニカルサポートとマニュアルを対象にしたRAG: 正確なエラーコードが記載されたページと、同じ症状を別の言葉で説明する文章を取得します。
  • 法務・コンプライアンス調査: 法令番号や事件名をそのまま検索するとともに、同じ法的概念に関する文章も取得します。

実際のハイブリッド検索#

Elasticsearch、OpenSearch、Weaviate、Qdrant、Pinecone、Vespaはハイブリッドクエリをネイティブにサポートしています。また、PostgreSQLでは組み込みの全文検索とpgvector拡張機能を組み合わせ、1つのベクトルデータベースクエリとして実行できます。日付範囲や商品カテゴリなどのメタデータフィルターは別の仕組みであり、どちらの検索方式でランキングするよりも前に、対象となる文書を絞り込みます。

Ultralytics Platformは、データセット画像検索でハイブリッドな順序付けを使用します。ファイル名、注釈付きクラス、カスタムメタデータが検索テキストと一致する画像を先に表示し、その後、テキストの説明に見た目が合う画像を最大1,000件追加します。そのため、「出入り口の近くにあるフォークリフト」のような検索では、一致する名前、ラベル、メタデータがなくても、そのような場面を写した画像が返されます。キーワード検索はテキストRAGの強化にも役立ちます。Anthropicのコンテキスト検索のテストでは、コンテキスト埋め込みにコンテキストBM25を追加することで、上位20件における検索失敗率が3.7%から2.9%に下がりました。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう