YOLOのライセンス
Ultralytics用語集に戻る

ColBERT

ColBERTは、クエリと文書をトークンごとのBERT埋め込みとして符号化し、レイトインタラクション(MaxSim)でスコアを算出することで、高速かつ正確な検索とRAGを実現します。

ColBERT(BERTを用いた文脈化された遅延インタラクション)は、クエリと各文書をtokenごとに1つの埋め込みで表現するニューラル検索モデルです。遅延インタラクションによって文書をスコアリングします。各クエリトークンについて、最も類似する文書トークンを見つけ、その最大類似度(MaxSim)を合計して関連度スコアを算出します。スタンフォード大学のOmar Khattab氏とMatei Zaharia氏が、SIGIR 2020の論文ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERTでこの手法を発表しました。文書トークンの埋め込みはオフラインで一度だけ計算されるため、クエリ処理時には、候補文書ごとにBERTを実行する代わりに、低コストの類似度計算だけで済みます。

遅延インタラクションの位置づけ#

ニューラル検索モデルは、クエリと文書をいつ照合するかが異なります。バイエンコーダーは各テキストを単一のベクトルに圧縮します。これはベクトル検索の標準的な方式です。文書ベクトルを事前計算できるため検索は高速ですが、単一のベクトルでは個々の用語の違いが曖昧になります。クロスエンコーダーはクエリと文書を一緒にTransformerに入力し、アテンションによってすべてのトークンの組み合わせを比較します。精度は最も高い一方、クエリと文書のペアごとに1回実行する必要があるため、短い候補リストの再ランキングに用途が限られます。

ColBERTはバイエンコーダーと同様にクエリと文書を別々にエンコードしますが、トークンごとに128次元のベクトルを保持し、最後のMaxSimステップでのみ両者を相互作用させます。クエリはBERTのマスクトークンで固定長32にパディングされるため、関連語でクエリを拡張するための追加スロットがモデルに用意されます。MS MARCOおよびTREC CARのパッセージ検索ベンチマークでは、ColBERTはBERTベースのランキングモデルと競合する性能を示しながら、実行速度は100倍速く、クエリあたりのFLOPsは1万分の1でした。

MaxSimスコアの計算#

MaxSim演算子は、PyTorchで数行のコードとして実装できます。この例では、小規模なBERT系エンコーダーから得た文脈化トークン埋め込みに演算子を適用します。

import torch.nn.functional as F
from sentence_transformers import SentenceTransformer

encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
query = "who wrote the novel Dune"
docs = [
    "Frank Herbert published the science fiction novel Dune in 1965.",
    "A dune is a hill of sand shaped by the wind.",
]

# One L2-normalized contextual embedding per query token
q = F.normalize(encoder.encode(query, output_value="token_embeddings"), dim=-1)
for doc in docs:
    d = F.normalize(encoder.encode(doc, output_value="token_embeddings"), dim=-1)

    # MaxSim: each query token keeps its best-matching document token, and the maxima are summed
    score = (q @ d.T).max(dim=1).values.sum()
    print(f"{score.item():.2f}  {doc}")

小説に関するパッセージのスコアは5.90、砂丘に関するパッセージのスコアは4.33です。どちらにも「dune」が含まれており、両方で強く一致します。しかし、最初のパッセージではクエリトークン「wrote」がコサイン類似度0.72で「published」と一致し、「novel」は同じ語と一致します。一方、2つ目のパッセージでは、「wrote」に対する最良の一致でも0.29にとどまります。

  • BERT自体:ColBERTが検索用にファインチューニングする事前学習済みエンコーダーです。各トークンを128次元に射影する線形層を追加します。
  • 遅延チャンク化:テキストを分割する前に文脈を含めてエンコードし、その後、トークンを平均してチャンクごとに1つのベクトルを作ります。一方、ColBERTはすべてのトークンベクトルを保持します。
  • セマンティック検索:ColBERTが行うタスクで、共通キーワードではなく意味に基づいてパッセージをランキングします。
  • ハイブリッド検索:キーワード検索と単一ベクトル検索の結果を統合し、完全一致と意味の両方を考慮します。ColBERTのトークン単位のマッチングは、1つのニューラルモデル内で完全一致の利点の一部を実現します。

画像における遅延インタラクション#

遅延インタラクションは画像にも適用できます。ColPali(2024)は、ビジョン言語モデルを使って各文書ページのスクリーンショットをパッチベクトルのグリッドとして埋め込み、MaxSimでクエリトークンと照合します。これにより、PDFを対象とするマルチモーダルRAGに遅延インタラクションを導入します。オープンボキャブラリー検出も、関連する理由から画像特徴を細粒度のまま保持します。Ultralytics YOLOEは、「二階建てバス」などのプロンプトで指定されたクラスごとにテキスト埋め込みを保持し、特徴マップの各位置にある領域特徴と比較します。そのため、画像全体を要約する単一のベクトルではなく、短いプロンプトで小さな物体1つを照合できます。

ColBERTv2とPLAID#

トークンごとにベクトルを保持するため、ColBERTのインデックスは単一ベクトルのインデックスよりおよそ10倍大きくなります。ColBERTを検索拡張生成(RAG)パイプラインの第1段階の検索器または再ランキングモデルとして使う場合、このコストが問題になります。Stanford ColBERTリポジトリでは、2つの解決策を実装しています。PLAIDは、完全なMaxSimを実行する前にクラスタ重心との照合で候補をスコアリングする検索エンジンです。ColBERTv2(NAACL 2022)は、各トークンベクトルを最近傍の重心のIDと、次元あたり1または2ビットに量子化した残差で保存します。また、クロスエンコーダーから蒸留したノイズ除去済みの教師信号で学習します。残差圧縮により、遅延インタラクションのストレージ容量は6~10分の1に削減されました。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう