ColBERT
ColBERTは、クエリと文書をトークンごとのBERT埋め込みとして符号化し、レイトインタラクション(MaxSim)でスコアを算出することで、高速かつ正確な検索とRAGを実現します。
ColBERT(BERTを用いた文脈化された遅延インタラクション)は、クエリと各文書をtokenごとに1つの埋め込みで表現するニューラル検索モデルです。遅延インタラクションによって文書をスコアリングします。各クエリトークンについて、最も類似する文書トークンを見つけ、その最大類似度(MaxSim)を合計して関連度スコアを算出します。スタンフォード大学のOmar Khattab氏とMatei Zaharia氏が、SIGIR 2020の論文ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERTでこの手法を発表しました。文書トークンの埋め込みはオフラインで一度だけ計算されるため、クエリ処理時には、候補文書ごとにBERTを実行する代わりに、低コストの類似度計算だけで済みます。
遅延インタラクションの位置づけ#
ニューラル検索モデルは、クエリと文書をいつ照合するかが異なります。バイエンコーダーは各テキストを単一のベクトルに圧縮します。これはベクトル検索の標準的な方式です。文書ベクトルを事前計算できるため検索は高速ですが、単一のベクトルでは個々の用語の違いが曖昧になります。クロスエンコーダーはクエリと文書を一緒にTransformerに入力し、アテンションによってすべてのトークンの組み合わせを比較します。精度は最も高い一方、クエリと文書のペアごとに1回実行する必要があるため、短い候補リストの再ランキングに用途が限られます。
ColBERTはバイエンコーダーと同様にクエリと文書を別々にエンコードしますが、トークンごとに128次元のベクトルを保持し、最後のMaxSimステップでのみ両者を相互作用させます。クエリはBERTのマスクトークンで固定長32にパディングされるため、関連語でクエリを拡張するための追加スロットがモデルに用意されます。MS MARCOおよびTREC CARのパッセージ検索ベンチマークでは、ColBERTはBERTベースのランキングモデルと競合する性能を示しながら、実行速度は100倍速く、クエリあたりのFLOPsは1万分の1でした。
MaxSimスコアの計算#
MaxSim演算子は、PyTorchで数行のコードとして実装できます。この例では、小規模なBERT系エンコーダーから得た文脈化トークン埋め込みに演算子を適用します。
import torch.nn.functional as F
from sentence_transformers import SentenceTransformer
encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
query = "who wrote the novel Dune"
docs = [
"Frank Herbert published the science fiction novel Dune in 1965.",
"A dune is a hill of sand shaped by the wind.",
]
# One L2-normalized contextual embedding per query token
q = F.normalize(encoder.encode(query, output_value="token_embeddings"), dim=-1)
for doc in docs:
d = F.normalize(encoder.encode(doc, output_value="token_embeddings"), dim=-1)
# MaxSim: each query token keeps its best-matching document token, and the maxima are summed
score = (q @ d.T).max(dim=1).values.sum()
print(f"{score.item():.2f} {doc}")小説に関するパッセージのスコアは5.90、砂丘に関するパッセージのスコアは4.33です。どちらにも「dune」が含まれており、両方で強く一致します。しかし、最初のパッセージではクエリトークン「wrote」がコサイン類似度0.72で「published」と一致し、「novel」は同じ語と一致します。一方、2つ目のパッセージでは、「wrote」に対する最良の一致でも0.29にとどまります。
ColBERTと関連用語の比較#
- BERT自体:ColBERTが検索用にファインチューニングする事前学習済みエンコーダーです。各トークンを128次元に射影する線形層を追加します。
- 遅延チャンク化:テキストを分割する前に文脈を含めてエンコードし、その後、トークンを平均してチャンクごとに1つのベクトルを作ります。一方、ColBERTはすべてのトークンベクトルを保持します。
- セマンティック検索:ColBERTが行うタスクで、共通キーワードではなく意味に基づいてパッセージをランキングします。
- ハイブリッド検索:キーワード検索と単一ベクトル検索の結果を統合し、完全一致と意味の両方を考慮します。ColBERTのトークン単位のマッチングは、1つのニューラルモデル内で完全一致の利点の一部を実現します。
画像における遅延インタラクション#
遅延インタラクションは画像にも適用できます。ColPali(2024)は、ビジョン言語モデルを使って各文書ページのスクリーンショットをパッチベクトルのグリッドとして埋め込み、MaxSimでクエリトークンと照合します。これにより、PDFを対象とするマルチモーダルRAGに遅延インタラクションを導入します。オープンボキャブラリー検出も、関連する理由から画像特徴を細粒度のまま保持します。Ultralytics YOLOEは、「二階建てバス」などのプロンプトで指定されたクラスごとにテキスト埋め込みを保持し、特徴マップの各位置にある領域特徴と比較します。そのため、画像全体を要約する単一のベクトルではなく、短いプロンプトで小さな物体1つを照合できます。
ColBERTv2とPLAID#
トークンごとにベクトルを保持するため、ColBERTのインデックスは単一ベクトルのインデックスよりおよそ10倍大きくなります。ColBERTを検索拡張生成(RAG)パイプラインの第1段階の検索器または再ランキングモデルとして使う場合、このコストが問題になります。Stanford ColBERTリポジトリでは、2つの解決策を実装しています。PLAIDは、完全なMaxSimを実行する前にクラスタ重心との照合で候補をスコアリングする検索エンジンです。ColBERTv2(NAACL 2022)は、各トークンベクトルを最近傍の重心のIDと、次元あたり1または2ビットに量子化した残差で保存します。また、クロスエンコーダーから蒸留したノイズ除去済みの教師信号で学習します。残差圧縮により、遅延インタラクションのストレージ容量は6~10分の1に削減されました。










