Hybrid Search
하이브리드 검색은 동일한 쿼리에 대해 키워드(BM25) 검색과 벡터 검색을 실행하고, 흔히 역순위 융합을 사용해 두 순위 목록을 하나로 합칩니다.
하이브리드 검색은 같은 쿼리에 대해 키워드 검색과 벡터 검색을 실행한 후 두 순위 목록을 하나로 병합합니다. 키워드 검색, 즉 어휘 검색은 BM25와 같은 공식으로 정확한 용어 일치를 점수화하며, 각 문서를 어휘 전체에 대한 용어 가중치의 희소 벡터로 표현하므로 희소 검색이라고 합니다. 벡터 검색은 의미를 포착하는 밀집 임베딩을 비교합니다. BM25는 임베딩 모델이 모호하게 처리할 수 있는 정확한 오류 코드, 제품 SKU, 사람 이름을 찾습니다. 임베딩은 쿼리와 단어가 겹치지 않더라도 의미가 통하는 바꿔 쓰기 표현과 동의어를 찾습니다. 두 방식을 결합하는 것은 검색 증강 생성(RAG)과 엔터프라이즈 검색에서 흔히 사용되는 검색 구성입니다.
희소 검색과 밀집 검색을 결합하는 이유#
밀집 검색기는 특정 학습 데이터를 기반으로 학습하므로 익숙하지 않은 도메인에서는 그 이점이 줄어듭니다. BEIR 벤치마크(2021)는 18개 데이터 세트에서 검색 모델의 제로샷 성능을 테스트했습니다. 그 결과 BM25는 강력한 기준선으로 나타났으며, 많은 밀집 모델은 학습 도메인 밖에서 이를 넘지 못했습니다. 반면 ColBERT와 같은 재순위화기와 지연 상호작용 모델은 더 높은 연산 비용을 들여 최고 성능을 기록했습니다. 밀집 검색기와 함께 BM25를 실행하면 시맨틱 검색의 이점을 포기하지 않고 키워드 검색의 강점도 활용할 수 있습니다. SPLADE와 같은 학습된 희소 모델은 반대 방향에서 그 경계를 흐립니다. 이 모델은 트랜스포머를 사용해 어휘 항목에 가중치를 부여하며, 문서에 직접 포함되지 않은 관련 용어도 고려합니다.
검색 결과를 결합하는 방식#
BM25 점수에는 상한이 없는 반면 코사인 유사도는 -1에서 1 사이의 값을 가지므로 두 목록을 직접 더할 수 없습니다. 일반적으로 두 가지 결합 방법을 사용합니다.
- 역순위 융합(RRF): 각 문서가 포함된 목록에서 1 / (k + 순위)를 계산해 더합니다. k = 60은 Cormack, Clarke, Büttcher가 2009년 논문에서 사용한 값입니다. 순위만 사용하므로 점수 정규화나 튜닝이 필요하지 않습니다.
- 가중 점수 융합: 두 점수 집합을 예를 들어 0에서 1 사이로 정규화한 다음, 검증 쿼리를 기준으로 조정한 alpha를 사용해 alpha x 밀집 + (1 - alpha) x 희소 방식으로 결합합니다.
결과를 표시하거나 대규모 언어 모델(LLM)에 전달하기 전에 재순위화기로 융합된 목록의 순서를 다시 정하는 경우가 많습니다. 아래 예제는 scikit-learn의 TF-IDF 키워드 점수와 Sentence Transformers 임베딩을 사용해 두 경로를 실행한 다음 RRF로 결합합니다.
import numpy as np
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import TfidfVectorizer
docs = [
"Fault E-4012: hydraulic pressure low on press 7",
"Fault E-4021: hydraulic pressure low on press 2",
"Order form for E-4012 replacement sensor kits",
"Low oil pressure makes the press ram sluggish",
"Weekly cleaning checklist for the paint booth",
]
query = "E-4012 sluggish"
# 희소 경로: 오류 코드와 같은 정확한 토큰을 일치시키는 TF-IDF 키워드 점수
tfidf = TfidfVectorizer(token_pattern=r"[\w-]+", stop_words="english").fit(docs)
sparse = (tfidf.transform(docs) @ tfidf.transform([query]).T).toarray().ravel()
# 밀집 경로: 문장의 의미를 일치시키는 문장 임베딩의 코사인 유사도
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
dense = model.similarity(model.encode(query), model.encode(docs))[0].numpy()
# 역순위 융합: 각 목록은 문서 점수에 1 / (60 + 순위)를 더합니다.
fused = np.zeros(len(docs))
for scores in (sparse, dense):
fused[np.argsort(-scores)] += 1 / (60 + np.arange(1, len(docs) + 1))
for name, scores in [("sparse", sparse), ("dense", dense), ("hybrid", fused)]:
print(name, np.argsort(-scores)[:3])키워드 경로는 희귀 단어인 "sluggish"가 포함된 증상 설명(문서 3)을 1위로 정렬하고, 밀집 경로는 E-4012 오류 항목(문서 0)을 1위로, 부품 주문 양식을 그다음으로 정렬합니다. RRF는 E-4012 오류 항목이 한 목록에서 2위, 다른 목록에서 1위를 차지하므로 이를 1위로 올리고, 두 문서가 함께 쿼리에 답을 제공하는 증상 설명을 2위로 정렬합니다.
실제 적용 사례#
- 소매업 제품 검색: 정확한 모델 번호와 브랜드명을 일치시키는 동시에 "방수 트레일 러닝화"와 같은 설명형 쿼리도 이해합니다.
- 기술 지원 및 매뉴얼 기반 RAG: 정확한 오류 코드에 해당하는 페이지와 동일한 증상을 다른 표현으로 설명하는 문단을 함께 검색합니다.
- 법률 및 규정 준수 조사: 법령 번호와 사건명을 정확히 찾아내고 동일한 법률 개념을 다루는 문단도 검색합니다.
실제 하이브리드 검색#
Elasticsearch, OpenSearch, Weaviate, Qdrant, Pinecone, Vespa는 하이브리드 쿼리를 기본 지원하며, PostgreSQL은 내장 전문 검색과 pgvector 확장을 결합해 하나의 벡터 데이터베이스 쿼리에서 실행할 수 있습니다. 날짜 범위나 제품 카테고리와 같은 메타데이터 필터는 별도의 메커니즘으로, 두 검색 경로가 순위를 매기기 전에 검색 대상 문서를 제한합니다.
Ultralytics Platform은 데이터 세트 이미지 검색에 하이브리드 정렬을 사용합니다. 파일 이름, 주석이 지정된 클래스, 사용자 지정 메타데이터가 검색 텍스트와 일치하는 이미지를 먼저 표시하고, 텍스트가 설명하는 것과 유사해 보이는 이미지 중 최대 1,000개를 뒤이어 표시합니다. 따라서 "출입구 근처의 지게차"와 같은 검색은 이름, 레이블, 메타데이터가 일치하지 않더라도 그러한 장면이 포함된 이미지를 반환합니다. 키워드 검색은 텍스트 RAG도 강화합니다. Anthropic의 컨텍스트 검색 테스트에서는 컨텍스트 임베딩에 컨텍스트 BM25를 추가하자 상위 20개 검색의 실패율이 3.7%에서 2.9%로 낮아졌습니다.










