Hybrid Search

전통적인 키워드 매칭의 정밀성과 현대 AI의 문맥 이해 능력을 결합하는 이 검색 방법론은 희소 및 밀집 데이터 표현을 모두 활용해 정보를 검색하고 순위를 매깁니다. 일반적인 검색 엔진은 정확히 일치하는 키워드(즉, 어휘 검색)에만 의존하고 벡터 검색 엔진은 의미적 유사도에만 의존하는 반면, 하이브리드 검색 엔진은 두 접근 방식을 결합해 정확도와 문맥 이해도가 높은 결과를 제공합니다.

작동 방식#

일반적인 하이브리드 검색 파이프라인은 서로 다른 두 가지 검색 방법을 동시에 실행하고, 결과를 하나의 최적화된 순위로 통합합니다:

• 어휘(희소) 검색: BM25와 같은 알고리즘을 사용해 용어 빈도를 기준으로 정확히 일치하는 키워드의 점수를 계산합니다. 순수 의미 모델이 식별하기 어려울 수 있는 특정 개체, 약어, 제품 SKU 또는 전문 용어를 검색하는 데 매우 중요합니다.
• 의미(밀집) 검색: AI 모델을 사용해 고차원 숫자 배열을 생성함으로써 쿼리의 더 깊은 의미와 문맥을 이해합니다. 따라서 검색 쿼리에 정확히 일치하는 단어가 없어도 시스템이 관련 결과를 찾을 수 있습니다.

두 방법이 후보 결과를 모두 검색하면 융합 알고리즘(가장 일반적으로 역순위 융합(RRF))이 목록을 결합합니다. RRF는 각 희소 및 밀집 결과 집합에서 항목의 순위를 바탕으로 새 점수를 계산합니다. 이를 통해 두 검색 중 하나 또는 양쪽에서 높은 순위를 차지한 문서가 상위에 표시되어, 폭넓은 문맥적 일치와 정밀한 키워드 정확성 간의 균형을 맞춥니다.

실제 AI 및 ML 애플리케이션#

현대 AI 아키텍처는 프로덕션 환경에서 단일 검색 방법을 사용할 때의 한계를 극복하기 위해 이 기법에 크게 의존합니다.

• 하이브리드 RAG(검색 증강 생성): 엔터프라이즈 지식 시스템에서는 대규모 언어 모델(LLM)에 가장 관련성 높은 문맥을 제공하는 것이 환각을 방지하는 데 매우 중요합니다. 하이브리드 RAG 설정을 사용하면 모델이 정확한 기술적 제약 조건에 부합하는 문서를 검색하는 동시에 의미적으로 관련된 단락도 가져올 수 있습니다.
• 이커머스와 시각적 제품 검색: 소매업체는 제품 카탈로그를 지원하기 위해 하이브리드 검색을 사용합니다. 사용자가 "빨간색 러닝화"를 검색할 수 있습니다. 어휘 검색 엔진은 정확히 일치하는 브랜드 또는 카테고리 키워드를 찾고, 비전 AI 모델은 이미지 임베딩을 사용해 시각적으로 유사한 제품을 표시합니다.

현재 Pinecone, Qdrant, OpenSearch, pgvector를 사용하는 PostgreSQL을 비롯해 거의 모든 주요 벡터 데이터베이스가 하이브리드 검색을 기본적으로 지원합니다. 이를 통해 개발자는 단일 인프라에서 희소 키워드와 밀집 벡터를 모두 효율적으로 인덱싱할 수 있습니다.

하이브리드 검색을 위한 메타데이터 생성#

컴퓨터 비전 파이프라인에서는 이미지에서 의미 있는 키워드를 추출해 하이브리드 인덱스의 희소 구성 요소를 만들 수 있습니다. Ultralytics YOLO26을 사용하면 이미지에서 객체 탐지를 자동으로 수행하고, 클래스 이름을 메타데이터 태그로 사용할 수 있습니다. 그런 다음 이러한 키워드 태그를 이미지의 밀집 벡터 임베딩과 결합해 포괄적인 인덱싱을 수행할 수 있습니다.

from ultralytics import YOLO

# 권장되는 Ultralytics YOLO26 객체 탐지 모델을 불러옵니다
model = YOLO("yolo26n.pt")

# 이미지에서 객체를 탐지하도록 추론을 실행합니다
results = model("store_aisle.jpg")

# 키워드 메타데이터(희소 데이터)로 인덱싱할 예측 클래스 이름을 추출합니다
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

밀집 이미지 임베딩에 정밀한 AI 생성 희소 키워드를 보강하면, 개발자는 Ultralytics Platform과 하이브리드 검색을 지원하는 벡터 데이터베이스를 활용해 데이터의 명시적 텍스트 태그와 암묵적 시각적 문맥을 모두 정확히 이해하는 강력한 멀티모달 검색 엔진을 구축할 수 있습니다.