Hybrid Search

기존 키워드 매칭의 정밀함과 현대적인 AI의 맥락적 이해를 결합한 이 검색 방법론은 희소(sparse) 및 밀집(dense) 데이터 표현을 모두 활용하여 정보를 검색하고 순위를 매깁니다. 표준 search engine이 정확한 키워드 일치(lexical search로 알려짐)에 전적으로 의존하고 vector search engines이 순전히 semantic similarity에 의존하는 반면, 하이브리드 검색 엔진은 이 두 가지 접근 방식을 병합하여 매우 정확하고 맥락을 인식하는 결과를 제공합니다.

작동 원리#

일반적인 하이브리드 검색 파이프라인은 두 가지 고유한 검색 방법을 동시에 실행하여 그 결과를 단일 최적화된 순위로 융합합니다.

• Lexical (Sparse) Search: 용어 빈도를 기반으로 정확한 키워드 일치 점수를 매기기 위해 BM25와 같은 알고리즘을 사용합니다. 이는 순전히 시맨틱 모델이 식별하는 데 어려움을 겪을 수 있는 특정 엔티티, 약어, 제품 SKU 또는 전문 용어를 검색하는 데 매우 중요합니다.
• Semantic (Dense) Search: AI 모델을 사용하여 고차원 숫자 배열을 생성함으로써 쿼리의 더 깊은 의미와 맥락을 이해합니다. 이를 통해 시스템은 검색 쿼리에 정확한 단어가 없더라도 관련 결과를 찾을 수 있습니다.

두 방법 모두 후보 결과를 검색한 후, fusion algorithm—가장 일반적으로 Reciprocal Rank Fusion (RRF)—이 목록을 결합합니다. RRF는 각각의 희소 및 밀집 결과 세트에서 각 항목의 순위를 기반으로 새로운 점수를 계산합니다. 이를 통해 두 검색 중 하나 또는 모두에서 높은 순위를 차지하는 문서가 상단으로 올라오며, 광범위한 맥락 일치와 정확한 키워드 정확도가 균형을 이룹니다.

실세계 AI 및 ML 응용 분야#

현대 AI 아키텍처는 프로덕션 환경에서 단일 검색 방법을 사용할 때 발생하는 한계를 극복하기 위해 이 기술에 크게 의존합니다.

• Hybrid RAG (Retrieval-Augmented Generation): 엔터프라이즈 지식 시스템에서 Large Language Model (LLM)에 가장 관련성 높은 맥락을 제공하는 것은 hallucinations을 방지하는 데 매우 중요합니다. 하이브리드 RAG 설정은 모델이 정확한 기술적 제약 조건을 충족하는 문서를 검색하는 동시에 시맨틱하게 관련된 단락을 가져오도록 보장합니다.
• E-Commerce and Visual Product Discovery: 소매업체는 제품 카탈로그에 전력을 공급하기 위해 하이브리드 검색을 사용합니다. 사용자가 "red running shoes"를 검색할 수 있습니다. 렉시컬 엔진은 정확한 브랜드 또는 카테고리 키워드를 일치시키는 반면, vision AI model은 이미지 임베딩을 사용하여 시각적으로 유사한 항목을 표시합니다.

오늘날 Pinecone, Qdrant, OpenSearch, 그리고 pgvector를 통한 PostgreSQL을 포함하여 거의 모든 주요 vector database가 하이브리드 검색을 기본적으로 지원합니다. 이를 통해 개발자는 단일 인프라에서 희소 키워드와 밀집 벡터를 모두 효율적으로 인덱싱할 수 있습니다.

하이브리드 검색을 위한 메타데이터 생성#

computer vision 파이프라인에서는 이미지에서 의미 있는 키워드를 추출하여 하이브리드 인덱스의 희소 구성 요소를 구축할 수 있습니다. Ultralytics YOLO26을 사용하여 이미지에 대해 자동으로 object detection을 수행하고 해당 class names을 metadata tags로 사용할 수 있습니다. 이러한 키워드 태그는 포괄적인 인덱싱을 위해 이미지의 밀집 벡터 임베딩과 쌍을 이룰 수 있습니다.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

밀집 이미지 임베딩을 정확한 AI 생성 희소 키워드로 보강함으로써, 개발자는 Ultralytics Platform과 하이브리드 호환 벡터 데이터베이스를 활용하여 데이터의 명시적 텍스트 태그와 암시적 시각적 맥락을 모두 완벽하게 이해하는 강력한 multimodal search engines을 구축할 수 있습니다.