Hybrid Search

전통적인 키워드 매칭의 정밀함과 현대 AI의 문맥 이해 능력을 결합한 이 검색 방법론은 희소(sparse) 데이터와 밀집(dense) 데이터 표현을 모두 활용하여 정보를 검색하고 순위를 매깁니다. 표준 검색 엔진이 전적으로 정확한 키워드 일치(어휘 검색이라고 함)에 의존하고 벡터 검색 엔진이 순수하게 의미적 유사성에 의존하는 반면, 하이브리드 검색 엔진은 이 두 가지 접근 방식을 병합하여 매우 정확하고 문맥을 파악하는 결과를 제공합니다.

작동 방식

전형적인 하이브리드 검색 파이프라인은 두 가지 별도의 검색 방법을 동시에 실행하며, 그 결과를 단일하고 최적화된 순위로 결합합니다:

• 어휘(희소) 검색: BM25와 같은 알고리즘을 사용하여 용어 빈도에 기반한 정확한 키워드 일치 점수를 계산합니다. 이는 순수 의미 모델로는 식별하기 어려운 특정 엔티티, 약어, 제품 SKU 또는 전문 용어를 검색하는 데 매우 중요합니다.
• 의미(밀집) 검색: AI 모델을 사용하여 고차원 숫자 배열을 생성함으로써 쿼리의 더 깊은 의미와 문맥을 이해합니다. 이를 통해 검색 쿼리에 정확한 단어가 없더라도 시스템이 관련성 높은 결과를 찾을 수 있습니다.

두 방법 모두 후보 결과를 검색하면 융합 알고리즘(가장 일반적으로 상호 순위 융합(RRF))이 목록을 결합합니다. RRF는 각각의 희소 및 밀집 결과 세트 내에서 각 항목의 순위를 기반으로 새로운 점수를 계산합니다. 이를 통해 검색 결과 중 하나 또는 둘 다에서 높은 순위를 차지하는 문서가 상단으로 올라오게 되어, 광범위한 문맥 일치와 정확한 키워드 정밀도 간의 균형을 맞춥니다.

실제 AI 및 ML 애플리케이션

현대 AI 아키텍처는 프로덕션 환경에서 단일 검색 방법 사용의 한계를 극복하기 위해 이 기술에 크게 의존합니다.

• 하이브리드 RAG(검색 증강 생성): 기업용 지식 시스템에서 거대 언어 모델(LLM)에 가장 관련성 높은 문맥을 제공하는 것은 환각 현상을 방지하는 데 매우 중요합니다. 하이브리드 RAG 설정을 사용하면 모델이 정확한 기술적 제약 조건을 충족하는 문서를 검색하는 동시에 의미론적으로 관련된 단락도 불러올 수 있습니다.
• 전자상거래 및 시각적 제품 탐색: 소매업체는 제품 카탈로그를 지원하기 위해 하이브리드 검색을 사용합니다. 사용자가 "빨간색 러닝화"를 검색할 수 있습니다. 어휘 엔진은 정확한 브랜드나 카테고리 키워드를 일치시키는 반면, 비전 AI 모델은 이미지 임베딩을 사용하여 시각적으로 유사한 항목을 표면화합니다.

오늘날 거의 모든 주요 벡터 데이터베이스(Pinecone, Qdrant, OpenSearch 및 pgvector를 사용하는 PostgreSQL 포함)가 하이브리드 검색을 기본적으로 지원합니다. 이를 통해 개발자는 단일 인프라에서 희소 키워드와 밀집 벡터를 모두 효율적으로 인덱싱할 수 있습니다.

하이브리드 검색을 위한 메타데이터 생성

컴퓨터 비전 파이프라인에서는 이미지에서 의미 있는 키워드를 추출하여 하이브리드 인덱스의 희소 구성 요소를 구축할 수 있습니다. Ultralytics YOLO26을 사용하면 이미지에서 자동으로 객체 감지를 수행하고 해당 클래스 이름을 메타데이터 태그로 사용할 수 있습니다. 이러한 키워드 태그는 포괄적인 인덱싱을 위해 이미지의 밀집 벡터 임베딩과 결합될 수 있습니다.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

개발자는 정밀한 AI 생성 희소 키워드로 밀집 이미지 임베딩을 보강함으로써 Ultralytics Platform과 하이브리드 호환 벡터 데이터베이스를 활용하여 데이터의 명시적 텍스트 태그와 암시적 시각적 문맥을 모두 완벽하게 이해하는 강력한 멀티모달 검색 엔진을 구축할 수 있습니다.