Reranker

리랭커는 특정 쿼리 또는 컨텍스트와의 관련성을 극대화하기 위해 검색 결과, 문서 구간 또는 객체 검출과 같은 후보 항목 목록을 정제하고 재정렬하도록 설계된 정교한 머신 러닝 모델입니다. 다단계 시스템에서는 초기 "리트리버"가 먼저 대규모 데이터셋에서 잠재적으로 유용한 항목을 폭넓게 빠르게 수집합니다. 그런 다음 리랭커가 2단계에서 작동하여 더 작은 후보 목록을 대상으로 심층적이고 계산 집약적인 분석을 수행하고 가장 적합한 항목을 식별합니다. 일부 후보에만 집중적으로 연산을 수행함으로써 시스템은 실시간 애플리케이션에 필요한 속도를 저하시키지 않으면서 높은 정확도를 달성할 수 있습니다.

리랭커의 작동 방식#

리랭킹은 일반적으로 최신 시맨틱 검색 및 추천 엔진에서 사용되는 2단계 파이프라인 내에서 작동합니다.

• 1단계 검색: 경량 모델이 전체 데이터베이스를 스캔하여 많은 후보(예: 상위 100개 문서)를 검색합니다. 이 단계에서는 관련 항목이 누락되지 않도록 재현율을 우선하며, 근사 최근접 이웃 검색과 같은 빠른 알고리즘을 자주 사용합니다.
• 2단계 리랭킹: 리랭커가 검색된 후보를 처리합니다. 단순한 벡터 유사도를 사용할 수 있는 리트리버와 달리, 리랭커는 흔히 cross-encoder 또는 강력한 Transformer 아키텍처를 사용합니다. 쿼리와 후보 항목 간의 전체 상호작용을 검토하여 더 단순한 모델이 놓치는 미묘한 뉘앙스와 컨텍스트를 포착합니다. 출력은 가장 관련성 높은 항목이 상위에 표시되도록 재정렬된 목록입니다.

리랭커와 리트리버 비교#

두 구성 요소 모두 관련 데이터를 찾는 것을 목표로 하지만, 머신 러닝 (ML) 워크플로에서 수행하는 역할은 서로 다릅니다.

• 리트리버는 확장성을 위해 구축됩니다. 데이터를 고정 크기의 임베딩으로 압축하므로 수백만 개의 항목을 밀리초 단위로 검색할 수 있습니다. 그러나 이러한 압축 과정에서 세밀한 정보가 손실될 수 있습니다.
• 리랭커는 정밀도를 위해 구축됩니다. 전체 데이터베이스에서 실행하기에는 너무 느리지만, 작은 부분 집합에서는 매우 효과적입니다. 빠른 검색 단계에서 발생한 오류를 수정하는 "2차 의견"을 제공합니다.

실제 적용 사례#

리랭커는 다양한 고성능 AI 시스템에서 필수적이며, 광범위한 검색과 정밀한 이해 사이의 간극을 연결합니다.

검색 증강 생성 (RAG)#

검색 증강 생성 (RAG)에서는 LLM이 외부 데이터를 기반으로 질문에 답변합니다. 검색 단계에서 관련 없는 문서를 LLM에 전달하면 모델이 환각을 일으키거나 잘못된 답변을 제공할 수 있습니다. 리랭커는 품질 필터 역할을 하여 가장 관련성 높은 텍스트 청크만 생성 모델로 전송되도록 합니다. 이를 통해 응답의 사실 정확도가 향상되고 컨텍스트 윈도우 사용량이 감소합니다.

객체 검출과 비최대 억제#

컴퓨터 비전에서는 추론 중에 리랭킹과 유사한 개념이 사용됩니다. YOLO26과 같은 모델은 이미지 내 객체에 대해 수천 개의 후보 바운딩 박스를 생성합니다. 비최대 억제 (NMS)라는 프로세스가 리랭커 역할을 합니다. 이 프로세스는 신뢰도 점수에 따라 박스를 정렬하고 교집합 대 합집합 (IoU)을 사용하여 중복되거나 겹치는 예측을 제거합니다. 이를 통해 최종 출력에는 각 객체에 대해 가장 우수한 검출 하나만 포함됩니다.

다음 Python 예제는 ultralytics을 사용한 추론 중 NMS 매개변수가 리랭킹 필터로 작동하는 방식을 보여줍니다.

from ultralytics import YOLO

# Load the state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference with NMS settings acting as the 'reranker'
# 'iou' controls the overlap threshold for suppressing duplicate candidates
# 'conf' sets the minimum confidence score required to be considered
results = model.predict("https://ultralytics.com/images/bus.jpg", iou=0.5, conf=0.25)

# Show the filtered, high-relevance detections
results[0].show()

전자상거래 개인화#

Amazon과 같은 주요 온라인 소매업체는 검색 결과를 맞춤화하기 위해 리랭커를 사용합니다. 사용자가 "운동화"를 검색하면 리트리버가 수천 개의 신발을 찾습니다. 그런 다음 리랭커는 사용자의 과거 구매 이력, 현재 트렌드 및 수익 마진을 바탕으로 항목을 정렬하여 사용자가 구매할 가능성이 가장 높은 항목을 페이지 상단에 배치합니다.

리랭킹 워크플로 최적화#

리랭커를 구현하려면 정확도 향상과 계산 비용 사이의 균형을 맞춰야 합니다. Ultralytics Platform을 사용하여 모델을 학습하고 배포하는 개발자에게는 모델 복잡도와 추론 속도 간의 트레이드오프를 이해하는 것이 중요합니다. 무거운 리랭커는 결과를 개선하지만 지연 시간을 증가시킵니다. 모델 양자화 또는 지식 증류와 같은 기법을 사용하면 엣지 디바이스에 배포할 리랭킹 모델의 속도를 높일 수 있습니다.

추론 파이프라인 최적화에 대해 더 알아보려면 최대 성능을 위한 하이퍼파라미터 튜닝 및 모델 내보내기 가이드를 읽어보세요.