시맨틱 검색

시맨틱 검색은 단순히 키워드를 일치시키는 것이 아니라 사용자 쿼리의 의도와 문맥적 의미를 이해하는 것을 목표로 하는 고급 정보 검색 기법입니다. 문자 그대로의 용어 매칭에 의존하는 기존 검색 엔진과 달리 시맨틱 검색은 자연어 처리(NLP) 와 머신 러닝(ML) 을 사용하여 보다 관련성 있고 정확한 결과를 제공합니다. 인간의 언어와 컴퓨터가 쉽게 처리할 수 있는 구조화된 데이터 사이의 간극을 메워 보다 직관적이고 효과적인 검색 환경을 제공하는 것이 목표입니다.

이 기술은 텍스트나 이미지와 같은 비정형 데이터를 임베딩이라고 하는 숫자 표현으로 변환하는 방식으로 작동합니다. 이러한 임베딩을 생성하기 위해 OpenAI의 CLIP(Contrastive Language-Image Pre-Training ) 또는 Google의 BERT와 같은 모델을 학습시켜 콘텐츠의 의미적 본질을 포착합니다. 데이터가 벡터로 표현되면 Milvus나 Weaviate와 같은 벡터 데이터베이스는 Meta의 FAISS와 같은 특수 알고리즘을 사용하여 빠르고 효율적인 유사도 검색을 수행합니다.

실제 애플리케이션

시맨틱 검색은 다양한 영역에서 우리가 디지털 정보와 상호작용하는 방식을 변화시켰습니다. 대표적인 두 가지 예가 있습니다:

1. 시맨틱 이미지 검색: 크리에이티브 분야나 대규모 이미지 데이터 세트를 관리할 때 사용자는 추상적인 개념을 기반으로 이미지를 찾아야 하는 경우가 많습니다. 예를 들어, 그래픽 디자이너가 "해질녘의 평화롭고 외딴 해변"을 검색할 수 있습니다. 기존 시스템에서는 이미지에 세심하게 태그가 지정되어 있지 않으면 이 쿼리를 처리하는 데 어려움을 겪을 것입니다. Ultralytics에서 제공하는 것과 같은 시맨틱 검색 시스템은 이미지 자체의 콘텐츠를 분석하여 파일 이름이나 태그에 의존하지 않고 설명된 분위기와 요소에 일치하는 시각적 이미지를 반환합니다. 이를 구현하는 방법에 대한 자세한 내용은 유사성 검색 가이드에서 확인할 수 있습니다.
2. 이커머스 제품 검색: 온라인 리테일러는 시맨틱 검색을 활용하여 쇼핑 경험을 개선합니다. 고객이 특정 제품 이름 대신 '눈 오는 겨울용 방한 부츠'를 검색할 수 있습니다. 검색 엔진은 '따뜻하다'와 '눈'의 개념을 이해하고 제품 설명에 해당 키워드가 없더라도 보온, 방수 부츠와 같은 제품을 추천할 수 있습니다. 이는 고객 만족도를 높이고 매출 향상으로 이어진다고 포브스의 업계 전문가들이 설명합니다.

시맨틱 검색과 관련 개념

시맨틱 검색을 AI 및 데이터 과학의 여러 관련 용어와 구별하는 것이 중요합니다:

• 키워드 검색: 쿼리의 리터럴 단어를 문서와 일치시키는 전통적인 방식입니다. 시맨틱 검색의 핵심 강점인 동의어, 문맥 또는 사용자 의도를 이해할 수 없습니다.
• 벡터 검색: 벡터 검색은 벡터에 포함된 항목의 근접성을 계산하여 유사한 항목을 찾는 방법을 말합니다. 벡터 검색은 대부분의 최신 시맨틱 검색 시스템의 핵심 구성 요소이지만, 시맨틱 검색은 Cohere와 같은 회사의 정교한 NLP 모델을 통해 의미를 이해하는 초기 단계도 포함하는 더 넓은 개념입니다.
• 지식 그래프: 지식 그래프는 정보를 엔티티와 그 관계로 구조화합니다. Google 지식 그래프에서 볼 수 있듯이 구조화된 컨텍스트를 제공함으로써 시맨틱 검색을 크게 향상시킬 수 있습니다. 그러나 시맨틱 검색은 임베딩만으로 비정형 데이터에 직접 작동할 수도 있으므로 두 기술은 상호 보완적인 관계에 있습니다.
• 명명된 엔티티 인식(NER): NER은 텍스트에서 이름, 장소, 조직과 같은 특정 엔티티를 식별하는 NLP의 하위 작업입니다. NLP 파이프라인의 전처리 단계로 사용되어 주요 개념을 의미론적 검색 시스템에 제공할 수 있지만, 검색 프로세스 자체는 아닙니다.

시맨틱 검색은 최신 AI 솔루션의 초석으로, 보다 지능적이고 사용자 친화적인 시스템을 가능하게 합니다. 이 기술은 일상적인 웹 검색부터 Ultralytics YOLO 모델로 구축되고 Ultralytics HUB와 같은 플랫폼을 통해 관리되는 시각적 검색을 포함한 특수 AI 애플리케이션에 이르기까지 모든 것을 지원합니다.