시맨틱 검색

시맨틱 검색은 사용자의 쿼리 뒤에 숨겨진 의도와 문맥적 의미를 이해하는 것을 목표로 하는 고급 정보 검색 기술로, 단순히 키워드를 일치시키는 것과는 다릅니다. 기존의 검색 엔진이 문자 그대로의 용어 일치에 의존하는 것과 달리, 시맨틱 검색은 자연어 처리(NLP) 및 머신 러닝(ML)을 사용하여 더욱 관련성 높고 정확한 결과를 제공합니다. 목표는 인간의 언어와 컴퓨터가 쉽게 처리할 수 있는 구조화된 데이터 간의 간극을 좁혀 더욱 직관적이고 효과적인 검색 경험을 제공하는 것입니다.

이 기술은 텍스트나 이미지와 같은 비정형 데이터를 임베딩이라는 수치 표현으로 변환하여 작동합니다. OpenAI의 CLIP(Contrastive Language-Image Pre-Training) 또는 Google의 BERT와 같은 모델은 콘텐츠의 의미론적 본질을 포착하는 이러한 임베딩을 생성하도록 훈련됩니다. 데이터가 벡터로 표현되면 벡터 데이터베이스인 Milvus 또는 Weaviate는 Meta의 FAISS와 같은 특수 알고리즘을 사용하여 빠르고 효율적인 유사성 검색을 수행합니다.

실제 애플리케이션

시맨틱 검색은 다양한 영역에서 디지털 정보와 상호 작용하는 방식을 혁신했습니다. 다음은 두 가지 주요 예입니다.

1. 시맨틱 이미지 검색: 창의적인 분야나 대규모 이미지 데이터 세트 관리의 경우 사용자는 추상적인 개념을 기반으로 이미지를 찾아야 하는 경우가 많습니다. 예를 들어, 그래픽 디자이너는 "평화롭고 외딴 해변의 일몰"을 검색할 수 있습니다. 기존 시스템은 이미지가 꼼꼼하게 태그되지 않은 경우 이 쿼리에 어려움을 겪습니다. Ultralytics에서 제공하는 것과 같은 시맨틱 검색 시스템은 이미지 자체의 내용을 분석하여 파일 이름이나 태그에 의존하지 않고 설명된 분위기 및 요소와 일치하는 시각적 자료를 반환합니다. 유사성 검색 가이드에서 이를 구현하는 방법에 대해 자세히 알아볼 수 있습니다.
2. 전자 상거래 제품 검색: 온라인 소매업체는 시맨틱 검색을 활용하여 쇼핑 경험을 개선합니다. 고객은 특정 제품 이름 대신 "눈 덮인 겨울에 신을 따뜻한 부츠"를 검색할 수 있습니다. 검색 엔진은 "따뜻한" 및 "눈 덮인" 개념을 이해하고 단열 방수 부츠와 같이 해당 정확한 키워드가 제품 설명에 없더라도 제품을 추천할 수 있습니다. 이는 Forbes의 업계 전문가가 설명한 바와 같이 고객 만족도를 높이고 판매를 개선합니다.

시맨틱 검색 vs. 관련 개념

시맨틱 검색을 AI 및 데이터 과학의 여러 관련 용어와 구별하는 것이 중요합니다.

• 키워드 검색: 이는 쿼리의 문자 그대로의 단어를 문서와 일치시키는 전통적인 방법입니다. 동의어, 컨텍스트 또는 사용자 의도를 이해할 수 없으며, 이는 시맨틱 검색의 핵심 강점입니다.
• 벡터 검색: 이는 벡터 임베딩의 근접성을 계산하여 유사한 항목을 찾는 방법을 나타냅니다. 벡터 검색은 대부분의 최신 시맨틱 검색 시스템의 중요한 구성 요소이지만, 시맨틱 검색은 Cohere와 같은 회사의 정교한 NLP 모델을 통해 의미를 이해하는 초기 단계를 포함하는 더 광범위한 개념입니다.
• 지식 그래프: 지식 그래프는 정보를 엔터티와 그 관계로서 구조화합니다. Google 지식 그래프에서 볼 수 있듯이 구조화된 컨텍스트를 제공하여 시맨틱 검색을 크게 향상시킬 수 있습니다. 그러나 시맨틱 검색은 임베딩만을 사용하여 비정형 데이터에서 직접 작동할 수도 있으므로 두 기술은 상호 보완적입니다.
• 개체명 인식(NER): NER은 텍스트에서 이름, 장소 및 조직과 같은 특정 개체를 식별하는 NLP의 하위 작업입니다. NLP 파이프라인에서 핵심 개념을 시맨틱 검색 시스템에 제공하기 위한 전처리 단계로 사용할 수 있지만 검색 프로세스 자체는 아닙니다.

시맨틱 검색은 현대적인 AI 솔루션의 초석으로, 더욱 지능적이고 사용자 친화적인 시스템을 가능하게 합니다. 이 기술은 일상적인 웹 검색부터 특수 AI 애플리케이션에 이르기까지 모든 것을 지원하며, Ultralytics YOLO 모델로 구축되고 Ultralytics HUB와 같은 플랫폼을 통해 관리되는 시각적 검색도 포함됩니다.