시맨틱 검색

시맨틱 검색의 작동 방식

시맨틱 검색의 핵심은 NLP와 머신 러닝(ML) 의 개념을 활용하여 텍스트나 기타 데이터 유형에 포함된 의미를 해독하는 것입니다. 이 과정에는 종종 데이터(단어, 문장, 문서, 심지어 이미지 등)를 임베딩이라고 하는 숫자 표현으로 변환하는 작업이 포함됩니다. 일반적으로 고차원 벡터인 이러한 임베딩은 데이터의 의미적 본질을 포착합니다. 비슷한 의미, 개념 또는 맥락을 가진 항목은 이 벡터 공간에서 서로 가깝게 배치됩니다.

사용자가 검색을 수행하면 쿼리(자연어 텍스트, 이미지 등)도 동일한 ML 모델을 사용해 임베딩으로 변환됩니다. 그런 다음 시스템은 Pinecone이나 Milvus와 같은 특수 벡터 데이터베이스를 기반으로 하는 벡터 검색 기술을 사용하여 쿼리 임베딩과 가장 가까운(가장 유사한) 임베딩을 인덱스에서 효율적으로 찾습니다. 이러한 유사성은 일반적으로 코사인 유사도 또는 유클리드 거리와 같은 거리 메트릭을 사용하여 측정됩니다. 이러한 강력한 문맥 인식 임베딩을 생성하기 위해 트랜스포머 (예: BERT)와 같은 아키텍처를 포함한 고급 딥러닝(DL) 모델이 자주 사용됩니다. Google 검색과 같은 주요 검색 엔진은 단순한 키워드 빈도를 넘어 결과 품질을 개선하기 위해 수년 동안 시맨틱 이해를 통합해 왔습니다.

시맨틱 검색의 응용

시맨틱 검색은 사용자 의도나 데이터 컨텍스트를 이해하는 것이 중요한 다양한 애플리케이션을 향상시킵니다:

• 향상된 웹 검색: 키워드를 넘어 검색의 주제와 의도를 파악할 수 있습니다(예: '겨울에 오로라를 보기 좋은 곳'을 검색하면 해당 단어가 포함된 페이지뿐만 아니라 특정 장소와 이상적인 시간에 대한 결과도 표시됨).
• 이커머스 제품 검색: 사용자가 특정 브랜드나 제품명을 알 필요 없이 설명적인 자연어를 사용하여 제품을 검색할 수 있도록 합니다(예: '하루 종일 서 있어도 편안한 신발' 검색). 이는 종종 추천 시스템과 통합됩니다.
• 내부 지식 관리: 조직 내 직원들이 개념과 의미를 기반으로 검색하여 관련 문서, 보고서 또는 전문 지식을 찾을 수 있도록 지원하여 Ultralytics HUB와 같은 도구 내에서 정보 접근성을 개선합니다.
• 고객 지원 챗봇: 챗봇과 가상 비서가 사용자의 질문을 더 잘 이해하고 더 정확한 답변이나 관련 도움말 문서를 제공할 수 있도록 지원하며, 종종 LLM(대규모 언어 모델)을 활용합니다.
• 콘텐츠 추천: 사용자가 이전에 상호 작용한 콘텐츠와의 의미적 유사성을 기반으로 기사, 동영상 또는 음악을 추천하는 기능입니다. Spotify와 같은 플랫폼에서도 비슷한 개념을 사용합니다.
• 데이터 탐색: Ultralytics Explorer 대시보드와 같은 도구는 의미론적 유사성을 활용하여 사용자가 컴퓨터 비전(CV)에 사용되는 이미지 데이터 세트를 포함한 대규모 데이터 세트를 탐색하고 이해하는 데 도움을 줄 수 있습니다. 예를 들어, COCO와 같은 데이터 세트에서 선택한 이미지와 의미론적으로 유사한 이미지를 찾을 수 있습니다.

시맨틱 검색과 관련 개념

시맨틱 검색과 연관 검색어를 구분하는 것이 도움이 됩니다:

• 키워드 검색: 이 전통적인 접근 방식은 쿼리의 문자 그대로의 단어나 구를 정확한 용어가 포함된 문서와 일치시킵니다. 동의어, 문맥 또는 사용자 의도에 대한 이해가 부족합니다. 시맨틱 검색은 이러한 한계를 극복하는 것을 목표로 합니다.
• 벡터 검색: 벡터 검색은 벡터 임베딩의 근접성을 기반으로 유사한 항목을 찾는 데 사용되는 방법입니다. 벡터 검색은 많은 최신 시맨틱 검색 구현의 핵심 구성 요소 (효율적인 검색 부분 처리)이지만, 시맨틱 검색은 정교한 NLP 모델을 통해 쿼리와 데이터의 의미와 맥락을 먼저 이해하는 것을 포함하는 더 넓은 개념입니다.
• 지식 그래프: 지식 그래프는 정보를 엔티티와 관계로 구조화합니다. 구조화된 컨텍스트를 제공하고 복잡한 추론을 가능하게 함으로써 의미론적 검색을 크게 향상시킬 수 있지만(여기서는SPARQL 쿼리가 일반적입니다), 명시적인 그래프 구조 없이 임베딩을 사용하여 비정형 데이터에서도 의미론적 검색이 직접 작동할 수도 있습니다. 이 두 기술은 상호 보완적인 기술입니다.
• 명명된 엔티티 인식(NER): NER은 텍스트에서 특정 개체(예: 이름, 장소, 조직)를 식별합니다. 주요 개념을 추출하여 시맨틱 검색에 공급하는 NLP 파이프라인 내의 한 단계일 수 있지만, 전반적인 의미와 유사성에 초점을 맞추는 시맨틱 검색 자체는 아닙니다.

시맨틱 검색은 보다 지능적이고 사용자 친화적인 AI 시스템을 만드는 데 중요한 역할을 하며, 일상적인 웹 검색부터 다음을 사용하여 구축된 것과 같은 전문 AI 애플리케이션에 이르기까지 다양한 도메인에서 보다 효과적인 정보 액세스 및 상호 작용을 위해 인간 언어와 기계 이해 사이의 간극을 메워줍니다. Ultralytics YOLO 시각적 검색 또는 분석을 위한 Ultralytics 허브 내 모델.