임베딩

임베딩은 이산 변수의 조밀하고 저차원적이며 연속적인 벡터 표현으로, 이산 변수의 현대의 기본 데이터 형식입니다. 인공 지능(AI). 원핫 인코딩과 같은 스파스 표현과는 달리, 방대하고 비효율적인 벡터를 생성할 수 있습니다, 임베딩은 단어, 이미지 또는 오디오와 같은 고차원의 입력을 매핑하여 데이터의 의미 관계와 기본 의미를 캡처합니다. 단어, 이미지 또는 오디오와 같은 고차원 입력을 컴팩트한 숫자 공간에 매핑하여 데이터의 의미 관계와 근본적인 의미를 포착합니다. 이 학습된 벡터 공간에서는 비슷한 특성이나 맥락을 공유하는 유사한 특성이나 컨텍스트를 공유하는 항목이 서로 가까운 곳에 위치하여 머신 러닝(ML) 모델 이 복잡한 패턴을 직관적으로 이해하고 처리할 수 있습니다.

임베딩 작동 방식

임베딩의 핵심 개념은 원시 데이터를 컴퓨터가 처리할 수 있는 수학적 형태로 변환하는 것입니다. 효율적으로 변환하는 것입니다. 이 프로세스에는 일반적으로 신경망(NN) 학습 을 학습하여 입력을 실수 벡터에 매핑합니다. 이 과정에서 모델 훈련 단계에서 네트워크는 이러한 벡터를 이러한 벡터 사이의 거리가 나타내는 항목의 유사성에 해당하도록 조정합니다.

예를 들어 자연어 처리(NLP)에서 "king"과 "queen"이라는 단어의 임베딩은 의미적 관계를 반영하여 "apple"보다는 보다 수학적으로 더 가깝게 임베딩되어 의미 관계를 반영합니다. 이러한 변환은 차원 축소의 한 형태로, 노이즈는 버리면서 필수 정보는 보존하여 분류나 클러스터링과 같은 다운스트림 작업을 훨씬 효과적으로 수행할 수 있게 해줍니다. 클러스터링과 같은 다운스트림 작업을 훨씬 더 효과적으로 수행할 수 있습니다.

생성 및 교육

임베딩은 일반적으로 교육 과정의 부산물로 생성됩니다. 딥러닝(DL) 모델을 학습할 때 생성됩니다. 다음과 같은 프레임워크 PyTorch 및 TensorFlow 은 이러한 표현을 학습하도록 특별히 이러한 표현을 학습하도록 설계된 레이어를 제공합니다.

1. 초기화: 임베딩 벡터는 종종 임의의 값으로 초기화됩니다.
2. 학습: 모델이 특정 목표(예: 시퀀스의 다음 단어 예측 또는 이미지의 물체 식별)에 맞게 최적화됨에 따라 시퀀스 또는 이미지에서 객체 식별과 같은 특정 목표를 최적화함에 따라 모델 가중치 임베딩 레이어와 연결된 임베딩 레이어와 관련된 모델 가중치가 업데이트됩니다.
3. 결과: 최종 학습된 가중치는 임베딩 룩업 테이블 역할을 하며, 각 입력 토큰 또는 객체는 객체는 특정 밀도 벡터에 해당합니다.

표준을 사용하여 이미지에 대한 임베딩을 생성할 수 있습니다. 컴퓨터 비전(CV) 워크플로우를 사용하여 이미지에 대한 임베딩을 생성할 수 있습니다. 다음 Python 스니펫은 사전 학습된 이미지를 사용하여 이미지에서 임베딩을 추출하는 방법을 보여줍니다. Ultralytics YOLO11 분류 모델을 사용하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load a YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate embeddings for an image from a URL
# The embed() method specifically returns the feature vector
embedding_vector = model.embed("https://ultralytics.com/images/bus.jpg")

# Output the shape of the embedding (e.g., a vector of length 1280)
print(f"Embedding shape: {embedding_vector[0].shape}")

실제 애플리케이션

임베딩은 시스템이 비정형 데이터를 처리하는 방식을 혁신적으로 변화시켜 이전에는 불가능했던 기능을 불가능했습니다.

• 시맨틱 검색 엔진: 기존 검색 엔진은 키워드 매칭에 의존하는데, 이는 쿼리가 동의어를 사용할 경우 실패하는 경우가 많습니다. 시맨틱 검색 은 임베딩을 활용하여 쿼리의 의도와 문서 또는 이미지의 콘텐츠를 일치시킵니다. 쿼리 임베딩과 문서 임베딩 사이의 벡터 벡터를 비교하여 쿼리 임베딩과 문서 임베딩 사이의 거리를 비교함으로써, 시스템은 개념적으로 관련성이 있는 결과를 검색합니다. 정확한 단어를 공유하지 않더라도 개념적으로 관련성이 있는 결과를 검색합니다.
• 개인화된 추천 시스템: 넷플릭스나 아마존과 같은 플랫폼에서는 임베딩을 사용하여 사용자 선호도 및 항목 특성을 모델링합니다. 예를 들어 사용자가 공상 과학 영화를 시청하면 추천 시스템 추천 시스템은 유사한 임베딩 벡터를 가진 다른 영화를 제안할 수 있습니다. 이 접근 방식은 종종 가장 가까운 이웃 알고리즘을 사용하여 구현되는 이 접근 방식은 벡터 데이터베이스를 사용하여 구현되는 이 접근 방식은 수백만 개의 항목으로 효율적으로 확장할 수 있습니다.
• 제로 샷 학습: 다음과 같은 고급 모델 CLIP 과 같은 고급 모델은 텍스트와 이미지의 공동 임베딩을 학습합니다. 이를 통해 시스템은 학습 중에 본 적이 없는 이미지를 classify 수 있습니다. 이미지 임베딩을 클래스 이름의 텍스트 임베딩과 비교하여 분류할 수 있습니다. 제로 샷 학습.

임베딩 vs. 관련 개념

임베딩과 관련 용어의 차이점을 이해하는 것은 AI 환경을 탐색하는 데 매우 중요합니다.

• 임베딩과 특징 추출 비교: 둘 다 데이터를 숫자 피처로 변환하는 것을 포함합니다, 특징 추출 은 에지 감지와 같은 수동 기법 또는 자동화된 기법을 의미할 수 있습니다. 임베딩은 특정 유형의 자동화된 학습된 특징 추출의 특정 유형으로, 밀도가 높은 벡터를 생성하며 다른 모델이나 유사성 작업의 입력으로 자주 사용됩니다.
• 임베딩과 벡터 검색 비교: 임베딩은 데이터 구조 (벡터 자체)입니다. 벡터 검색 는 이러한 임베딩 컬렉션을 이러한 임베딩 컬렉션을 쿼리하여 유사한 항목을 찾는 프로세스입니다. 다음과 같은 기술 Pinecone 또는 Milvus 는 임베딩을 저장하고 이 검색을 수행하도록 설계되었습니다. 효율적으로 수행하도록 설계되었습니다.
• 임베딩과 토큰화 비교: 텍스트 처리에서, 토큰화 은 텍스트를 텍스트를 더 작은 단위로 나누는 단계입니다. 토큰. 이러한 토큰은 해당 임베딩 벡터를 조회하는 불연속 식별자(정수)입니다. 따라서 토큰화는 파이프라인에서 임베딩을 검색하기 전에 이루어집니다.

임베딩은 추상적인 개념을 수학적 벡터로 변환하여 인간의 직관과 기계 로직 사이의 간극을 메워 정교한 패턴 인식 기능 정교한 패턴 인식 기능을 구현할 수 있습니다.