Latent Space
잠재 공간은 신경망이 유사한 입력을 서로 가까이 배치하는 학습된 특징의 압축 공간으로, 검색과 생성에 사용됩니다.
잠재 공간은 머신러닝 모델이 학습하는 내부 표현의 공간입니다. 각 입력은 일반적으로 원시 데이터보다 훨씬 적은 차원을 가진 한 점으로 표현되며, 의미가 비슷한 입력은 서로 가까이 위치합니다. "잠재"란 숨겨져 있다는 뜻입니다. 좌표는 데이터에서 직접 측정되는 것이 아니라 모델이 학습 중에 추론합니다. 640 x 640 컬러 사진에는 1,228,800개의 픽셀 값이 있지만, 이미지 모델은 이를 수백 개 숫자의 벡터로 요약할 수 있습니다. 잘 학습된 공간에서 자동차 사진의 최근접 이웃은 다른 자동차 사진이며, 공간의 방향은 자세, 색상, 스타일과 같은 속성에 대응합니다.
자연 데이터에는 중복성이 매우 높기 때문에 잠재 공간이 유용합니다. 가능한 픽셀 배열의 대부분은 노이즈처럼 보이며, 실제 이미지는 픽셀 공간의 얇고 휘어진 영역을 차지합니다. 이는 다양체 가설로 알려진 개념입니다. 해당 영역을 따라가는 좌표를 학습하는 신경망은 각 이미지를 소수의 숫자로 표현할 수 있습니다.
잠재 공간, 임베딩, 특징 맵#
임베딩은 잠재 공간의 한 점, 즉 이미지·단어·사용자 하나를 나타내는 벡터입니다. 잠재 공간은 이러한 모든 점과 점 사이의 거리로 이루어지며, "임베딩 공간"은 동의어입니다. 합성곱 네트워크 내부의 특징 맵은 공간적 잠재 표현으로, 각 위치에 벡터가 있습니다. 모델은 이를 풀링해 이미지당 하나의 임베딩으로 만드는 경우가 많습니다. 차원 축소 방법도 잠재 공간을 생성합니다. 주성분 분석 (PCA)은 선형 잠재 공간을 찾고, t-SNE는 학습된 잠재 공간을 시각화를 위해 2차원으로 투영할 때 주로 사용됩니다.
모델의 잠재 공간 학습 방식#
오토인코더는 잠재 공간을 직접 학습합니다. 인코더는 각 입력을 짧은 벡터로 압축하고, 디코더는 해당 벡터에서 입력을 복원합니다. 복원 오차를 최소화하면 병목 계층은 입력마다 다른 특징을 유지해야 합니다. 레이블은 사용하지 않지만 결과 공간에서는 비슷한 입력이 서로 가까이 모이며, k-최근접 이웃 (KNN) 분류기로 이를 측정할 수 있습니다:
import torch
from sklearn.datasets import load_digits
from sklearn.neighbors import KNeighborsClassifier
from torch import nn
torch.manual_seed(0)
images, labels = load_digits(return_X_y=True) # 1,797 handwritten digits, 8 x 8 = 64 pixels each
x = torch.tensor(images / 16, dtype=torch.float32)
# An autoencoder squeezes 64 pixels through an 8-number bottleneck: the latent space
encoder = nn.Sequential(nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 8))
decoder = nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 64))
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=0.01)
for _ in range(1000):
loss = (decoder(encoder(x)) - x).square().mean() # reconstruction error, no labels used
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Classify held-out digits by their nearest neighbors in each space
codes = encoder(x).detach().numpy()
for name, features in (("64 pixels", images), ("8 latent values", codes)):
knn = KNeighborsClassifier().fit(features[:1400], labels[:1400])
print(f"{name}: {knn.score(features[1400:], labels[1400:]):.2f} accuracy")실행 결과는 64 pixels: 0.97 accuracy과 8 latent values: 0.93 accuracy을 출력합니다. 이미지당 학습된 숫자 여덟 개는 숫자의 정체성을 최근접 이웃 분류에 충분히 보존하므로, 분류 성능은 픽셀 64개를 모두 사용한 경우와 비슷한 수준을 유지합니다. 오토인코더는 레이블을 전혀 보지 않았습니다.
2013년 Diederik Kingma와 Max Welling이 소개한 변분 오토인코더는 각 입력을 한 점이 아닌 분포로 인코딩하므로, 새 데이터를 샘플링하고 예제 간 보간을 수행할 수 있을 만큼 매끄러운 공간이 형성됩니다. 대조 학습은 일치하는 쌍을 서로 끌어당기고 다른 쌍은 서로 밀어내 공간을 형성합니다; CLIP은 이미지와 텍스트가 하나의 잠재 공간을 공유하도록 이미지-캡션 쌍으로 학습합니다. 지도 학습 네트워크는 작업 수행의 부수 효과로 잠재 공간을 학습합니다. model.embed()는 Ultralytics YOLO26에서 예측 모드를 실행하고, 탐지 헤드 직전 레이어의 특징 맵을 모든 공간 위치에 걸쳐 평균화하여 이미지당 벡터 하나를 반환하며, 이 표현은 클러스터링과 유사도 검색에 적합합니다.
잠재 공간의 활용#
압축된 공간에서 생성하면 비용이 낮아집니다. 잠재 확산 모델은 픽셀 대신 잠재 공간에서 확산 모델의 노이즈 제거 과정을 수행합니다. 잠재 확산 논문을 기반으로 만든 Stable Diffusion은 오토인코더를 사용해 512 x 512 RGB 이미지를 64 x 64 x 4 잠재 표현으로 압축합니다. 값의 수가 48배 적어지므로 고해상도 이미지 생성 비용을 감당할 수 있습니다. 생성적 적대 신경망 (GAN)은 무작위 잠재 벡터를 이미지로 변환하므로, 두 잠재점 사이를 이동하면 생성된 얼굴이 하나에서 다른 얼굴로 변형됩니다.
검색과 인식은 거리를 측정해 수행됩니다. 시맨틱 검색 시스템은 문서나 이미지를 한 번 임베딩하고 벡터를 벡터 데이터베이스에 저장한 뒤, 쿼리 임베딩과 코사인 유사도가 가장 높은 항목을 반환합니다. CLIP과 같은 이미지-텍스트 공유 공간에서는 제로샷 학습을 사용해 클래스 이름의 텍스트 임베딩과 가장 가까운 이미지 클래스를 분류하므로, 해당 클래스의 학습 이미지는 필요하지 않습니다. 이상 탐지에서는 정상 부품만으로 학습한 오토인코더가 결함 부품을 제대로 복원하지 못합니다. 임베딩이 정상 클러스터에서 멀리 떨어진 입력은 검사 대상으로 표시합니다.
잘 정돈된 공간에서 방향은 속성을 인코딩합니다. 2013년 Tomas Mikolov와 동료들이 공개한 word2vec 임베딩은 자연어 처리(NLP)의 핵심 기술이며, 이 임베딩에서는 "king" 벡터에서 "man" 벡터를 빼고 "woman" 벡터를 더한 결과가 "queen" 벡터와 가장 가깝습니다.










