Latent Space
潜在空间是学习到的特征所处的压缩空间,神经网络会将相似输入放置在彼此附近,并用它进行搜索和生成。
潜空间是机器学习模型学到的内部表示空间,其中每个输入都会变成一个点;其维度通常远少于原始数据,并且含义相似的输入彼此接近。“潜”意味着隐藏:这些坐标并非直接从数据中测量得到,而是模型在训练过程中推断出来的。一张 640 x 640 的彩色照片包含 1,228,800 个像素值;图像模型可以用由几百个数字组成的向量概括它。在训练良好的空间中,汽车照片最近的邻居也是其他汽车,而空间中的方向则对应姿态、颜色或风格等属性。
潜空间之所以有效,是因为自然数据中存在大量冗余。大多数可能的像素数组看起来都像噪声,而真实图像只占据像素空间中一块狭窄的弯曲区域,这一观点称为流形假设。能够学习该区域坐标的神经网络,可以用少量数字描述每张图像。
潜空间、嵌入与特征图#
嵌入是潜空间中的一个点,也就是一张图像、一个词或一位用户对应的向量;潜空间则是所有这些点及其距离所构成的集合。“嵌入空间”是它的同义词。特征图是卷积网络中的空间潜在表示,每个位置都有一个向量;模型通常会对特征图进行池化,为每张图像生成一个嵌入。降维方法也能生成潜空间:主成分分析 (PCA)得到的是线性潜空间,而 t-SNE主要用于将学到的潜空间投影到二维平面上进行可视化。
模型如何学习潜空间#
自编码器可以直接学习潜空间。编码器将每个输入压缩成一个短向量,解码器再从该向量重建输入;最小化重建误差会迫使瓶颈保留能够区分不同输入的信息。整个过程不需要标签,但生成的空间仍会将相似输入归为一组,k 近邻 (KNN)分类器可以测量这种相似性:
import torch
from sklearn.datasets import load_digits
from sklearn.neighbors import KNeighborsClassifier
from torch import nn
torch.manual_seed(0)
images, labels = load_digits(return_X_y=True) # 1,797 handwritten digits, 8 x 8 = 64 pixels each
x = torch.tensor(images / 16, dtype=torch.float32)
# An autoencoder squeezes 64 pixels through an 8-number bottleneck: the latent space
encoder = nn.Sequential(nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 8))
decoder = nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 64))
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=0.01)
for _ in range(1000):
loss = (decoder(encoder(x)) - x).square().mean() # reconstruction error, no labels used
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Classify held-out digits by their nearest neighbors in each space
codes = encoder(x).detach().numpy()
for name, features in (("64 pixels", images), ("8 latent values", codes)):
knn = KNeighborsClassifier().fit(features[:1400], labels[:1400])
print(f"{name}: {knn.score(features[1400:], labels[1400:]):.2f} accuracy")它会输出 64 pixels: 0.97 accuracy 和 8 latent values: 0.93 accuracy。每张图像对应的 8 个学习到的数字保留了足够多的数字特征,因此最近邻分类的效果接近使用全部 64 个像素的效果,尽管自编码器从未见过任何标签。
Diederik Kingma 和 Max Welling 于 2013 年提出了变分自编码器。它将每个输入编码为一个分布,而不是一个点,因此潜空间足够平滑,可以从中采样生成新数据,也可以在样本之间插值。对比学习通过拉近匹配对、推远其他样本对来塑造潜空间;CLIP使用图像与说明文字配对进行训练,让图像和文本共享同一个潜空间。监督网络则会在完成任务的过程中顺带学习潜空间。model.embed() 在 Ultralytics YOLO26中运行预测模式,并通过对检测头前一层的特征图沿所有空间位置求平均,为每张图像返回一个向量;这种表示适合用于聚类和相似性搜索。
潜空间能实现什么#
在紧凑空间中进行生成,成本更低。潜空间扩散模型在潜变量而非像素上运行扩散模型的去噪过程。Stable Diffusion基于潜空间扩散论文,使用自编码器将 512 x 512 的 RGB 图像压缩为 64 x 64 x 4 的潜变量,数值数量减少了 48 倍,从而让高分辨率图像生成变得经济可行。生成对抗网络 (GAN)会将随机潜向量映射为图像,因此在两个潜空间点之间移动,可以让一张生成的人脸逐渐变成另一张。
搜索与识别通过测量距离实现。语义搜索系统会为文档或图像生成一次嵌入,将向量存储在向量数据库中,然后返回与查询嵌入具有最高余弦相似度的项目。在 CLIP 这类共享图像-文本空间中,零样本学习会根据与图像最近的文本嵌入所对应的类别名称来分类图像,无需该类别的训练图像。对于异常检测,只使用正常零件训练的自编码器无法很好地重建有缺陷的零件;嵌入远离正常聚类的输入会被标记出来以供检查。
在组织良好的空间中,向量方向可以编码属性。Tomas Mikolov 及其同事于 2013 年发布的 word2vec 嵌入,是自然语言处理 (NLP)中的经典方法;其中,“king”的向量减去“man”的向量,再加上“woman”的向量,最接近“queen”的向量。










