获取 YOLO 许可
返回 Ultralytics 术语表

Latent Space

潜在空间是学习到的特征所处的压缩空间,神经网络会将相似输入放置在彼此附近,并用它进行搜索和生成。

潜空间是机器学习模型学到的内部表示空间,其中每个输入都会变成一个点;其维度通常远少于原始数据,并且含义相似的输入彼此接近。“潜”意味着隐藏:这些坐标并非直接从数据中测量得到,而是模型在训练过程中推断出来的。一张 640 x 640 的彩色照片包含 1,228,800 个像素值;图像模型可以用由几百个数字组成的向量概括它。在训练良好的空间中,汽车照片最近的邻居也是其他汽车,而空间中的方向则对应姿态、颜色或风格等属性。

潜空间之所以有效,是因为自然数据中存在大量冗余。大多数可能的像素数组看起来都像噪声,而真实图像只占据像素空间中一块狭窄的弯曲区域,这一观点称为流形假设。能够学习该区域坐标的神经网络,可以用少量数字描述每张图像。

潜空间、嵌入与特征图#

嵌入是潜空间中的一个点,也就是一张图像、一个词或一位用户对应的向量;潜空间则是所有这些点及其距离所构成的集合。“嵌入空间”是它的同义词。特征图是卷积网络中的空间潜在表示,每个位置都有一个向量;模型通常会对特征图进行池化,为每张图像生成一个嵌入。降维方法也能生成潜空间:主成分分析 (PCA)得到的是线性潜空间,而 t-SNE主要用于将学到的潜空间投影到二维平面上进行可视化。

模型如何学习潜空间#

自编码器可以直接学习潜空间。编码器将每个输入压缩成一个短向量,解码器再从该向量重建输入;最小化重建误差会迫使瓶颈保留能够区分不同输入的信息。整个过程不需要标签,但生成的空间仍会将相似输入归为一组,k 近邻 (KNN)分类器可以测量这种相似性:

import torch
from sklearn.datasets import load_digits
from sklearn.neighbors import KNeighborsClassifier
from torch import nn

torch.manual_seed(0)
images, labels = load_digits(return_X_y=True)  # 1,797 handwritten digits, 8 x 8 = 64 pixels each
x = torch.tensor(images / 16, dtype=torch.float32)

# An autoencoder squeezes 64 pixels through an 8-number bottleneck: the latent space
encoder = nn.Sequential(nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 8))
decoder = nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 64))
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=0.01)
for _ in range(1000):
    loss = (decoder(encoder(x)) - x).square().mean()  # reconstruction error, no labels used
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Classify held-out digits by their nearest neighbors in each space
codes = encoder(x).detach().numpy()
for name, features in (("64 pixels", images), ("8 latent values", codes)):
    knn = KNeighborsClassifier().fit(features[:1400], labels[:1400])
    print(f"{name}: {knn.score(features[1400:], labels[1400:]):.2f} accuracy")

它会输出 64 pixels: 0.97 accuracy 和 8 latent values: 0.93 accuracy。每张图像对应的 8 个学习到的数字保留了足够多的数字特征,因此最近邻分类的效果接近使用全部 64 个像素的效果,尽管自编码器从未见过任何标签。

Diederik Kingma 和 Max Welling 于 2013 年提出了变分自编码器。它将每个输入编码为一个分布,而不是一个点,因此潜空间足够平滑,可以从中采样生成新数据,也可以在样本之间插值。对比学习通过拉近匹配对、推远其他样本对来塑造潜空间;CLIP使用图像与说明文字配对进行训练,让图像和文本共享同一个潜空间。监督网络则会在完成任务的过程中顺带学习潜空间。model.embed() 在 Ultralytics YOLO26中运行预测模式,并通过对检测头前一层的特征图沿所有空间位置求平均,为每张图像返回一个向量;这种表示适合用于聚类和相似性搜索。

潜空间能实现什么#

在紧凑空间中进行生成,成本更低。潜空间扩散模型在潜变量而非像素上运行扩散模型的去噪过程。Stable Diffusion基于潜空间扩散论文,使用自编码器将 512 x 512 的 RGB 图像压缩为 64 x 64 x 4 的潜变量,数值数量减少了 48 倍,从而让高分辨率图像生成变得经济可行。生成对抗网络 (GAN)会将随机潜向量映射为图像,因此在两个潜空间点之间移动,可以让一张生成的人脸逐渐变成另一张。

搜索与识别通过测量距离实现。语义搜索系统会为文档或图像生成一次嵌入,将向量存储在向量数据库中,然后返回与查询嵌入具有最高余弦相似度的项目。在 CLIP 这类共享图像-文本空间中,零样本学习会根据与图像最近的文本嵌入所对应的类别名称来分类图像,无需该类别的训练图像。对于异常检测,只使用正常零件训练的自编码器无法很好地重建有缺陷的零件;嵌入远离正常聚类的输入会被标记出来以供检查。

在组织良好的空间中,向量方向可以编码属性。Tomas Mikolov 及其同事于 2013 年发布的 word2vec 嵌入,是自然语言处理 (NLP)中的经典方法;其中,“king”的向量减去“man”的向量,再加上“woman”的向量,最接近“queen”的向量。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来