Latent Space
Латентное пространство — это сжатое пространство выученных признаков, где нейронная сеть размещает похожие входные данные рядом. Оно используется для поиска и генерации.
Латентное пространство — это пространство внутренних представлений, которое усваивает модель машинного обучения: каждый вход преобразуется в точку, обычно с гораздо меньшим числом измерений, чем у исходных данных, а входы со сходным смыслом располагаются близко друг к другу. «Латентный» означает «скрытый»: координаты не измеряются в данных, а выводятся моделью во время обучения. Цветная фотография размером 640 x 640 содержит 1 228 800 значений пикселей, но модель для изображений может представить ее вектором из нескольких сотен чисел. В хорошо обученном пространстве ближайшие соседи фотографии автомобиля — другие автомобили, а направления в пространстве соответствуют таким свойствам, как поза, цвет или стиль.
Латентные пространства работают благодаря высокой избыточности природных данных. Большинство возможных массивов пикселей выглядят как шум, а реальные изображения занимают в пространстве пикселей тонкую изогнутую область — идея, известная как гипотеза многообразия. Нейронная сеть, которая усваивает координаты вдоль этой области, может описать каждое изображение небольшим количеством чисел.
Латентное пространство, эмбеддинги и карты признаков#
Эмбеддинг — это одна точка в латентном пространстве, вектор одного изображения, слова или пользователя; латентное пространство — это совокупность всех таких точек и расстояний между ними. «Пространство эмбеддингов» — синоним этого термина. Карты признаков внутри сверточной сети — это пространственные латентные представления с вектором в каждой точке; модель часто объединяет их, получая по одному эмбеддингу на изображение. Методы снижения размерности тоже создают латентные пространства: метод главных компонент (PCA) находит линейное пространство, а t-SNE в основном используют для проекции усвоенного латентного пространства на две размерности и визуализации.
Как модели обучаются латентному пространству#
Автоэнкодер обучается ему напрямую. Энкодер сжимает каждый вход в короткий вектор, декодер восстанавливает вход по этому вектору, а минимизация ошибки реконструкции заставляет узкое место сохранять различия между входами. Метки не используются, но получившееся пространство группирует похожие входы, что можно измерить с помощью классификатора k ближайших соседей (KNN):
import torch
from sklearn.datasets import load_digits
from sklearn.neighbors import KNeighborsClassifier
from torch import nn
torch.manual_seed(0)
images, labels = load_digits(return_X_y=True) # 1,797 handwritten digits, 8 x 8 = 64 pixels each
x = torch.tensor(images / 16, dtype=torch.float32)
# An autoencoder squeezes 64 pixels through an 8-number bottleneck: the latent space
encoder = nn.Sequential(nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 8))
decoder = nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 64))
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=0.01)
for _ in range(1000):
loss = (decoder(encoder(x)) - x).square().mean() # reconstruction error, no labels used
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Classify held-out digits by their nearest neighbors in each space
codes = encoder(x).detach().numpy()
for name, features in (("64 pixels", images), ("8 latent values", codes)):
knn = KNeighborsClassifier().fit(features[:1400], labels[:1400])
print(f"{name}: {knn.score(features[1400:], labels[1400:]):.2f} accuracy")Выводятся 64 pixels: 0.97 accuracy и 8 latent values: 0.93 accuracy. Восемь усвоенных чисел для каждого изображения сохраняют достаточно информации о цифре, чтобы классификация по ближайшему соседу почти не уступала результату на всех 64 пикселях, хотя автоэнкодер никогда не видел меток.
Вариационные автоэнкодеры, представленные Дидериком Кингмой и Максом Веллингом в 2013 году, кодируют каждый вход как распределение, а не точку. Благодаря этому пространство становится достаточно гладким, чтобы генерировать из него новые данные и интерполировать между примерами. Контрастивное обучение формирует пространство, сближая соответствующие друг другу пары и раздвигая остальные; CLIP обучается на парах изображений и подписей, чтобы изображения и текст находились в одном латентном пространстве. Обучение с учителем формирует латентное пространство как побочный результат решения задачи. model.embed() в Ultralytics YOLO26 запускает режим предсказания и возвращает один вектор на изображение, усредняя карту признаков слоя перед головой детекции по всем пространственным позициям. Такое представление подходит для кластеризации и поиска похожих объектов.
Для чего нужны латентные пространства#
В компактном пространстве генерация обходится дешевле. Латентные диффузионные модели выполняют процесс шумоподавления диффузионных моделей над латентными представлениями, а не пикселями. Stable Diffusion, созданная на основе статьи о латентной диффузии, использует автоэнкодер, чтобы сжать RGB-изображение 512 x 512 до латентного представления размером 64 x 64 x 4 — значений становится в 48 раз меньше, что делает доступной генерацию изображений высокого разрешения. Генеративно-состязательные сети (GAN) преобразуют случайные латентные векторы в изображения, поэтому перемещение между двумя латентными точками преобразует одно сгенерированное лицо в другое.
Поиск и распознавание основаны на измерении расстояний. Системы семантического поиска один раз преобразуют документы или изображения в эмбеддинги, сохраняют векторы в векторной базе данных и возвращают элементы с наибольшим косинусным сходством с эмбеддингом запроса. В общем пространстве изображений и текста, например в пространстве CLIP, обучение без примеров классифицирует изображение по названию класса, текстовый эмбеддинг которого расположен ближе всего, даже если обучающих изображений этого класса нет. Для обнаружения аномалий автоэнкодер, обученный только на исправных деталях, плохо реконструирует дефектные, а входы, чьи эмбеддинги находятся далеко от нормального кластера, отправляются на проверку.
Направления в хорошо структурированном пространстве кодируют атрибуты. В эмбеддингах word2vec, опубликованных Томашем Миколовым и его коллегами в 2013 году и ставших ключевым инструментом в области обработки естественного языка (NLP), вектор для слова «король» минус вектор для слова «мужчина» плюс вектор для слова «женщина» оказывается ближе всего к слову «королева».










