Лицензия YOLO
Назад к глоссарию Ultralytics

Latent Space

Латентное пространство — это сжатое пространство выученных признаков, где нейронная сеть размещает похожие входные данные рядом. Оно используется для поиска и генерации.

Латентное пространство — это пространство внутренних представлений, которое усваивает модель машинного обучения: каждый вход преобразуется в точку, обычно с гораздо меньшим числом измерений, чем у исходных данных, а входы со сходным смыслом располагаются близко друг к другу. «Латентный» означает «скрытый»: координаты не измеряются в данных, а выводятся моделью во время обучения. Цветная фотография размером 640 x 640 содержит 1 228 800 значений пикселей, но модель для изображений может представить ее вектором из нескольких сотен чисел. В хорошо обученном пространстве ближайшие соседи фотографии автомобиля — другие автомобили, а направления в пространстве соответствуют таким свойствам, как поза, цвет или стиль.

Латентные пространства работают благодаря высокой избыточности природных данных. Большинство возможных массивов пикселей выглядят как шум, а реальные изображения занимают в пространстве пикселей тонкую изогнутую область — идея, известная как гипотеза многообразия. Нейронная сеть, которая усваивает координаты вдоль этой области, может описать каждое изображение небольшим количеством чисел.

Латентное пространство, эмбеддинги и карты признаков#

Эмбеддинг — это одна точка в латентном пространстве, вектор одного изображения, слова или пользователя; латентное пространство — это совокупность всех таких точек и расстояний между ними. «Пространство эмбеддингов» — синоним этого термина. Карты признаков внутри сверточной сети — это пространственные латентные представления с вектором в каждой точке; модель часто объединяет их, получая по одному эмбеддингу на изображение. Методы снижения размерности тоже создают латентные пространства: метод главных компонент (PCA) находит линейное пространство, а t-SNE в основном используют для проекции усвоенного латентного пространства на две размерности и визуализации.

Как модели обучаются латентному пространству#

Автоэнкодер обучается ему напрямую. Энкодер сжимает каждый вход в короткий вектор, декодер восстанавливает вход по этому вектору, а минимизация ошибки реконструкции заставляет узкое место сохранять различия между входами. Метки не используются, но получившееся пространство группирует похожие входы, что можно измерить с помощью классификатора k ближайших соседей (KNN):

import torch
from sklearn.datasets import load_digits
from sklearn.neighbors import KNeighborsClassifier
from torch import nn

torch.manual_seed(0)
images, labels = load_digits(return_X_y=True)  # 1,797 handwritten digits, 8 x 8 = 64 pixels each
x = torch.tensor(images / 16, dtype=torch.float32)

# An autoencoder squeezes 64 pixels through an 8-number bottleneck: the latent space
encoder = nn.Sequential(nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 8))
decoder = nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 64))
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=0.01)
for _ in range(1000):
    loss = (decoder(encoder(x)) - x).square().mean()  # reconstruction error, no labels used
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Classify held-out digits by their nearest neighbors in each space
codes = encoder(x).detach().numpy()
for name, features in (("64 pixels", images), ("8 latent values", codes)):
    knn = KNeighborsClassifier().fit(features[:1400], labels[:1400])
    print(f"{name}: {knn.score(features[1400:], labels[1400:]):.2f} accuracy")

Выводятся 64 pixels: 0.97 accuracy и 8 latent values: 0.93 accuracy. Восемь усвоенных чисел для каждого изображения сохраняют достаточно информации о цифре, чтобы классификация по ближайшему соседу почти не уступала результату на всех 64 пикселях, хотя автоэнкодер никогда не видел меток.

Вариационные автоэнкодеры, представленные Дидериком Кингмой и Максом Веллингом в 2013 году, кодируют каждый вход как распределение, а не точку. Благодаря этому пространство становится достаточно гладким, чтобы генерировать из него новые данные и интерполировать между примерами. Контрастивное обучение формирует пространство, сближая соответствующие друг другу пары и раздвигая остальные; CLIP обучается на парах изображений и подписей, чтобы изображения и текст находились в одном латентном пространстве. Обучение с учителем формирует латентное пространство как побочный результат решения задачи. model.embed() в Ultralytics YOLO26 запускает режим предсказания и возвращает один вектор на изображение, усредняя карту признаков слоя перед головой детекции по всем пространственным позициям. Такое представление подходит для кластеризации и поиска похожих объектов.

Для чего нужны латентные пространства#

В компактном пространстве генерация обходится дешевле. Латентные диффузионные модели выполняют процесс шумоподавления диффузионных моделей над латентными представлениями, а не пикселями. Stable Diffusion, созданная на основе статьи о латентной диффузии, использует автоэнкодер, чтобы сжать RGB-изображение 512 x 512 до латентного представления размером 64 x 64 x 4 — значений становится в 48 раз меньше, что делает доступной генерацию изображений высокого разрешения. Генеративно-состязательные сети (GAN) преобразуют случайные латентные векторы в изображения, поэтому перемещение между двумя латентными точками преобразует одно сгенерированное лицо в другое.

Поиск и распознавание основаны на измерении расстояний. Системы семантического поиска один раз преобразуют документы или изображения в эмбеддинги, сохраняют векторы в векторной базе данных и возвращают элементы с наибольшим косинусным сходством с эмбеддингом запроса. В общем пространстве изображений и текста, например в пространстве CLIP, обучение без примеров классифицирует изображение по названию класса, текстовый эмбеддинг которого расположен ближе всего, даже если обучающих изображений этого класса нет. Для обнаружения аномалий автоэнкодер, обученный только на исправных деталях, плохо реконструирует дефектные, а входы, чьи эмбеддинги находятся далеко от нормального кластера, отправляются на проверку.

Направления в хорошо структурированном пространстве кодируют атрибуты. В эмбеддингах word2vec, опубликованных Томашем Миколовым и его коллегами в 2013 году и ставших ключевым инструментом в области обработки естественного языка (NLP), вектор для слова «король» минус вектор для слова «мужчина» плюс вектор для слова «женщина» оказывается ближе всего к слову «королева».

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения