Latent Consistency Models (LCMs)

Модели латентной согласованности (LCMs) — важный прорыв в области генеративного ИИ, разработанный для значительного ускорения генерации изображений и видео. Традиционным диффузионным моделям требуется медленный итеративный процесс удаления шума, который часто занимает десятки шагов для создания качественного изображения. LCMs устраняют это узкое место, обучаясь напрямую предсказывать полностью очищенный от шума конечный результат из любой точки процесса генерации. Работая в сжатом латентном пространстве, а не непосредственно с исходными пикселями изображения, LCMs обеспечивают впечатляющую вычислительную эффективность и позволяют генерировать медиа высокого разрешения всего за один–четыре шага.

Как устроены модели латентной согласованности#

LCMs развивают фундаментальную концепцию моделей согласованности, представленную исследователями из OpenAI. Эти модели призваны напрямую отображать любую точку на траектории зашумлённых данных в её исходное чистое состояние. Вместо применения этой техники в пространстве пикселей высокой размерности LCMs используют латентное пространство предварительно обученных моделей латентной диффузии (LDMs).

В ходе процесса, известного как дистилляция согласованности, предварительно обученную базовую модель дообучают, чтобы обеспечить согласованность функции потерь. Так нейросеть обучается выдавать одно и то же чистое латентное представление независимо от того, сколько шума было добавлено изначально. В результате получается модель, обходящая последовательный марковский процесс принятия решений, используемый в стандартной диффузии, что обеспечивает практически рендеринг в реальном времени на обычном оборудовании.

Примеры применения в реальных условиях#

Исключительная скорость LCMs открыла новые возможности для интерактивной работы, прежде недоступные из-за ограничений задержки:

• Интерактивный дизайн в реальном времени: В графическом дизайне и компьютерном зрении в архитектуре LCMs обеспечивают работу приложений с интерактивным холстом: пользователи рисуют простые контуры, а ИИ мгновенно создаёт фотореалистичные пейзажи или интерьеры прямо в процессе рисования.
• Динамические игровые окружения: Разработчики видеоигр используют быструю генерацию в латентном пространстве, чтобы на лету создавать динамичные, бесконечно разнообразные текстуры и фоновые элементы. Эта генерация бесшовно сочетается с высокоскоростными системами обнаружения объектов, такими как Ultralytics YOLO26, чтобы реагировать на движения игрока без пропуска кадров.

Чем LCMs отличаются от смежных понятий#

Чтобы лучше понять ландшафт глубокого обучения, полезно сравнить LCMs с похожими архитектурами:

• LCMs и диффузионные модели: Стандартным диффузионным моделям требуется от 20 до 50 проходов сети для генерации изображения. LCMs дистиллируют этот процесс и достигают сопоставимого качества за 1–4 прохода.
• LCMs и модели согласованности: Стандартные модели согласованности работают непосредственно с исходными пикселями изображения, тогда как LCMs работают со сжатыми представлениями признаков (латентными представлениями), благодаря чему они значительно быстрее и требуют меньше памяти.

Имитация быстрой обработки в латентном пространстве#

При создании быстрых конвейеров машинного обучения важно эффективно управлять латентными тензорами. В следующем примере с PyTorch показано, как LCM теоретически может обрабатывать пакетный тензор латентного шума за один прямой проход. Такой рабочий процесс часто сочетают с инструментами, доступными на платформе Ultralytics.

import torch
import torch.nn as nn


# Simulate a simplified Latent Consistency Model block
class DummyLCM(nn.Module):
    def __init__(self):
        super().__init__()
        # In practice, this is a complex U-Net or Transformer architecture
        self.network = nn.Linear(64, 64)

    def forward(self, noisy_latent):
        # A single step predicts the clean latent directly
        return self.network(noisy_latent)


# Generate a random latent noise tensor (Batch Size 1, Channels 4, 16x16)
noise = torch.randn(1, 4, 16, 16).view(1, -1)
model = DummyLCM()

# Generate the denoised latent in just one step
clean_latent = model(noise)
print(f"Output shape: {clean_latent.shape}")

По мере развития искусственного интеллекта переход к меньшему количеству шагов генерации оказывает существенное влияние на периферийные вычисления и развёртывание на мобильных устройствах. Снижая вычислительные затраты, LCMs дополняют быстрые модели восприятия и открывают путь к полностью автономным творческим и аналитическим системам ИИ, работающим в реальном времени.