Normalizing Flows

Нормализующие потоки — это модели генеративного ИИ, которые обучаются инвертируемому отображению между простым распределением вероятностей (обычно гауссовским шумом) и сложным распределением данных. В отличие от многих генеративных моделей, они могут эффективно как создавать выборки, так и вычислять точные значения правдоподобия данных. Это делает их полезными для оценки плотности, моделирования неопределенности и обучения структурированным латентным пространствам, как объясняется в фундаментальном обзоре нормализующих потоков. (arxiv.org)

Link to this sectionКак работают нормализующие потоки#

Поток применяет последовательность обратимых преобразований нейронных сетей:

1. Выбери точку из простого базового распределения.
2. Преобразуй её через несколько инвертируемых слоев.
3. Отслеживай, как каждый слой расширяет или сжимает плотность вероятности, используя его определитель Якоби.
4. Обрати преобразования при расчете вероятности наблюдаемых данных.

Учебное пособие Pyro по нормализующим потокам содержит практические примеры выборки и оценки плотности. Хотя название звучит похоже, нормализующие потоки — это не то же самое, что нормализация признаков или пакетная нормализация. Здесь «нормализация» означает преобразование сложного распределения в стандартное.

Традиционные конструкции требуют тщательно структурированных инвертируемых слоев. Недавнее исследование Free-form Flows смягчает это ограничение, а анализ универсальности потоков на основе связей от 2024 года объясняет, почему аффинные связующие слои остаются эффективными. (proceedings.mlr.press)

Link to this sectionРеальные приложения#

• Промышленное обнаружение аномалий: Поток может моделировать эмбеддинги изделий без дефектов и отмечать маловероятные образцы во время визуального осмотра. Однако одного правдоподобия не всегда достаточно для надежной оценки «out-of-distribution», что показано в исследовании NeurIPS о сбоях правдоподобия потоков. Проверяй результаты с помощью метрик, специфичных для задачи, и репрезентативных аномальных данных. (proceedings.neurips.cc)
• Медицинская визуализация: Модель транскраниального ультразвукового потока 2024 года использует нормализующие потоки для более быстрой реконструкции и оценки неопределенности. Аналогичные методы могут помочь в анализе медицинских изображений, где прогнозам требуются доверительные интервалы. (proceedings.mlr.press)
• Синтетические данные и калибровка: Потоки могут генерировать структурированные синтетические данные или моделировать ошибки прогнозирования. Работа 2024 года по нормализующим потокам для конформной регрессии демонстрирует более адаптивные интервалы неопределенности. Сгенерированные визуальные данные можно аннотировать, обучать на них и развертывать через Ultralytics Platform. (proceedings.mlr.press)

Link to this sectionНормализующие потоки против родственных методов#

Flow matching обычно обучает непрерывное поле скоростей с целевой функцией регрессии, как подробно описано в руководстве Meta по Flow Matching. Традиционные нормализующие потоки, напротив, делают упор на обратимые преобразования и прямую оптимизацию правдоподобия. Rectified flow стремится к более прямым путям транспортировки, в то время как диффузионные модели генерируют данные посредством итеративного шумоподавления. Нормализующие потоки также отличаются от Generative Flow Networks, которые изучают политики построения дискретных объектов, и от GANs, которые обычно не предоставляют точных значений правдоподобия. (ai.meta.com)

Link to this sectionПоследние разработки и лучшие практики#

Архитектуры на базе Transformer возобновили интерес к потокам. Исследование TarFlow 2025 года сообщило о генерации изображений, конкурентоспособной с диффузионными подходами, в то время как Jet модернизировал связующие потоки с помощью Vision Transformers. В 2026 году обучение потоков на основе регрессии связало нормализующие потоки с целевыми функциями в стиле flow-matching, а SESaMo внедрило точные физические симметрии. (proceedings.mlr.press)

Для приложений компьютерного зрения практический подход заключается в моделировании высокоуровневых эмбеддингов, а не необработанных пикселей:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
embeddings = model.embed("https://ultralytics.com/images/bus.jpg")
print(embeddings[0].shape)

Эти эмбеддинги Ultralytics YOLO26 могут стать входными данными для отдельно обученного потока для оценки плотности или подсчета аномалий. Используй тщательную предварительную обработку данных и оценивай правдоподобие наряду с последующей производительностью, а не рассматривай его как полную меру качества.