Normalizing Flows

Normalizing flows are generative AI models that learn an invertible mapping between a simple probability distribution, usually Gaussian noise, and a complex data distribution. Unlike many generative models, they can both create samples and calculate exact data likelihoods efficiently. This makes them useful for density estimation, uncertainty modeling, and learning structured latent spaces, as explained in the foundational normalizing flows review. (arxiv.org)

Link to this sectionNormalizing Flows의 작동 원리#

Flow는 일련의 가역적인 신경망 변환을 적용합니다:

1. 단순한 기본 분포에서 포인트를 샘플링합니다.
2. 여러 개의 가역적인 레이어를 통해 이를 변환합니다.
3. 각 레이어가 자코비안 행렬식을 사용하여 확률 밀도를 어떻게 확장하거나 축소하는지 추적합니다.
4. 관측된 데이터의 확률을 계산할 때 변환을 역으로 수행합니다.

Pyro normalizing flow tutorial은 샘플링 및 밀도 평가에 대한 실용적인 예제를 제공합니다. 이름은 비슷하게 들리지만, normalizing flows는 기능적 normalization이나 batch normalization과 동일하지 않습니다. 여기서 "normalizing"은 복잡한 분포를 표준 분포로 변환한다는 의미입니다.

기존 설계는 세심하게 구조화된 가역적 레이어를 요구합니다. 최근의 Free-form Flows research는 이러한 제약을 완화했으며, 2024년 universality analysis of coupling-based flows 연구는 왜 아핀 커플링 레이어가 여전히 효과적인지 설명합니다. (proceedings.mlr.press)

Link to this section실제 애플리케이션 사례#

• Industrial Anomaly Detection: Flow는 결함이 없는 제품의 임베딩을 모델링하고 시각적 검사 중에 가능성이 낮은 샘플을 표시할 수 있습니다. 그러나 NeurIPS research on flow likelihood failures에서 보여주듯이 우도만으로는 항상 신뢰할 수 있는 OOD(out-of-distribution) 점수가 되지 않을 수 있습니다. 작업별 메트릭과 대표적인 비정상 데이터를 사용하여 결과를 검증하십시오. (proceedings.neurips.cc)
• 의료 영상: 2024년 transcranial ultrasound flow model은 더 빠른 재구성 및 불확실성 추정을 위해 normalizing flows를 사용합니다. 유사한 기술들은 예측에 신뢰 구간이 필요한 medical image analysis 분야를 지원할 수 있습니다. (proceedings.mlr.press)
• 합성 데이터 및 보정: Flows는 구조화된 synthetic data를 생성하거나 예측 오류를 모델링할 수 있습니다. normalizing flows for conformal regression에 관한 2024년 연구는 더 적응적인 불확실성 구간을 입증합니다. 생성된 비전 데이터는 Ultralytics Platform을 통해 주석 처리되고 학습 및 배포될 수 있습니다. (proceedings.mlr.press)

Link to this sectionNormalizing Flows와 관련 방법론 비교#

Flow matching은 Meta의 Flow Matching guide에 자세히 설명된 대로, 주로 회귀 목적 함수를 사용하여 연속적인 속도 필드를 학습합니다. 전통적인 normalizing flows는 대신 가역적 변환과 직접적인 우도 최적화를 강조합니다. Rectified flow는 더 직선적인 전송 경로를 찾는 반면, diffusion models은 반복적인 노이즈 제거를 통해 데이터를 생성합니다. Normalizing flows는 이산 객체 구축을 위한 정책을 학습하는 Generative Flow Networks나, 일반적으로 정확한 우도를 제공하지 않는 GANs와도 차이가 있습니다. (ai.meta.com)

Link to this section최근 동향 및 모범 사례#

Transformer 기반 아키텍처는 Flow에 대한 관심을 다시 불러일으켰습니다. 2025년 TarFlow study는 diffusion 접근 방식과 경쟁할 만한 이미지 생성 성능을 보고했으며, Jet은 Vision Transformers를 통해 커플링 Flow를 현대화했습니다. 2026년에는 regression-based flow training이 normalizing flows를 flow-matching 스타일의 목적 함수와 연결했고, SESaMo는 정확한 물리적 대칭성을 통합했습니다. (proceedings.mlr.press)

비전 애플리케이션의 경우, 원시 픽셀이 아닌 상위 수준의 임베딩을 모델링하는 것이 실용적인 접근 방식입니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
embeddings = model.embed("https://ultralytics.com/images/bus.jpg")
print(embeddings[0].shape)

이러한 Ultralytics YOLO26 임베딩은 밀도 추정 또는 이상 점수 산정을 위해 별도로 학습된 Flow의 입력이 될 수 있습니다. 신중한 data preprocessing을 수행하고, 우도를 완벽한 품질 척도로 취급하기보다는 하위 작업 성능과 함께 평가하십시오.