Normalizing Flows

Normalizing flows는 간단한 확률 분포(대개 가우스 노이즈)와 복잡한 데이터 분포 간의 가역적 매핑을 학습하는 generative AI 모델입니다. 많은 생성 모델과 달리 샘플을 생성하는 동시에 정확한 데이터 우도를 효율적으로 계산할 수 있습니다. 이는 기초적인 normalizing flows review에서 설명한 바와 같이 밀도 추정, 불확실성 모델링, 구조화된 latent spaces 학습에 유용합니다. (arxiv.org)

Normalizing Flows의 작동 원리#

Flow는 일련의 가역적인 신경망 변환을 적용합니다:

1. 단순한 기본 분포에서 포인트를 샘플링합니다.
2. 여러 개의 가역적인 레이어를 통해 이를 변환합니다.
3. 각 레이어가 자코비안 행렬식을 사용하여 확률 밀도를 어떻게 확장하거나 축소하는지 추적합니다.
4. 관측된 데이터의 확률을 계산할 때 변환을 역으로 수행합니다.

Pyro normalizing flow tutorial은 샘플링 및 밀도 평가에 대한 실용적인 예제를 제공합니다. 이름은 비슷하게 들리지만 normalizing flows는 특징 normalization이나 배치 정규화와는 다릅니다. 여기서 "normalizing"은 복잡한 분포를 표준 분포로 변환하는 것을 의미합니다.

전통적인 설계는 신중하게 구조화된 가역 계층을 요구합니다. 최근의 Free-form Flows research는 이러한 제약을 완화하며, 2024년의 universality analysis of coupling-based flows는 아핀 커플링 계층이 여전히 효과적인 이유를 설명합니다. (proceedings.mlr.press)

실제 애플리케이션 사례#

• Industrial Anomaly Detection: Flow는 결함이 없는 제품의 임베딩을 모델링하고 시각적 검사 중에 가능성이 낮은 샘플을 플래그 지정할 수 있습니다. 그러나 NeurIPS research on flow likelihood failures에서 보여주듯이 우도만으로는 항상 신뢰할 수 있는 OOD(out-of-distribution) 점수가 되지 않습니다. 작업별 메트릭과 대표적인 비정상 데이터로 결과를 검증하십시오. (proceedings.neurips.cc)
• Medical Imaging: 2024년 transcranial ultrasound flow model은 더 빠른 재구성 및 불확실성 추정을 위해 normalizing flows를 사용합니다. 유사한 기술들은 예측에 신뢰 구간이 필요한 medical image analysis를 지원할 수 있습니다. (proceedings.mlr.press)
• Synthetic Data and Calibration: Flow는 구조화된 synthetic data를 생성하거나 예측 오차를 모델링할 수 있습니다. normalizing flows for conformal regression에 관한 2024년 연구는 더욱 적응적인 불확실성 간격을 보여줍니다. 생성된 비전 데이터는 Ultralytics Platform을 통해 주석을 달고, 학습시키고, 배포할 수 있습니다. (proceedings.mlr.press)

Normalizing Flows와 관련 방법론 비교#

Flow matching은 Meta의 Flow Matching guide에 상세히 설명된 바와 같이 일반적으로 회귀 목적 함수로 연속 속도 필드를 학습합니다. 전통적인 normalizing flows는 그 대신 가역적 변환과 직접적인 우도 최적화를 강조합니다. Rectified flow는 더 곧은 이동 경로를 추구하는 반면, diffusion models은 반복적인 노이즈 제거를 통해 데이터를 생성합니다. Normalizing flows는 또한 이산 객체를 구성하기 위한 정책을 학습하는 Generative Flow Networks 및 일반적으로 정확한 우도를 제공하지 않는 GANs과도 다릅니다. (ai.meta.com)

최근 동향 및 모범 사례#

Transformer 기반 아키텍처는 flow에 대한 관심을 다시 불러일으켰습니다. 2025년 TarFlow study는 확산 접근 방식과 경쟁할 만한 이미지 생성을 보고했으며, Jet은 비전 트랜스포머로 커플링 flow를 현대화했습니다. 2026년에는 regression-based flow training이 normalizing flows를 flow-matching 스타일의 목적 함수와 연결했으며, SESaMo는 정확한 물리적 대칭성을 통합했습니다. (proceedings.mlr.press)

비전 애플리케이션의 경우, 원시 픽셀이 아닌 상위 수준의 임베딩을 모델링하는 것이 실용적인 접근 방식입니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
embeddings = model.embed("https://ultralytics.com/images/bus.jpg")
print(embeddings[0].shape)

이러한 Ultralytics YOLO26 임베딩은 밀도 추정 또는 이상 점수 산정을 위해 별도로 학습된 flow의 입력이 될 수 있습니다. 신중한 data preprocessing을 사용하고, 우도를 완전한 품질 측정으로 취급하기보다는 다운스트림 성능과 함께 평가하십시오.