Normalizing Flows
正規化フロー、可逆ニューラルネットワークがどのように正確な尤度を実現するか、そして生成AI、異常検知、医療画像診断、不確実性モデリングにおけるそれらの応用について解説します。
Normalizing flows are generative AI models that learn an invertible mapping between a simple probability distribution, usually Gaussian noise, and a complex data distribution. Unlike many generative models, they can both create samples and calculate exact data likelihoods efficiently. This makes them useful for density estimation, uncertainty modeling, and learning structured latent spaces, as explained in the foundational normalizing flows review. (arxiv.org)
Link to this sectionNormalizing Flowsの仕組み#
フローは、一連の可逆的なニューラルネットワーク変換を適用します。
- 単純な基底分布からポイントをサンプリングする。
- 複数の可逆層を通じてそれを変換する。
- ヤコビアン行列式を使用して、各層がどのように確率密度を拡大または縮小するかを追跡する。
- 観測データの確率を計算する際に、変換を逆転させる。
Pyro normalizing flow tutorialでは、サンプリングと密度評価の具体的な例が提供されています。名前は似ていますが、normalizing flowsは特徴量のnormalizationやバッチ正規化とは異なります。ここで「正規化（normalizing）」とは、複雑な分布を標準的な分布に変換することを意味します。
従来の設計では、注意深く構造化された可逆層が必要でした。近年のFree-form Flows researchはこの制約を緩和しています。また、2024年のuniversality analysis of coupling-based flowsでは、アフィン結合層が依然として効果的である理由が解説されています。 (proceedings.mlr.press)
Link to this section実社会での応用#
- Industrial Anomaly Detection: フローは欠陥のない製品から得られた埋め込みをモデル化し、目視検査中に可能性の低いサンプルにフラグを立てることができます。ただし、NeurIPS research on flow likelihood failuresで示されているように、尤度だけでは必ずしも信頼できる分布外スコアにはなりません。タスク固有のメトリクスと代表的な異常データを使用して、結果を検証してください。 (proceedings.neurips.cc)
- Medical Imaging: 2024年のtranscranial ultrasound flow modelは、より高速な再構成と不確実性の推定のためにnormalizing flowsを使用しています。同様の技術は、信頼区間が必要となるmedical image analysisをサポートできます。 (proceedings.mlr.press)
- Synthetic Data and Calibration: フローは構造化されたsynthetic dataを生成したり、予測誤差をモデル化したりできます。2024年のnormalizing flows for conformal regressionに関する研究は、より適応的な不確実性区間を実証しています。生成されたビジョンデータは、Ultralytics Platformを通じてアノテーション、トレーニング、デプロイが可能です。 (proceedings.mlr.press)
Link to this sectionNormalizing Flowsと関連手法の比較#
Flow matchingは通常、MetaのFlow Matching guideで詳述されているように、回帰目的関数を用いて連続的な速度場をトレーニングします。一方、従来のnormalizing flowsは、可逆変換と直接的な尤度最適化を重視します。Rectified flowはより直線的な輸送経路を模索し、diffusion modelsは反復的なノイズ除去を通じてデータを生成します。また、normalizing flowsは、離散的なオブジェクトを構築するための方策を学習するGenerative Flow Networksや、通常は正確な尤度を提供しないGANsとも異なります。 (ai.meta.com)
Link to this section最近の動向とベストプラクティス#
Transformerベースのアーキテクチャにより、フローへの関心が再び高まっています。2025年のTarFlow studyでは、拡散モデル手法に匹敵する画像生成が報告されました。また、JetはVision Transformersを用いて結合フローを近代化しました。2026年には、regression-based flow trainingがnormalizing flowsとflow matching形式の目的関数を接続し、SESaMoは厳密な物理的対称性を組み込みました。 (proceedings.mlr.press)
ビジョンアプリケーションにおいては、生のピクセルではなく高レベルの埋め込みをモデル化するのが実用的なアプローチです。
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
embeddings = model.embed("https://ultralytics.com/images/bus.jpg")
print(embeddings[0].shape)これらのUltralytics YOLO26埋め込みは、密度推定や異常スコアリングのための、別途トレーニングされたフローの入力として利用できます。注意深くdata preprocessingを行い、尤度を完全な品質尺度として扱うのではなく、下流のパフォーマンスと併せて評価してください。
