YOLOのライセンス
Ultralytics用語集に戻る

Consistency Models

整合性モデルは、拡散軌道上の任意のノイズ点をクリーンなデータへ直接写像するため、1、2ステップで画像を生成できます。学習方法を解説します。

一貫性モデルは、拡散モデルのノイズ除去軌道上の任意の点を、その軌道のクリーンな開始点へ直接写像する生成AIモデルです。そのため、純粋なノイズから1回のネットワーク評価でサンプルを生成できます。拡散モデルは、数十から数百回の小さなステップでノイズを取り除いて同じ結果を得るため、リアルタイム推論には時間がかかります。OpenAIのYang Song、Prafulla Dhariwal、Mark Chen、Ilya Sutskeverは、2023年3月に論文Consistency Modelsで一貫性モデルを発表しました。1ステップで生成した場合のFréchet Inception Distance(FID)は、CIFAR-10で3.55、ImageNet 64 x 64で6.20と報告され、当時最高の1ステップ結果でした。

一貫性の性質#

拡散サンプリングは確率フロー常微分方程式(ODE)で表せます。この方程式は、決定論的な経路に沿って、各ノイズサンプルをただ1つのデータサンプルに結び付けます。少しノイズを含む点から純粋なノイズまで、その経路上のすべての点は同じ起点を共有します。一貫性関数f(x, t)はノイズレベルtの点xを受け取り、その起点を返します。自己一貫性とは、1つの軌道上のすべての点に対して同じ出力を返すことです。最小ノイズレベルでは関数は入力を変更せずに返す必要があります。この境界条件はスキップ接続によってネットワークに組み込まれており、そのレベルでは入力に対する重みが1、ニューラルネットワークの出力に対する重みが0になります。

1次元ガウスデータの場合、一貫性関数は閉形式で表せます。これにより、2つの性質をPyTorchの数行のコードで確認できます。

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

軌道上の4点、2.6、3.34、14.01、98.0はすべて2.6に戻ります。純粋なノイズを10万個サンプリングし、1回の呼び出しで、平均1.99、標準偏差0.50のサンプルに変換できます。これはデータ分布と一致します。画像にはこのような公式がないため、ネットワークはデータからfを学習します。

蒸留による学習とゼロからの学習#

  • 一貫性蒸留:事前学習済み拡散モデルとODEソルバーを使って、ノイズのあるサンプルを1ステップ進め、ノイズレベルを下げます。損失関数によって、2つの点でのモデル出力を近づけます。
  • 一貫性学習:教師モデルは不要です。1枚のクリーンな画像に同じノイズを加え、異なる2つのノイズレベルで隣接点を作ります。これにより、ODEを解かずに軌道を推定できます。

元の論文では、ノイズの少ない点での出力に、モデル自身の重みの指数移動平均(EMA)を使っていました。これは各ステップでターゲットが変動しないよう、ゆっくり更新されるコピーです。Ultralytics YOLO26も学習中に同じ種類の平均を維持します。オプティマイザの各ステップ後にモデルのEMAコピーを更新し、減衰率は最大0.9999まで上昇します。検証と保存されるlast.ptおよびbest.ptチェックポイントには、そのコピーが使われます。SongとDhariwalによる2023年10月の改良版一貫性学習(iCT)では、ターゲットコピーのEMA減衰率を0に設定し、知覚損失LPIPSをPseudo-Huber損失に置き換え、事前学習済み拡散モデルなしでCIFAR-10の1ステップFID 2.51、ImageNet 64 x 64の1ステップFID 3.25を達成しました。Cheng LuとYang Songによる連続時間版sCMは、2024年10月にこの手法を15億パラメーターまで拡張し、ImageNet 512 x 512で2ステップFID 1.88を達成しました。

マルチステップサンプリングとゼロショット編集#

1ステップなら最速でサンプルを生成でき、数ステップを追加すると品質が向上します。マルチステップサンプリングでは、クリーンなデータへのジャンプと、より低いノイズレベルへの再ノイズ化を交互に行い、各パスで前の推定結果を精緻化します。

同じループを使うと、タスク固有の学習なしで画像を編集できます。ジャンプのたびに既知のピクセルを置き換えると画像インペインティングになり、ダウンサンプリング版やグレースケール版で制約すると超解像や色付けになります。元の論文では、これら3つすべてが実証されています。

  • 潜在一貫性モデル(LCM):Stable Diffusionを潜在空間で動作するモデルに蒸留します。2023年10月、オープンモデルで1~4ステップのテキスト画像変換生成を実現しました。
  • 拡散方策:行動系列のノイズを除去するロボットコントローラーです。Stanford大学とPrinceton大学のAaditya Prasadらは、2024年にこれらをConsistency Policyへ蒸留しました。最速の代替手法と比べて推論を1桁高速化し、ノートPCのGPUで実行できました。
  • 整流フロー:ノイズからデータへの経路自体を直線化し、通常のODEソルバーで少ないステップ数を実現します。
  • 段階的蒸留: Tim Salimans氏とJonathan Ho氏による2022年の手法です。蒸留を繰り返すたびに拡散モデルのステップ数を半分にし、多くの反復を経て4ステップに到達します。一方、整合性蒸留では1ステップで直接ジャンプするように学習します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう