Consistency Models
整合性モデルは、拡散軌道上の任意のノイズ点をクリーンなデータへ直接写像するため、1、2ステップで画像を生成できます。学習方法を解説します。
一貫性モデルは、拡散モデルのノイズ除去軌道上の任意の点を、その軌道のクリーンな開始点へ直接写像する生成AIモデルです。そのため、純粋なノイズから1回のネットワーク評価でサンプルを生成できます。拡散モデルは、数十から数百回の小さなステップでノイズを取り除いて同じ結果を得るため、リアルタイム推論には時間がかかります。OpenAIのYang Song、Prafulla Dhariwal、Mark Chen、Ilya Sutskeverは、2023年3月に論文Consistency Modelsで一貫性モデルを発表しました。1ステップで生成した場合のFréchet Inception Distance(FID)は、CIFAR-10で3.55、ImageNet 64 x 64で6.20と報告され、当時最高の1ステップ結果でした。
一貫性の性質#
拡散サンプリングは確率フロー常微分方程式(ODE)で表せます。この方程式は、決定論的な経路に沿って、各ノイズサンプルをただ1つのデータサンプルに結び付けます。少しノイズを含む点から純粋なノイズまで、その経路上のすべての点は同じ起点を共有します。一貫性関数f(x, t)はノイズレベルtの点xを受け取り、その起点を返します。自己一貫性とは、1つの軌道上のすべての点に対して同じ出力を返すことです。最小ノイズレベルでは関数は入力を変更せずに返す必要があります。この境界条件はスキップ接続によってネットワークに組み込まれており、そのレベルでは入力に対する重みが1、ニューラルネットワークの出力に対する重みが0になります。
1次元ガウスデータの場合、一貫性関数は閉形式で表せます。これにより、2つの性質をPyTorchの数行のコードで確認できます。
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")軌道上の4点、2.6、3.34、14.01、98.0はすべて2.6に戻ります。純粋なノイズを10万個サンプリングし、1回の呼び出しで、平均1.99、標準偏差0.50のサンプルに変換できます。これはデータ分布と一致します。画像にはこのような公式がないため、ネットワークはデータからfを学習します。
蒸留による学習とゼロからの学習#
- 一貫性蒸留:事前学習済み拡散モデルとODEソルバーを使って、ノイズのあるサンプルを1ステップ進め、ノイズレベルを下げます。損失関数によって、2つの点でのモデル出力を近づけます。
- 一貫性学習:教師モデルは不要です。1枚のクリーンな画像に同じノイズを加え、異なる2つのノイズレベルで隣接点を作ります。これにより、ODEを解かずに軌道を推定できます。
元の論文では、ノイズの少ない点での出力に、モデル自身の重みの指数移動平均(EMA)を使っていました。これは各ステップでターゲットが変動しないよう、ゆっくり更新されるコピーです。Ultralytics YOLO26も学習中に同じ種類の平均を維持します。オプティマイザの各ステップ後にモデルのEMAコピーを更新し、減衰率は最大0.9999まで上昇します。検証と保存されるlast.ptおよびbest.ptチェックポイントには、そのコピーが使われます。SongとDhariwalによる2023年10月の改良版一貫性学習(iCT)では、ターゲットコピーのEMA減衰率を0に設定し、知覚損失LPIPSをPseudo-Huber損失に置き換え、事前学習済み拡散モデルなしでCIFAR-10の1ステップFID 2.51、ImageNet 64 x 64の1ステップFID 3.25を達成しました。Cheng LuとYang Songによる連続時間版sCMは、2024年10月にこの手法を15億パラメーターまで拡張し、ImageNet 512 x 512で2ステップFID 1.88を達成しました。
マルチステップサンプリングとゼロショット編集#
1ステップなら最速でサンプルを生成でき、数ステップを追加すると品質が向上します。マルチステップサンプリングでは、クリーンなデータへのジャンプと、より低いノイズレベルへの再ノイズ化を交互に行い、各パスで前の推定結果を精緻化します。
同じループを使うと、タスク固有の学習なしで画像を編集できます。ジャンプのたびに既知のピクセルを置き換えると画像インペインティングになり、ダウンサンプリング版やグレースケール版で制約すると超解像や色付けになります。元の論文では、これら3つすべてが実証されています。
用途と関連手法#
- 潜在一貫性モデル(LCM):Stable Diffusionを潜在空間で動作するモデルに蒸留します。2023年10月、オープンモデルで1~4ステップのテキスト画像変換生成を実現しました。
- 拡散方策:行動系列のノイズを除去するロボットコントローラーです。Stanford大学とPrinceton大学のAaditya Prasadらは、2024年にこれらをConsistency Policyへ蒸留しました。最速の代替手法と比べて推論を1桁高速化し、ノートPCのGPUで実行できました。
- 整流フロー:ノイズからデータへの経路自体を直線化し、通常のODEソルバーで少ないステップ数を実現します。
- 段階的蒸留: Tim Salimans氏とJonathan Ho氏による2022年の手法です。蒸留を繰り返すたびに拡散モデルのステップ数を半分にし、多くの反復を経て4ステップに到達します。一方、整合性蒸留では1ステップで直接ジャンプするように学習します。










