Latent Consistency Models (LCMs)
潜在一貫性モデル(LCM)は、Stable Diffusionを蒸留し、1~4ステップで画像を生成するモデルです。蒸留、LCM-LoRA、高速化について解説します。
潜在一貫性モデル(LCM)は、Stable Diffusionなどの潜在拡散モデルから蒸留されたテキスト画像変換モデルです。通常の20~50ステップではなく、1~4回のサンプリングステップで画像を生成します。ノイズ除去経路上の任意の点を、その経路のクリーンな終点へ直接写像するネットワークである一貫性モデルの考え方を、元のモデルの圧縮された潜在空間内で適用します。テキストエンコーダーと画像デコーダーはそのまま再利用し、学生モデルは教師モデルのU-Netの重みから開始します。清華大学のSimian Luo、Yiqin Tan、Longbo Huang、Jian Li、Hang Zhaoは、2023年10月に潜在一貫性モデル:少数ステップの推論による高解像度画像の合成でLCMを発表しました。768 x 768のモデルを2~4ステップでサンプリングする場合、学習に必要な時間はA100 GPUでわずか32時間と報告しています。
潜在一貫性蒸留の仕組み#
標準的な拡散モデルは、純粋なノイズの潜在表現から、オートエンコーダーのデコーダーがピクセルに変換するクリーンな潜在表現まで、確率フロー常微分方程式(ODE)を小さなステップで解いて生成します。潜在一貫性蒸留では、U-Netの学生モデルを学習させ、この全過程を1回の呼び出しで実行できるようにします。各学習ステップで、凍結した教師モデルが軌道に沿ってODEソルバーのステップを1つ進み、学生モデルはそのステップの両端から同じクリーンな潜在表現を予測します。
ランダムなタイムステップについてこれを繰り返すと、軌道上の各点が同じ出力に近づきます。テキスト画像変換モデルで機能させるため、2つの変更を加えます。教師モデルのステップには、すでにスケールwでの分類器フリーガイダンスが含まれており、wを学生モデルの入力にすることで、ガイド付き画像の生成を2回ではなく1回のフォワードパスで行えます。ステップをスキップするスケジュールでは、教師モデルが1つではなくk個のタイムステップを一度に飛び越え、収束を速めます。教師モデルを使わない潜在一貫性ファインチューニングは、既存のLCMをカスタムデータセットに適応させます。
一貫性蒸留は知識蒸留の一種です。教師モデルと学生モデルの方式は、Ultralytics YOLO26の学習でもdistill_model引数を通じてサポートされています。yolo26n.ptをdistill_model="yolo26s.pt"で学習すると、小型の学生モデルが大きなモデルの特徴マップに一致するようになり、推論コストを増やさずにCOCOでの学生モデルのmAPが向上します。
4ステップでのサンプリング#
LCMは、ステップを飛ばしながら再ノイズ化を交互に行ってサンプリングします。純粋なノイズからクリーンな潜在表現を予測し、その予測に新たなノイズを加えてより小さなタイムステップへ戻し、再度予測してから最後の予測をデコードします。Hugging Face diffusersのLCMSchedulerは、Stable Diffusionの1,000ステップの学習スケジュールからこれらのタイムステップを選びます。
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")DDIMサンプラーはタイムステップ980から20刻みで進み、各ステップでU-Netを1回呼び出します。一方、LCMが訪れるのは999、759、499、259のタイムステップだけです。ステップを追加するたびにモデルが前の予測の詳細を修正できるため、品質は1ステップから4ステップにかけて向上します。
LCM-LoRAとリアルタイム用途#
元の論文の発表から1か月後、著者らとHugging Faceのエンジニアは、蒸留結果を新しい重み一式ではなくLoRAアダプターとして保存するLCM-LoRAを公開しました。Stable Diffusion v1.5、SSD-1B、SDXL向けに学習されており、追加学習なしで同じベースモデルのファインチューニング済みチェックポイントやスタイルLoRAに組み込めます。少数ステップでのサンプリングにより、インタラクティブツールでのリアルタイム推論が可能になりました。オープンソースのStreamDiffusionパイプラインは、KohakuV2チェックポイントとLCM-LoRAを使い、RTX 4090 GPU1基でテキスト画像変換をノイズ除去4ステップ、毎秒38フレームで実行しました。
LCMと関連用語との比較#
- 一貫性モデル:OpenAIによる当初の定式化で、ピクセルを直接扱い、CIFAR-10とImageNet 64 x 64でベンチマークされています。LCMはこれを潜在空間に適用し、テキスト条件付けとガイダンスを加えています。
- 敵対的拡散蒸留:Stability AIのSDXL Turboも2023年11月に発表され、蒸留損失に識別器を加えることで1~4ステップを実現しています。
- 大規模概念モデル:Metaの大規模概念モデルもLCMという略称を使いますが、文全体の埋め込みを予測する言語モデルであり、画像生成とは関係ありません。
- 整流フロー:ノイズからデータへの経路をより直線的に学習させ、サンプラーに必要なステップ数を減らします。Stable Diffusion 3とFLUXの基盤となる手法です。










