YOLOのライセンス
Ultralytics用語集に戻る

Latent Consistency Models (LCMs)

潜在一貫性モデル(LCM)は、Stable Diffusionを蒸留し、1~4ステップで画像を生成するモデルです。蒸留、LCM-LoRA、高速化について解説します。

潜在一貫性モデル(LCM)は、Stable Diffusionなどの潜在拡散モデルから蒸留されたテキスト画像変換モデルです。通常の20~50ステップではなく、1~4回のサンプリングステップで画像を生成します。ノイズ除去経路上の任意の点を、その経路のクリーンな終点へ直接写像するネットワークである一貫性モデルの考え方を、元のモデルの圧縮された潜在空間内で適用します。テキストエンコーダーと画像デコーダーはそのまま再利用し、学生モデルは教師モデルのU-Netの重みから開始します。清華大学のSimian Luo、Yiqin Tan、Longbo Huang、Jian Li、Hang Zhaoは、2023年10月に潜在一貫性モデル:少数ステップの推論による高解像度画像の合成でLCMを発表しました。768 x 768のモデルを2~4ステップでサンプリングする場合、学習に必要な時間はA100 GPUでわずか32時間と報告しています。

潜在一貫性蒸留の仕組み#

標準的な拡散モデルは、純粋なノイズの潜在表現から、オートエンコーダーのデコーダーがピクセルに変換するクリーンな潜在表現まで、確率フロー常微分方程式(ODE)を小さなステップで解いて生成します。潜在一貫性蒸留では、U-Netの学生モデルを学習させ、この全過程を1回の呼び出しで実行できるようにします。各学習ステップで、凍結した教師モデルが軌道に沿ってODEソルバーのステップを1つ進み、学生モデルはそのステップの両端から同じクリーンな潜在表現を予測します。

ランダムなタイムステップについてこれを繰り返すと、軌道上の各点が同じ出力に近づきます。テキスト画像変換モデルで機能させるため、2つの変更を加えます。教師モデルのステップには、すでにスケールwでの分類器フリーガイダンスが含まれており、wを学生モデルの入力にすることで、ガイド付き画像の生成を2回ではなく1回のフォワードパスで行えます。ステップをスキップするスケジュールでは、教師モデルが1つではなくk個のタイムステップを一度に飛び越え、収束を速めます。教師モデルを使わない潜在一貫性ファインチューニングは、既存のLCMをカスタムデータセットに適応させます。

一貫性蒸留は知識蒸留の一種です。教師モデルと学生モデルの方式は、Ultralytics YOLO26の学習でもdistill_model引数を通じてサポートされています。yolo26n.ptをdistill_model="yolo26s.pt"で学習すると、小型の学生モデルが大きなモデルの特徴マップに一致するようになり、推論コストを増やさずにCOCOでの学生モデルのmAPが向上します。

4ステップでのサンプリング#

LCMは、ステップを飛ばしながら再ノイズ化を交互に行ってサンプリングします。純粋なノイズからクリーンな潜在表現を予測し、その予測に新たなノイズを加えてより小さなタイムステップへ戻し、再度予測してから最後の予測をデコードします。Hugging Face diffusersのLCMSchedulerは、Stable Diffusionの1,000ステップの学習スケジュールからこれらのタイムステップを選びます。

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

DDIMサンプラーはタイムステップ980から20刻みで進み、各ステップでU-Netを1回呼び出します。一方、LCMが訪れるのは999、759、499、259のタイムステップだけです。ステップを追加するたびにモデルが前の予測の詳細を修正できるため、品質は1ステップから4ステップにかけて向上します。

LCM-LoRAとリアルタイム用途#

元の論文の発表から1か月後、著者らとHugging Faceのエンジニアは、蒸留結果を新しい重み一式ではなくLoRAアダプターとして保存するLCM-LoRAを公開しました。Stable Diffusion v1.5、SSD-1B、SDXL向けに学習されており、追加学習なしで同じベースモデルのファインチューニング済みチェックポイントやスタイルLoRAに組み込めます。少数ステップでのサンプリングにより、インタラクティブツールでのリアルタイム推論が可能になりました。オープンソースのStreamDiffusionパイプラインは、KohakuV2チェックポイントとLCM-LoRAを使い、RTX 4090 GPU1基でテキスト画像変換をノイズ除去4ステップ、毎秒38フレームで実行しました。

  • 一貫性モデル:OpenAIによる当初の定式化で、ピクセルを直接扱い、CIFAR-10とImageNet 64 x 64でベンチマークされています。LCMはこれを潜在空間に適用し、テキスト条件付けとガイダンスを加えています。
  • 敵対的拡散蒸留:Stability AIのSDXL Turboも2023年11月に発表され、蒸留損失に識別器を加えることで1~4ステップを実現しています。
  • 大規模概念モデル:Metaの大規模概念モデルもLCMという略称を使いますが、文全体の埋め込みを予測する言語モデルであり、画像生成とは関係ありません。
  • 整流フロー:ノイズからデータへの経路をより直線的に学習させ、サンプラーに必要なステップ数を減らします。Stable Diffusion 3とFLUXの基盤となる手法です。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう