ControlNet

ControlNetは、大規模なテキストから画像を生成する生成AIモデルに対して、きめ細かく空間的な制御を可能にする高度なニューラルネットワークアーキテクチャです。もともとStable Diffusionなどのモデルを強化するために導入されたもので、テキストプロンプトだけではなく、追加の入力条件を使用して画像生成を誘導できます。エッジマップ、深度マップ、人間の骨格などの具体的な視覚ガイドをネットワークに入力することで、生成結果の正確な構図、姿勢、構造を指定でき、自然言語による説明と精密な視覚的実行の隔たりを埋められます。

アーキテクチャの仕組み#

ControlNetの中核となる革新性は、ベースとなる基盤モデルが事前学習によって獲得した膨大な知識を保持しながら、新しい条件付けタスクを学習できる点にあります。これは、元のニューラルネットワークブロックのパラメーターを固定し、学習可能なクローンを作成することで実現されます。このクローンは、特殊な「ゼロ畳み込み」レイヤーを使用して固定されたモデルに接続されます。これらのレイヤーは重みをゼロで初期化するため、ファインチューニングの初期段階でノイズが追加されることはありません。数学的および構造的な理論については、arXivに掲載されたControlNetの原著論文で詳しく確認できます。

この独自の構造により、開発者はコンシューマー向けハードウェア上で堅牢な条件付け制御を学習できるため、大規模なディープラーニングモデルをゼロから学習する場合と比べて、非常に利用しやすくなっています。

ControlNetと拡散モデル、LoRAの比較#

生成系の人工知能について説明する際は、ControlNetを関連する概念と区別すると理解しやすくなります。

• 拡散モデル：ノイズを反復的に除去することで画像を生成する基盤エンジンです。ほぼ全面的にテキストプロンプトに依存します。
• LoRA（低ランク適応）：LoRAは、モデルに新しいスタイルや対象（特定のキャラクターやアートスタイルなど）をすばやく学習させる手法です。これに対して、ControlNetは画像の正確な空間配置を指定します。

実世界での利用例#

ControlNetは、専門的なワークフローにおけるコンピュータービジョンと生成AIの有用性を大幅に広げました。

• 建築コンセプトのレンダリング：建築家やインテリアデザイナーは、基本的な白黒のコンピューター支援設計（CAD）の図面や手描きのスケッチを、建物や部屋のフォトリアリスティックなレンダリングに変換するためにControlNetを使用しています。
• ゲーム開発におけるキャラクターのポージング：アニメーターは、人間の姿勢推定モデルを活用して、参照動画から骨格構造を抽出します。これらの骨格をControlNetに入力することで、ビデオゲームのアセット向けに、正確なポーズを取った一貫性のある様式化キャラクタースプライトを生成でき、手作業によるイラスト作成の時間を大幅に削減できます。

ControlNet用の条件の準備#

ControlNetを効果的に利用するには、まずソース画像から目的の空間条件を抽出する必要があります。たとえば、最新の最先端ビジョンモデルである**Ultralytics YOLO26**を使用して、人間のポーズ骨格を抽出できます。この骨格を保存し、ControlNet対応のテキストから画像を生成するパイプラインの条件付け入力として使用します。

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Perform inference to extract the human pose skeleton
results = model("character_reference.jpg")

# Save the resulting plotted skeleton to use as ControlNet input
results[0].save("pose_conditioning.jpg")

標準のOpenCV関数を使用してCannyエッジを準備する場合でも、高度なセグメンテーションマスクを抽出する場合でも、高品質な入力の準備は不可欠です。カスタムControlNet条件の学習に必要なクラウドベースのデータセット管理とデータアノテーションには、Ultralytics Platformのようなプラットフォームが、最新のAIチーム向けにシームレスなエンドツーエンド環境を提供します。