ControlNet

ControlNet — это продвинутая архитектура нейронной сети, разработанная для обеспечения детального пространственного управления большими моделями генеративного ИИ, преобразующими текст в изображения. Изначально представленная для расширения возможностей таких моделей, как Stable Diffusion, она позволяет пользователям управлять генерацией изображений с помощью дополнительных входных условий, помимо одних текстовых подсказок. Подавая в сеть конкретные визуальные ориентиры — например, карты границ, карты глубины или скелеты человека, — специалисты могут задавать точную композицию, позу или структуру генерируемого результата, устраняя разрыв между описаниями на естественном языке и точным визуальным воплощением.

Как работает архитектура#

Ключевая инновация ControlNet заключается в способности сохранять обширные предварительно обученные знания базовой фундаментальной модели, одновременно обучаясь новым задачам кондиционирования. Это достигается за счёт фиксации параметров исходного блока нейронной сети и создания обучаемой копии. Эта копия соединяется с зафиксированной моделью с помощью специализированных слоёв «нулевой свёртки», которые инициализируются нулевыми весами, чтобы на ранних этапах дообучения не добавлять шум. Подробнее о математической и структурной теории можно узнать в оригинальной научной публикации о ControlNet на arXiv.

Эта уникальная структура позволяет разработчикам обучать надёжные элементы управления кондиционированием на оборудовании потребительского класса, благодаря чему ControlNet гораздо доступнее, чем обучение огромной модели глубокого обучения с нуля.

ControlNet в сравнении с диффузионными моделями и LoRA#

При обсуждении искусственного интеллекта для генерации контента полезно отличать ControlNet от связанных с ним концепций:

• Диффузионные модели: это базовые механизмы, которые генерируют изображения, итеративно удаляя шум. Они почти полностью полагаются на текстовые подсказки.
• Адаптация низкого ранга (LoRA): LoRA — это метод быстрого обучения модели новому стилю или объекту (например, конкретному персонажу или художественному стилю). В отличие от этого, ControlNet задаёт точное пространственное расположение изображения.

Практические применения#

ControlNet значительно расширил возможности компьютерного зрения и генеративного ИИ в профессиональных рабочих процессах.

• Визуализация архитектурных концепций: архитекторы и дизайнеры интерьеров используют ControlNet для преобразования простых чёрно-белых чертежей автоматизированного проектирования (CAD) или эскизов от руки в фотореалистичные изображения зданий и помещений.
• Позирование персонажей в разработке игр: аниматоры используют модели оценки позы человека, чтобы извлекать скелетные структуры из эталонного видео. Эти скелеты подаются в ControlNet для генерации согласованных стилизованных спрайтов персонажей, сохраняющих заданные позы для игровых ресурсов, что значительно сокращает время на ручную иллюстрацию.

Подготовка условий для ControlNet#

Для эффективного использования ControlNet сначала необходимо извлечь требуемое пространственное условие из исходного изображения. Например, можно использовать Ultralytics YOLO26 — новейшую передовую модель компьютерного зрения — для извлечения скелета человеческой позы. Затем этот скелет сохраняется и используется как входное условие для конвейера преобразования текста в изображение с поддержкой ControlNet.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Perform inference to extract the human pose skeleton
results = model("character_reference.jpg")

# Save the resulting plotted skeleton to use as ControlNet input
results[0].save("pose_conditioning.jpg")

Независимо от того, подготавливаешь ли ты границы Canny с помощью стандартных функций OpenCV или извлекаешь расширенные маски сегментации, подготовка качественных входных данных имеет решающее значение. Для управления наборами данных в облаке и аннотирования данных, необходимых для обучения пользовательских условий ControlNet, такие платформы, как Ultralytics Platform, предоставляют современным командам ИИ удобную сквозную среду.