ControlNet

ControlNet — это передовая архитектура нейронных сетей, разработанная для обеспечения детального пространственного управления большими генеративными ИИ моделями преобразования текста в изображение. Изначально представленная для улучшения таких моделей, как Stable Diffusion, она позволяет направлять процесс генерации изображений с помощью дополнительных входных условий помимо одних лишь текстовых подсказок. Подавая в нейронную сеть специфические визуальные ориентиры — такие как карты границ, карты глубины или скелеты человека, — ты можешь задавать точную композицию, позу или структуру сгенерированного результата, преодолевая разрыв между описаниями на естественном языке и точным визуальным исполнением.

Link to this sectionКак работает эта архитектура#

Ключевая инновация ControlNet заключается в способности сохранять обширные предварительно обученные знания базовой фундаментальной модели при обучении новым задачам кондиционирования. Это достигается за счет блокировки параметров исходного блока нейронной сети и создания обучаемого клона. Этот клон соединяется с заблокированной моделью с помощью специализированных слоев «нулевой свертки», которые инициализируются с нулевыми весами, чтобы гарантировать отсутствие шума на ранних этапах тонкой настройки. Ты можешь подробнее ознакомиться с математической и структурной теорией в оригинальной научной публикации о ControlNet на arXiv.

Эта уникальная структура позволяет разработчикам обучать надежные элементы управления кондиционированием на потребительском оборудовании, что делает ее очень доступной по сравнению с обучением массивной модели глубокого обучения с нуля.

Link to this sectionControlNet против диффузионных моделей и LoRA#

При обсуждении генеративного искусственного интеллекта полезно различать ControlNet и связанные с ним концепции:

• Диффузионные модели: Это базовые движки, которые генерируют изображения путем итеративного удаления шума. Они опираются почти исключительно на текстовые подсказки.
• LoRA (Low-Rank Adaptation): LoRA — это метод быстрого обучения модели новому стилю или объекту (например, конкретному персонажу или художественному стилю). В отличие от него, ControlNet определяет точное пространственное расположение изображения.

Link to this sectionРеальные приложения#

ControlNet значительно расширил возможности компьютерного зрения и генеративного ИИ в профессиональных рабочих процессах.

• Визуализация архитектурных концептов: Архитекторы и дизайнеры интерьеров используют ControlNet для преобразования базовых черно-белых чертежей САПР (CAD) или нарисованных от руки эскизов в фотореалистичные визуализации зданий и помещений.
• Позирование персонажей в разработке игр: Аниматоры используют модели оценки позы человека для извлечения скелетных структур из опорного видео. Эти скелеты подаются в ControlNet для генерации последовательных стилизованных спрайтов персонажей, сохраняющих точные позы для игровых ассетов, что значительно сокращает время ручной отрисовки.

Link to this sectionПодготовка условий для ControlNet#

Чтобы эффективно использовать ControlNet, сначала нужно извлечь желаемое пространственное условие из исходного изображения. Например, ты можешь использовать Ultralytics YOLO26, новейшую современную модель компьютерного зрения, для извлечения скелета позы человека. Этот скелет затем сохраняется и используется в качестве входного условия для конвейера преобразования текста в изображение с поддержкой ControlNet.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Perform inference to extract the human pose skeleton
results = model("character_reference.jpg")

# Save the resulting plotted skeleton to use as ControlNet input
results[0].save("pose_conditioning.jpg")

Независимо от того, готовишь ли ты границы Canny с помощью стандартных функций OpenCV или извлекаешь сложные маски сегментации, подготовка качественных входных данных имеет важное значение. Для облачного управления наборами данных и аннотирования данных, необходимых для обучения пользовательских условий ControlNet, такие платформы, как Ultralytics Platform, предоставляют бесшовную сквозную среду для современных ИИ-команд.