ControlNet

ControlNet là một kiến trúc neural network nâng cao, được thiết kế để cung cấp khả năng kiểm soát không gian ở mức chi tiết cho các model AI tạo sinh chuyển văn bản thành hình ảnh quy mô lớn. Ban đầu được giới thiệu để cải thiện các model như Stable Diffusion, công nghệ này cho phép người dùng định hướng quá trình tạo ảnh bằng các điều kiện đầu vào bổ sung ngoài prompt văn bản. Bằng cách đưa các hướng dẫn trực quan cụ thể—chẳng hạn như bản đồ biên, bản đồ độ sâu hoặc bộ xương người—vào network, các chuyên gia có thể xác định chính xác bố cục, tư thế hoặc cấu trúc của đầu ra được tạo, thu hẹp khoảng cách giữa mô tả bằng ngôn ngữ tự nhiên và việc hiện thực hóa hình ảnh chính xác.

Kiến trúc Hoạt động Như thế nào#

Đổi mới cốt lõi của ControlNet nằm ở khả năng bảo toàn lượng tri thức khổng lồ đã được tiền huấn luyện của một foundation model nền tảng, đồng thời học các tác vụ conditioning mới. ControlNet đạt được điều này bằng cách khóa các tham số của block neural network gốc và tạo một bản sao có thể huấn luyện. Bản sao này được kết nối với model đã khóa bằng các lớp "zero convolution" chuyên dụng, được khởi tạo với trọng số bằng không để đảm bảo không có nhiễu nào được thêm vào trong các giai đoạn đầu của quá trình fine-tuning. Bạn có thể đọc thêm về lý thuyết toán học và cấu trúc trong ấn phẩm nghiên cứu ControlNet gốc trên arXiv.

Cấu trúc độc đáo này cho phép các developer huấn luyện những cơ chế kiểm soát conditioning mạnh mẽ trên phần cứng cấp độ người dùng, giúp ControlNet dễ tiếp cận hơn đáng kể so với việc huấn luyện một model deep learning khổng lồ từ đầu.

ControlNet so với Diffusion Models và LoRA#

Khi thảo luận về trí tuệ nhân tạo tạo sinh, việc phân biệt ControlNet với các khái niệm liên quan là rất hữu ích:

• Diffusion Models: Đây là các engine nền tảng tạo ảnh bằng cách loại bỏ nhiễu lặp đi lặp lại. Chúng gần như chỉ dựa vào các prompt văn bản.
• LoRA (Điều chỉnh hạng thấp): LoRA là một phương pháp giúp nhanh chóng dạy cho model một phong cách hoặc chủ thể mới (chẳng hạn như một nhân vật hoặc phong cách nghệ thuật cụ thể). Ngược lại, ControlNet xác định bố cục không gian chính xác của hình ảnh.

Các ứng dụng trong thực tế#

ControlNet đã mở rộng đáng kể tính hữu ích của thị giác máy tính và AI tạo sinh trong các quy trình chuyên nghiệp.

• Kết xuất ý tưởng kiến trúc: Các kiến trúc sư và nhà thiết kế nội thất sử dụng ControlNet để chuyển đổi các bản vẽ thiết kế có sự hỗ trợ của máy tính (CAD) đen trắng cơ bản hoặc bản phác thảo vẽ tay thành các bản kết xuất chân thực của tòa nhà và căn phòng.
• Tạo dáng nhân vật trong phát triển game: Các họa sĩ hoạt hình tận dụng các model ước tính tư thế người để trích xuất cấu trúc bộ xương từ một video tham chiếu. Những bộ xương này được đưa vào ControlNet để tạo ra các sprite nhân vật nhất quán, cách điệu và giữ đúng tư thế cho tài sản game, giúp giảm đáng kể thời gian minh họa thủ công.

Chuẩn bị các điều kiện cho ControlNet#

Để sử dụng ControlNet hiệu quả, trước tiên bạn phải trích xuất điều kiện không gian mong muốn từ một ảnh nguồn. Ví dụ, bạn có thể sử dụng Ultralytics YOLO26, model thị giác tiên tiến nhất hiện nay, để trích xuất bộ xương tư thế người. Sau đó, bộ xương này được lưu lại và sử dụng làm đầu vào conditioning cho một pipeline chuyển văn bản thành hình ảnh có hỗ trợ ControlNet.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Perform inference to extract the human pose skeleton
results = model("character_reference.jpg")

# Save the resulting plotted skeleton to use as ControlNet input
results[0].save("pose_conditioning.jpg")

Dù bạn đang chuẩn bị các biên Canny bằng các hàm OpenCV tiêu chuẩn hay trích xuất các mask phân đoạn nâng cao, việc chuẩn bị đầu vào chất lượng cao là yếu tố thiết yếu. Để quản lý dataset trên cloud và gán nhãn dữ liệu cần thiết cho việc huấn luyện các điều kiện ControlNet tùy chỉnh, những nền tảng như Ultralytics Platform cung cấp một môi trường end-to-end liền mạch cho các team AI hiện đại.