Neural Style Transfer

Chuyển giao phong cách bằng mạng nơ-ron (NST) là một kỹ thuật tối ưu hóa tinh vi trong lĩnh vực thị giác máy tính, cho phép trí tuệ nhân tạo kết hợp nội dung hình ảnh của một ảnh với phong cách nghệ thuật của ảnh khác. Bằng cách tận dụng các mạng nơ-ron sâu, cụ thể là Mạng nơ-ron tích chập (CNNs), thuật toán này tổng hợp một ảnh đầu ra mới, giữ lại các chi tiết cấu trúc của ảnh "nội dung" (chẳng hạn như ảnh toàn cảnh thành phố), đồng thời áp dụng kết cấu, màu sắc và nét cọ của ảnh tham chiếu "phong cách" (chẳng hạn như một bức tranh nổi tiếng). Quy trình này thu hẹp hiệu quả khoảng cách giữa việc trích xuất đặc trưng thống kê cấp thấp và khả năng sáng tạo nghệ thuật cấp cao, cho phép tạo ra các hình ảnh độc đáo mang phong cách riêng.

Cách hoạt động của Chuyển giao phong cách bằng mạng nơ-ron#

Cơ chế đằng sau NST dựa trên khả năng tách nội dung khỏi phong cách của một mạng sâu. Khi một ảnh đi qua một mạng đã được huấn luyện trước—thường là kiến trúc VGG được huấn luyện trên bộ dữ liệu ImageNet khổng lồ—các lớp khác nhau sẽ trích xuất các loại thông tin khác nhau. Các lớp đầu tiên nắm bắt những chi tiết cấp thấp như cạnh và kết cấu, trong khi các lớp sâu hơn biểu diễn nội dung ngữ nghĩa cấp cao và hình dạng.

Quy trình NST, lần đầu được trình bày chi tiết trong nghiên cứu của Gatys và cộng sự, sử dụng một thuật toán tối ưu hóa để lặp đi lặp lại việc thay đổi một ảnh nhiễu ngẫu nhiên nhằm đồng thời giảm thiểu hai giá trị sai số riêng biệt:

• Mất mát nội dung: Chỉ số này tính toán sự khác biệt trong các bản đồ đặc trưng cấp cao giữa ảnh được tạo và ảnh nội dung ban đầu. Chỉ số này đảm bảo các đối tượng và bố cục của cảnh vẫn có thể nhận diện được.
• Mất mát phong cách: Chỉ số này đo lường sự khác biệt trong tương quan kết cấu giữa ảnh được tạo và ảnh tham chiếu phong cách. Chỉ số này thường sử dụng một ma trận Gram để nắm bắt phân phối thống kê của các đặc trưng, qua đó biểu diễn "phong cách" độc lập với bố cục không gian.

Khác với huấn luyện model thông thường, trong đó các trọng số mạng được cập nhật, NST đóng băng các trọng số mạng và cập nhật trực tiếp các giá trị pixel của ảnh đầu vào cho đến khi các hàm mất mát được tối thiểu hóa.

Các ứng dụng trong thực tế#

Mặc dù ban đầu trở nên phổ biến nhờ khả năng tạo các bộ lọc nghệ thuật, NST vẫn có tính ứng dụng thực tiễn vượt ra ngoài yếu tố thẩm mỹ trong bối cảnh rộng hơn của trí tuệ nhân tạo.

• Tăng cường dữ liệu: Nhà phát triển có thể sử dụng NST để tạo dữ liệu tổng hợp nhằm huấn luyện các model mạnh mẽ. Ví dụ, áp dụng nhiều phong cách thời tiết khác nhau (mưa, sương mù, ban đêm) vào video lái xe ban ngày có thể giúp huấn luyện các hệ thống xe tự hành xử lý nhiều điều kiện môi trường đa dạng mà không cần thu thập hàng triệu ví dụ trong thế giới thực.
• Công cụ sáng tạo và thiết kế: NST cung cấp năng lực cho các tính năng trong phần mềm chỉnh sửa ảnh và ứng dụng di động hiện đại, cho phép người dùng áp dụng các bộ lọc nghệ thuật tức thì. Trong thiết kế chuyên nghiệp, kỹ thuật này hỗ trợ chuyển giao kết cấu cho việc dựng model 3D và môi trường ảo.

Mối quan hệ với các khái niệm sinh ảnh khác#

Điều quan trọng là phân biệt Chuyển giao phong cách bằng mạng nơ-ron với các kỹ thuật sinh ảnh khác trong Bảng thuật ngữ Ultralytics:

• NST so với Mạng đối sinh (GANs): NST thường tối ưu hóa một ảnh duy nhất dựa trên một cặp đầu vào cụ thể (một nội dung, một phong cách) và thường chậm hơn trên mỗi ảnh. Ngược lại, GANs học ánh xạ giữa toàn bộ các miền (ví dụ: chuyển tất cả ngựa thành ngựa vằn) và có thể sinh ảnh gần như tức thì sau khi được huấn luyện.
• NST so với Học chuyển giao: Mặc dù cả hai đều sử dụng các mạng đã được huấn luyện trước, học chuyển giao bao gồm việc tinh chỉnh các trọng số của model để thực hiện một tác vụ mới (chẳng hạn như sử dụng một bộ phân loại để phát hiện ô tô). NST chỉ sử dụng model đã được huấn luyện trước làm bộ trích xuất đặc trưng để định hướng việc thay đổi các giá trị pixel.

Triển khai trích xuất đặc trưng#

Cốt lõi của NST là tải một model đã được huấn luyện trước để truy cập các lớp đặc trưng bên trong model. Trong khi các bộ phát hiện đối tượng hiện đại như YOLO26 được tối ưu hóa về tốc độ và độ chính xác trong việc phát hiện, các kiến trúc như VGG-19 vẫn là tiêu chuẩn cho chuyển giao phong cách nhờ hệ thống phân cấp đặc trưng riêng.

Ví dụ PyTorch sau đây minh họa cách tải backbone của một model thường được sử dụng trong giai đoạn trích xuất đặc trưng của NST:

import torchvision.models as models

# Load VGG19, a standard backbone for Neural Style Transfer
# We use the 'features' module to access the convolutional layers
vgg = models.vgg19(weights=models.VGG19_Weights.DEFAULT).features

# Freeze parameters: NST updates the image pixels, not the model weights
for param in vgg.parameters():
    param.requires_grad = False

print("VGG19 loaded. Ready to extract content and style features.")

Đối với người dùng muốn quản lý các dataset được tăng cường bằng chuyển giao phong cách hoặc huấn luyện các model phát hiện ở các giai đoạn sau, Ultralytics Platform cung cấp một môi trường tập trung cho việc gán nhãn dataset, quản lý phiên bản và triển khai model.