Neural Style Transfer

Neural Style Transfer (NST) là một kỹ thuật tối ưu hóa tinh vi trong lĩnh vực computer vision, cho phép trí tuệ nhân tạo hòa trộn nội dung hình ảnh của ảnh này với phong cách nghệ thuật của ảnh khác. Bằng cách tận dụng các mạng thần kinh sâu, cụ thể là Convolutional Neural Networks (CNNs), thuật toán này tổng hợp nên một hình ảnh đầu ra mới, giữ lại các chi tiết cấu trúc của ảnh "nội dung" (chẳng hạn như cảnh quan thành phố) đồng thời áp dụng các kết cấu, màu sắc và nét cọ của ảnh "phong cách" tham chiếu (chẳng hạn như một bức tranh nổi tiếng). Quá trình này kết nối hiệu quả khoảng cách giữa việc trích xuất đặc trưng thống kê cấp thấp và tính sáng tạo nghệ thuật cấp cao, cho phép tạo ra các hình ảnh được cách điệu độc đáo.

Link to this sectionNeural Style Transfer hoạt động như thế nào#

Cơ chế đằng sau NST dựa trên khả năng của một mạng sâu trong việc tách biệt nội dung khỏi phong cách. Khi một hình ảnh đi qua một mạng đã được huấn luyện trước—thường là kiến trúc VGG được huấn luyện trên ImageNet dataset khổng lồ—các lớp khác nhau sẽ trích xuất các loại thông tin khác nhau. Các lớp đầu ghi lại những chi tiết cấp thấp như cạnh và kết cấu, trong khi các lớp sâu hơn đại diện cho nội dung và hình dạng ngữ nghĩa cấp cao.

Quá trình NST, được mô tả chi tiết lần đầu trong nghiên cứu của Gatys và cộng sự, liên quan đến một optimization algorithm sửa đổi lặp đi lặp lại một hình ảnh nhiễu ngẫu nhiên để giảm thiểu đồng thời hai giá trị lỗi riêng biệt:

• Content Loss: Chỉ số này tính toán sự khác biệt trong các feature maps cấp cao giữa hình ảnh được tạo ra và ảnh nội dung gốc. Nó đảm bảo rằng các đối tượng và bố cục của cảnh vẫn có thể nhận dạng được.
• Style Loss: Chỉ số này đo lường sự khác biệt trong các tương quan kết cấu giữa hình ảnh được tạo ra và ảnh phong cách tham chiếu. Nó thường sử dụng Gram matrix để nắm bắt phân phối thống kê của các đặc trưng, thể hiện hiệu quả "phong cách" độc lập với sự sắp xếp không gian.

Không giống như model training tiêu chuẩn, nơi các trọng số mạng được cập nhật, NST đóng băng các trọng số mạng và cập nhật các giá trị pixel của chính hình ảnh đầu vào cho đến khi các hàm mất mát được tối thiểu hóa.

Link to this sectionCác ứng dụng trong thực tế#

Mặc dù ban đầu phổ biến nhờ việc tạo ra các bộ lọc nghệ thuật, NST có tiện ích thực tiễn ngoài tính thẩm mỹ trong bối cảnh rộng hơn của artificial intelligence.

• Data Augmentation: Các nhà phát triển có thể sử dụng NST để tạo synthetic data phục vụ việc huấn luyện các model mạnh mẽ. Ví dụ, việc áp dụng các phong cách thời tiết khác nhau (mưa, sương mù, ban đêm) vào cảnh quay lái xe ban ngày có thể giúp huấn luyện các hệ thống xe tự lái xử lý các điều kiện môi trường đa dạng mà không cần phải thu thập hàng triệu ví dụ trong thế giới thực.
• Công cụ sáng tạo và thiết kế: NST cung cấp năng lượng cho các tính năng trong phần mềm chỉnh sửa ảnh hiện đại và các ứng dụng di động, cho phép người dùng áp dụng các bộ lọc nghệ thuật ngay lập tức. Trong thiết kế chuyên nghiệp, nó hỗ trợ chuyển đổi kết cấu cho mô hình 3D và môi trường ảo.

Link to this sectionMối quan hệ với các khái niệm tạo sinh khác#

Điều quan trọng là phải phân biệt Neural Style Transfer với các kỹ thuật tạo hình ảnh khác có trong Ultralytics Glossary:

• NST so với Generative Adversarial Networks (GANs): NST thường tối ưu hóa một hình ảnh duy nhất dựa trên một cặp đầu vào cụ thể (một nội dung, một phong cách) và thường chậm hơn trên mỗi hình ảnh. Ngược lại, GAN học cách ánh xạ giữa toàn bộ các miền (ví dụ: chuyển đổi tất cả ngựa thành ngựa vằn) và có thể tạo hình ảnh gần như tức thời sau khi đã được huấn luyện.
• NST so với Transfer Learning: Mặc dù cả hai đều sử dụng các mạng đã được huấn luyện trước, transfer learning liên quan đến việc tinh chỉnh trọng số của model để thực hiện một tác vụ mới (như sử dụng bộ phân loại để phát hiện ô tô). NST sử dụng model đã được huấn luyện trước chỉ như một bộ trích xuất đặc trưng để hướng dẫn việc sửa đổi các giá trị pixel.

Link to this sectionTriển khai trích xuất đặc trưng#

Cốt lõi của NST liên quan đến việc tải một model đã được huấn luyện trước để truy cập vào các lớp đặc trưng nội bộ của nó. Trong khi các bộ phát hiện đối tượng hiện đại như YOLO26 được tối ưu hóa cho tốc độ và độ chính xác trong phát hiện, các kiến trúc như VGG-19 vẫn là tiêu chuẩn cho style transfer do hệ thống phân cấp đặc trưng cụ thể của chúng.

Ví dụ về PyTorch sau đây minh họa cách tải một backbone của model thường được sử dụng cho giai đoạn trích xuất đặc trưng của NST:

import torchvision.models as models

# Load VGG19, a standard backbone for Neural Style Transfer
# We use the 'features' module to access the convolutional layers
vgg = models.vgg19(weights=models.VGG19_Weights.DEFAULT).features

# Freeze parameters: NST updates the image pixels, not the model weights
for param in vgg.parameters():
    param.requires_grad = False

print("VGG19 loaded. Ready to extract content and style features.")

Đối với người dùng muốn quản lý các tập dữ liệu được tăng cường bằng style transfer hoặc huấn luyện các model phát hiện hạ nguồn, Ultralytics Platform cung cấp một môi trường tập trung để chú thích tập dữ liệu, quản lý phiên bản và triển khai model.