Pruning

Pruning là một kỹ thuật model optimization chiến lược được sử dụng để giảm kích thước và độ phức tạp tính toán của neural networks bằng cách loại bỏ các tham số không cần thiết. Giống như một người làm vườn tỉa các cành khô hoặc mọc rậm rạp để giúp cây phát triển tốt, các thuật toán pruning xác định và loại bỏ các weights and biases dư thừa đóng góp ít vào năng lực dự đoán của model. Mục tiêu chính là tạo ra một model nén, "thưa" (sparse) vẫn duy trì được accuracy cao trong khi tiêu thụ ít bộ nhớ và năng lượng hơn đáng kể. Việc giảm này rất cần thiết để cải thiện inference latency, cho phép các kiến trúc nâng cao chạy hiệu quả trên phần cứng bị giới hạn tài nguyên như điện thoại di động và thiết bị nhúng.

Cơ chế và Phương pháp luận#

Các model deep learning hiện đại thường bị dư thừa tham số, nghĩa là chúng chứa nhiều kết nối hơn mức cần thiết để giải quyết một tác vụ cụ thể. Pruning tận dụng điều này bằng cách loại bỏ các kết nối có giá trị gần bằng không, với giả định rằng chúng có tác động không đáng kể đến đầu ra. Sau khi các tham số bị loại bỏ, model thường trải qua quá trình fine-tuning, nơi nó được huấn luyện lại trong thời gian ngắn để điều chỉnh các trọng số còn lại và khôi phục hiệu suất bị mất. Khái niệm này liên quan chặt chẽ đến Lottery Ticket Hypothesis, cho thấy rằng các mạng lớn chứa các mạng con nhỏ hơn, hiệu suất cao đạt được độ chính xác tương tự.

Có hai danh mục chiến lược cắt tỉa chính:

• Unstructured Pruning: Phương pháp này loại bỏ từng trọng số dựa trên độ lớn của chúng, bất kể vị trí của chúng. Mặc dù nó làm giảm tổng số lượng tham số một cách hiệu quả, nhưng nó tạo ra các sparse matrices bất thường mà CPUs và GPUs tiêu chuẩn có thể gặp khó khăn trong việc xử lý hiệu quả nếu không có phần mềm chuyên dụng.
• Structured Pruning: Phương pháp tiếp cận này loại bỏ toàn bộ các cấu trúc hình học, chẳng hạn như các neuron, kênh hoặc lớp trong một convolutional neural network (CNN). Bằng cách bảo tồn cấu trúc ma trận, structured pruning tương thích cao với các bộ tăng tốc phần cứng tiêu chuẩn, thường mang lại tốc độ tăng ngay lập tức cho real-time inference.

Các ứng dụng trong thực tế#

Pruning là không thể thiếu để kích hoạt Edge AI trên nhiều ngành công nghiệp khác nhau, nơi tài nguyên phần cứng bị hạn chế:

1. Autonomous Drones: Các phương tiện bay không người lái được sử dụng cho tìm kiếm và cứu nạn dựa vào computer vision để điều hướng các môi trường phức tạp. Các model object detection đã được prune cho phép các thiết bị này xử lý luồng video cục bộ theo thời gian thực, tránh các vấn đề về độ trễ liên quan đến giao tiếp qua đám mây.

2. Mobile Healthcare: Các thiết bị y tế cầm tay dùng để ultrasound analysis sử dụng các model đã được prune để phát hiện các điểm bất thường trực tiếp trên thiết bị. Điều này đảm bảo data privacy của bệnh nhân và cho phép chẩn đoán phức tạp ở các khu vực vùng sâu vùng xa không có kết nối internet.

Ví dụ về triển khai#

Trong khi các state-of-the-art model như YOLO26 được thiết kế để đạt hiệu quả cao, các nhà phát triển có thể áp dụng pruning để tối ưu hóa thêm các lớp bằng cách sử dụng các thư viện như PyTorch. Ví dụ sau đây minh họa cách áp dụng unstructured pruning cho một lớp tích chập.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

So sánh cắt tỉa và các kỹ thuật tối ưu hóa liên quan#

Để tối ưu hóa hiệu quả một model cho quá trình deployment, việc phân biệt pruning với các chiến lược khác sẽ rất hữu ích:

• Model Quantization: Khác với pruning (loại bỏ các kết nối), quantization làm giảm độ chính xác của các trọng số (ví dụ: chuyển đổi số thực 32-bit thành số nguyên 8-bit). Cả hai kỹ thuật này có thể được sử dụng kết hợp để tối đa hóa hiệu quả trên embedded systems.
• Knowledge Distillation: Phương pháp này liên quan đến việc huấn luyện một model "học viên" (student) nhỏ hơn để bắt chước hành vi của một model "giáo viên" (teacher) lớn hơn. Pruning chỉnh sửa trực tiếp model ban đầu, trong khi distillation huấn luyện một kiến trúc mới và nhỏ gọn hơn.

Để quản lý vòng đời toàn diện, bao gồm huấn luyện, gán nhãn và triển khai các model được tối ưu hóa, người dùng có thể tận dụng Ultralytics Platform. Điều này đơn giản hóa quy trình làm việc từ quản lý tập dữ liệu đến xuất model sang các định dạng thân thiện với phần cứng như ONNX hoặc TensorRT.