Pruning

Pruning là một kỹ thuật tối ưu hóa model mang tính chiến lược, được sử dụng để giảm kích thước và độ phức tạp tính toán của mạng neural bằng cách loại bỏ các tham số không cần thiết. Tương tự như việc người làm vườn cắt tỉa những cành chết hoặc mọc quá um tùm để giúp cây phát triển tốt, các thuật toán pruning xác định và loại bỏ những weight và bias dư thừa, đóng góp rất ít vào khả năng dự đoán của model. Mục tiêu chính là tạo ra một model được nén, "thưa", vẫn duy trì độ chính xác cao trong khi tiêu thụ ít bộ nhớ và năng lượng hơn đáng kể. Việc giảm này rất cần thiết để cải thiện độ trễ suy luận, cho phép các kiến trúc tiên tiến chạy hiệu quả trên phần cứng hạn chế tài nguyên như điện thoại di động và thiết bị nhúng.

Cơ chế và phương pháp luận#

Các model deep learning hiện đại thường có quá nhiều tham số, nghĩa là chúng chứa nhiều kết nối hơn mức cần thiết để giải quyết một tác vụ cụ thể. Pruning khai thác đặc điểm này bằng cách loại bỏ các kết nối có giá trị gần bằng 0, dựa trên giả định rằng chúng có ảnh hưởng không đáng kể đến đầu ra. Sau khi các tham số được loại bỏ, model thường trải qua quy trình fine-tuning, trong đó model được huấn luyện lại trong thời gian ngắn để điều chỉnh các weight còn lại và khôi phục phần hiệu năng đã mất. Khái niệm này có liên hệ chặt chẽ với Giả thuyết tấm vé số, cho rằng các mạng lớn chứa những subnetworks nhỏ hơn, có hiệu quả cao và có khả năng đạt độ chính xác tương tự.

Có hai nhóm chiến lược pruning chính:

• Pruning phi cấu trúc: Phương pháp này loại bỏ từng weight riêng lẻ dựa trên độ lớn của chúng, không phụ thuộc vào vị trí. Mặc dù giúp giảm hiệu quả tổng số tham số, phương pháp này tạo ra các ma trận thưa không đều mà các CPU và GPU tiêu chuẩn có thể gặp khó khăn khi xử lý hiệu quả nếu không có phần mềm chuyên dụng.
• Pruning có cấu trúc: Phương pháp này loại bỏ toàn bộ các cấu trúc hình học, chẳng hạn như neuron, channel hoặc layer trong một mạng neural tích chập (CNN). Bằng cách duy trì cấu trúc ma trận, pruning có cấu trúc tương thích cao với các bộ tăng tốc phần cứng tiêu chuẩn, thường mang lại mức tăng tốc tức thì cho suy luận thời gian thực.

Các ứng dụng trong thực tế#

Pruning là yếu tố không thể thiếu để triển khai AI biên trong nhiều ngành khác nhau, nơi tài nguyên phần cứng bị hạn chế:

1. Drone tự hành: Các phương tiện bay không người lái được sử dụng trong hoạt động tìm kiếm và cứu hộ dựa vào thị giác máy tính để điều hướng trong các môi trường phức tạp. Các model phát hiện đối tượng đã được pruning cho phép những thiết bị này xử lý cục bộ các luồng video theo thời gian thực, tránh các vấn đề về độ trễ liên quan đến giao tiếp với cloud.

2. Y tế di động: Các thiết bị y tế cầm tay dùng cho phân tích siêu âm sử dụng các model đã được pruning để phát hiện bất thường trực tiếp trên thiết bị. Điều này đảm bảo quyền riêng tư dữ liệu của bệnh nhân và cho phép thực hiện các chẩn đoán tinh vi tại những khu vực xa xôi không có kết nối Internet.

Ví dụ triển khai#

Mặc dù các model tiên tiến nhất như YOLO26 được thiết kế để đạt hiệu quả cao, developer có thể áp dụng pruning để tiếp tục tối ưu các layer bằng những thư viện như PyTorch. Ví dụ sau minh họa cách áp dụng pruning phi cấu trúc cho một layer tích chập.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

Cắt tỉa so với các kỹ thuật tối ưu hóa liên quan#

Để tối ưu hiệu quả một model cho việc triển khai, việc phân biệt pruning với các chiến lược khác là rất hữu ích:

• Lượng tử hóa model: Khác với pruning, vốn loại bỏ các kết nối, lượng tử hóa làm giảm độ chính xác của weight (ví dụ: chuyển đổi số dấu phẩy động 32-bit thành số nguyên 8-bit). Có thể sử dụng đồng thời cả hai kỹ thuật để tối đa hóa hiệu quả trên các hệ thống nhúng.
• Chưng cất tri thức: Phương pháp này bao gồm việc huấn luyện một model "student" nhỏ hơn để bắt chước hành vi của model "teacher" lớn hơn. Pruning sửa đổi trực tiếp model ban đầu, trong khi chưng cất tri thức huấn luyện một kiến trúc mới, nhỏ gọn.

Để quản lý toàn diện vòng đời, bao gồm huấn luyện, gán nhãn và triển khai các model đã tối ưu hóa, người dùng có thể tận dụng Ultralytics Platform. Nền tảng này đơn giản hóa quy trình từ quản lý dataset đến export model sang các định dạng thân thiện với phần cứng như ONNX hoặc TensorRT.