Model Pruning

Cắt tỉa mô hình là một kỹ thuật trong machine learning được sử dụng để giảm kích thước và độ phức tạp tính toán của một mạng nơ-ron bằng cách loại bỏ có hệ thống các tham số không cần thiết. Tương tự như việc người làm vườn cắt bỏ những cành chết hoặc mọc quá mức để giúp cây phát triển tốt, các nhà phát triển cắt tỉa mạng nhân tạo để chúng nhanh hơn, nhỏ gọn hơn và tiết kiệm năng lượng hơn. Quy trình này rất cần thiết để triển khai các kiến trúc deep learning hiện đại trên những thiết bị có tài nguyên hạn chế, chẳng hạn như smartphone, cảm biến nhúng và phần cứng điện toán biên.

Cách thức cắt tỉa mô hình hoạt động#

Ý tưởng cốt lõi của việc cắt tỉa là các mạng nơ-ron sâu thường bị "dư thừa tham số", nghĩa là chúng chứa nhiều trọng số và độ lệch hơn đáng kể so với mức thực sự cần thiết để giải quyết một bài toán cụ thể. Trong quá trình training, model học một số lượng kết nối rất lớn, nhưng không phải tất cả đều đóng góp như nhau vào output cuối cùng. Các thuật toán cắt tỉa phân tích model đã được training để xác định những kết nối dư thừa hoặc không mang tính thông tin này—thường là các kết nối có trọng số gần bằng 0—rồi loại bỏ chúng.

Vòng đời của một model đã được cắt tỉa thường gồm các bước sau:

1. Training: Một model lớn được training đến khi hội tụ để nắm bắt các đặc trưng phức tạp.

2. Cắt tỉa: Các tham số có độ quan trọng thấp được đặt về 0 hoặc bị loại bỏ khỏi cấu trúc mạng.

3. Fine-tuning: Model trải qua một vòng fine-tuning bổ sung để các tham số còn lại điều chỉnh và khôi phục mọi độ chính xác bị mất trong giai đoạn cắt tỉa.

Phương pháp này thường gắn liền với Giả thuyết Vé số, theo đó các mạng dày đặc chứa những subnetworks nhỏ hơn, tách biệt (các vé trúng thưởng) có thể đạt độ chính xác tương đương với model ban đầu nếu được training độc lập.

Các chiến lược cắt tỉa#

Các phương pháp cắt tỉa thường được phân loại dựa trên cấu trúc của những thành phần bị loại bỏ.

• Cắt tỉa không có cấu trúc: Phương pháp này loại bỏ từng trọng số riêng lẻ ở bất kỳ vị trí nào trong model dựa trên một ngưỡng (ví dụ: độ lớn). Mặc dù giúp giảm số lượng tham số một cách hiệu quả, phương pháp này tạo ra các ma trận thưa, khiến phần cứng tiêu chuẩn khó xử lý hiệu quả. Nếu không có phần mềm chuyên dụng hoặc bộ tăng tốc phần cứng, cắt tỉa không có cấu trúc có thể không mang lại cải thiện đáng kể về tốc độ.
• Cắt tỉa có cấu trúc: Phương pháp này loại bỏ toàn bộ các cấu trúc hình học, chẳng hạn như channel, filter hoặc layer trong một mạng nơ-ron tích chập (CNN). Bằng cách duy trì cấu trúc ma trận dày đặc, model đã được cắt tỉa vẫn tương thích với phần cứng GPU và CPU tiêu chuẩn, từ đó trực tiếp cải thiện độ trễ inference và throughput.

Các ứng dụng trong thực tế#

Cắt tỉa là yếu tố then chốt thúc đẩy AI biên, cho phép các model tinh vi hoạt động trong những môi trường không có kết nối cloud hoặc kết nối quá chậm.

• Phát hiện đối tượng trên thiết bị di động: Các ứng dụng trên thiết bị di động, chẳng hạn như dịch ngôn ngữ theo thời gian thực hoặc thực tế tăng cường, sử dụng các model đã được cắt tỉa để duy trì thời lượng pin và giảm mức sử dụng bộ nhớ. Các kiến trúc được tối ưu hóa như YOLO26 thường được ưu tiên làm nền tảng cho những tác vụ này nhờ hiệu quả vốn có.
• An toàn ô tô: Xe tự lái và phương tiện tự hành cần đưa ra quyết định trong tích tắc. Các model đã được cắt tỉa cho phép máy tính tích hợp xử lý luồng hình ảnh từ camera độ phân giải cao để phát hiện người đi bộ mà không gặp độ trễ do phải truyền dữ liệu đến server.
• IoT công nghiệp: Trong lĩnh vực sản xuất, các hệ thống kiểm tra bằng hình ảnh trên dây chuyền lắp ráp sử dụng những model nhẹ để phát hiện lỗi. Cắt tỉa bảo đảm các hệ thống này có thể chạy trên các vi điều khiển tiết kiệm chi phí thay vì những cụm server đắt tiền.

Cắt tỉa so với các kỹ thuật tối ưu hóa liên quan#

Mặc dù cắt tỉa mô hình là một công cụ mạnh, nó thường bị nhầm lẫn với hoặc được sử dụng cùng các kỹ thuật tối ưu hóa model khác.

• Cắt tỉa so với lượng tử hóa: Cắt tỉa làm giảm số lượng tham số (kết nối) trong model. Ngược lại, lượng tử hóa model làm giảm độ chính xác biểu diễn của các tham số đó, chẳng hạn bằng cách chuyển đổi số dấu phẩy động 32-bit thành số nguyên 8-bit. Cả hai thường được kết hợp để tối đa hóa hiệu quả cho việc triển khai model.
• Cắt tỉa so với chưng cất tri thức: Cắt tỉa sửa đổi model ban đầu bằng cách loại bỏ các phần của nó. Chưng cất tri thức bao gồm việc training một model "student" mới, nhỏ hơn hoàn toàn để mô phỏng hành vi của một model "teacher" lớn hơn.

Ví dụ triển khai#

Ví dụ Python sau đây minh họa cách áp dụng cắt tỉa không có cấu trúc cho một layer tích chập bằng PyTorch. Đây là một bước phổ biến trước khi export model sang các format được tối ưu hóa như ONNX.

import torch
import torch.nn as nn
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
module = nn.Conv2d(in_channels=1, out_channels=20, kernel_size=3)

# Apply unstructured pruning to remove 30% of the connections
# This sets the weights with the lowest L1-norm to zero
prune.l1_unstructured(module, name="weight", amount=0.3)

# Calculate and print the sparsity (percentage of zero elements)
sparsity = 100.0 * float(torch.sum(module.weight == 0)) / module.weight.nelement()
print(f"Layer Sparsity: {sparsity:.2f}%")

Đối với người dùng muốn quản lý toàn bộ vòng đời của dataset và model, bao gồm training, đánh giá và triển khai, Ultralytics Platform cung cấp một interface tinh gọn. Nền tảng này đơn giản hóa quy trình tạo các model được tối ưu hóa cao như YOLO26 và export chúng sang các format thân thiện với phần cứng như TensorRT hoặc CoreML.