Tỉa bớt mô hình

Cắt tỉa mô hình là một kỹ thuật trong học máy được sử dụng để giảm kích thước và độ phức tạp tính toán của mạng nơ-ron bằng cách loại bỏ có hệ thống các tham số không cần thiết. Giống như người làm vườn cắt tỉa những cành cây chết hoặc mọc quá mức để khuyến khích cây phát triển, các nhà phát triển cắt tỉa các mạng nhân tạo để làm cho chúng nhanh hơn, nhỏ hơn và tiết kiệm năng lượng hơn. Quá trình này rất cần thiết để triển khai các kiến ​​trúc học sâu hiện đại trên các thiết bị có tài nguyên hạn chế, chẳng hạn như điện thoại thông minh, cảm biến nhúng và phần cứng điện toán biên.

Cách thức hoạt động của việc cắt tỉa mô hình

Ý tưởng cốt lõi đằng sau kỹ thuật cắt tỉa (pruning) là các mạng nơ-ron sâu thường bị "quá tham số", nghĩa là chúng chứa nhiều weights and biases hơn mức cần thiết để giải quyết một vấn đề cụ thể. Trong quá trình huấn luyện, mô hình học được một số lượng lớn các kết nối, nhưng không phải tất cả đều đóng góp như nhau vào kết quả cuối cùng. Các thuật toán cắt tỉa phân tích mô hình đã được huấn luyện để xác định các kết nối dư thừa hoặc không cung cấp thông tin – thường là những kết nối có trọng số gần bằng không – và loại bỏ chúng.

Vòng đời của một mô hình đã được cắt tỉa thường tuân theo các bước sau:

1. Huấn luyện: Một mô hình lớn được huấn luyện đến khi hội tụ để nắm bắt các đặc điểm phức tạp.
2. Cắt tỉa: Các tham số có tầm quan trọng thấp được đặt về 0 hoặc loại bỏ khỏi cấu trúc mạng.
3. Tinh chỉnh: Mô hình trải qua một vòng tinh chỉnh thứ hai để cho phép các tham số còn lại điều chỉnh và khôi phục lại độ chính xác đã mất trong giai đoạn cắt tỉa.

Phương pháp này thường được liên kết với Giả thuyết Vé số , cho rằng các mạng dày đặc chứa các mạng con nhỏ hơn, biệt lập (vé trúng thưởng) có thể đạt được độ chính xác tương đương với mô hình ban đầu nếu được huấn luyện riêng lẻ.

Các loại chiến lược cắt tỉa cành

Các phương pháp cắt tỉa thường được phân loại dựa trên cấu trúc của các bộ phận bị loại bỏ.

• Cắt tỉa không cấu trúc: Phương pháp này loại bỏ các trọng số riêng lẻ ở bất kỳ vị trí nào trong mô hình dựa trên một ngưỡng (ví dụ: độ lớn). Mặc dù điều này giúp giảm số lượng tham số một cách hiệu quả, nhưng nó dẫn đến các ma trận thưa thớt , gây khó khăn cho phần cứng tiêu chuẩn trong việc xử lý hiệu quả. Nếu không có phần mềm chuyên dụng hoặc bộ tăng tốc phần cứng, việc cắt tỉa không cấu trúc có thể không mang lại sự cải thiện tốc độ đáng kể.
• Cắt tỉa có cấu trúc: Phương pháp này loại bỏ toàn bộ cấu trúc hình học, chẳng hạn như kênh, bộ lọc hoặc lớp bên trong mạng nơ-ron tích chập (CNN) . Bằng cách bảo toàn cấu trúc ma trận dày đặc, mô hình được cắt tỉa vẫn tương thích với GPU tiêu chuẩn và CPU phần cứng, dẫn đến những cải tiến trực tiếp về độ trễ suy luận và thông lượng.

Các Ứng dụng Thực tế

Việc cắt tỉa là một yếu tố then chốt giúp Edge AI hoạt động, cho phép các mô hình phức tạp chạy trong môi trường mà kết nối đám mây không khả dụng hoặc quá chậm.

• Phát hiện đối tượng trên thiết bị di động: Các ứng dụng trên thiết bị di động, chẳng hạn như dịch ngôn ngữ thời gian thực hoặc thực tế tăng cường, sử dụng các mô hình được tinh chỉnh để tiết kiệm pin và giảm mức sử dụng bộ nhớ . Các kiến ​​trúc được tối ưu hóa như YOLO26 thường được ưu tiên lựa chọn làm nền tảng cho các tác vụ này do hiệu quả vốn có của chúng.
• An toàn ô tô: Xe tự lái và xe tự hành đòi hỏi khả năng ra quyết định trong tích tắc. Các mô hình được tinh chỉnh cho phép máy tính trên xe xử lý nguồn cấp dữ liệu camera độ phân giải cao để phát hiện người đi bộ mà không bị độ trễ do việc truyền dữ liệu đến máy chủ.
• IoT công nghiệp: Trong sản xuất, hệ thống kiểm tra hình ảnh trên dây chuyền lắp ráp sử dụng các mô hình nhẹ để detect các lỗi. Việc cắt tỉa đảm bảo các hệ thống này có thể hoạt động trên các bộ vi điều khiển tiết kiệm chi phí thay vì các giá đỡ máy chủ đắt tiền.

Cắt tỉa cành so với các kỹ thuật tối ưu hóa liên quan

Mặc dù việc cắt tỉa mô hình là một công cụ mạnh mẽ, nhưng nó thường bị nhầm lẫn hoặc sử dụng cùng với các kỹ thuật tối ưu hóa mô hình khác.

• Cắt tỉa so với lượng tử hóa: Cắt tỉa làm giảm số lượng tham số (kết nối) trong mô hình. Ngược lại, lượng tử hóa mô hình làm giảm độ chính xác của các tham số đó, ví dụ, bằng cách chuyển đổi số thực 32 bit thành số nguyên 8 bit. Cả hai thường được kết hợp để tối đa hóa hiệu quả triển khai mô hình .
• Cắt tỉa so với chắt lọc kiến ​​thức: Cắt tỉa sửa đổi mô hình ban đầu bằng cách loại bỏ các phần. Chắt lọc kiến ​​thức liên quan đến việc huấn luyện một mô hình "học sinh" hoàn toàn mới, nhỏ hơn để bắt chước hành vi của một mô hình "giáo viên" lớn hơn.

Ví dụ triển khai

Sau đây Python Ví dụ này minh họa cách áp dụng kỹ thuật cắt tỉa không cấu trúc cho một lớp tích chập bằng PyTorch . Đây là một bước phổ biến trước khi xuất mô hình sang các định dạng tối ưu hóa như ONNX .

import torch
import torch.nn as nn
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
module = nn.Conv2d(in_channels=1, out_channels=20, kernel_size=3)

# Apply unstructured pruning to remove 30% of the connections
# This sets the weights with the lowest L1-norm to zero
prune.l1_unstructured(module, name="weight", amount=0.3)

# Calculate and print the sparsity (percentage of zero elements)
sparsity = 100.0 * float(torch.sum(module.weight == 0)) / module.weight.nelement()
print(f"Layer Sparsity: {sparsity:.2f}%")

Đối với người dùng muốn quản lý toàn bộ vòng đời của tập dữ liệu và mô hình của họ—bao gồm huấn luyện, đánh giá và triển khai— Nền tảng Ultralytics cung cấp một giao diện được tối ưu hóa. Nó đơn giản hóa quá trình tạo ra các mô hình được tối ưu hóa cao như YOLO26 và xuất chúng sang các định dạng thân thiện với phần cứng như TensorRT hoặc... CoreML .