Quantization-Aware Training (QAT)
Tìm hiểu cách Quantization-Aware Training (QAT) tối ưu hóa các model Ultralytics YOLO26 cho triển khai edge. Khám phá cách duy trì độ chính xác cao với precision INT8.
Huấn luyện nhận biết lượng tử hóa (QAT) là một kỹ thuật chuyên biệt được sử dụng trong giai đoạn huấn luyện các model machine learning để chuẩn bị cho chúng hoạt động trong môi trường có độ chính xác thấp hơn. Trong các quy trình deep learning tiêu chuẩn, các model thường hoạt động bằng cách sử dụng số dấu phẩy động 32-bit có độ chính xác cao (FP32). Mặc dù độ chính xác này mang lại độ chính xác dự đoán rất tốt, nó có thể tiêu tốn nhiều tài nguyên tính toán và bộ nhớ, đặc biệt trên các thiết bị edge. QAT mô phỏng tác động của quá trình lượng tử hóa—giảm độ chính xác xuống các định dạng như số nguyên 8-bit (INT8)—trong khi model vẫn đang được huấn luyện. Bằng cách đưa các sai số lượng tử hóa vào quá trình học, model học cách thích ứng các trọng số của mình và khôi phục hiệu quả độ chính xác vốn có thể bị mất trong quá trình chuyển đổi sau huấn luyện.
Vì sao QAT quan trọng đối với việc triển khai trên edge#
Việc triển khai các model thị giác máy tính trên các thiết bị có tài nguyên hạn chế thường đòi hỏi sự cân bằng giữa tốc độ và hiệu năng. Các phương pháp lượng tử hóa tiêu chuẩn, được gọi là Lượng tử hóa sau huấn luyện (PTQ), chỉ giảm độ chính xác sau khi model đã được huấn luyện hoàn toàn. Mặc dù PTQ nhanh, phương pháp này đôi khi có thể làm suy giảm độ chính xác của các model nhạy cảm vì các trọng số của mạng neural bị thay đổi đáng kể mà không có cơ hội điều chỉnh.
QAT giải quyết vấn đề này bằng cách cho phép model “luyện tập” ở trạng thái đã được lượng tử hóa. Trong lượt truyền xuôi của quá trình huấn luyện, các trọng số và activation được mô phỏng dưới dạng các giá trị có độ chính xác thấp. Điều này cho phép quá trình gradient descent cập nhật các tham số của model theo cách giảm loss riêng cho trạng thái đã lượng tử hóa. Kết quả là một model mạnh mẽ, vẫn duy trì độ chính xác cao ngay cả khi được triển khai trên phần cứng như vi điều khiển hoặc bộ xử lý di động.
Phân biệt QAT với Lượng tử hóa sau huấn luyện (PTQ)#
Việc phân biệt QAT với lượng tử hóa model, cụ thể là Lượng tử hóa sau huấn luyện (PTQ), là rất hữu ích:
- Lượng tử hóa sau huấn luyện (PTQ): Model được huấn luyện bình thường ở FP32. Sau khi hoàn tất huấn luyện, các trọng số được chuyển đổi sang INT8. Phương pháp này nhanh hơn và không yêu cầu huấn luyện lại, nhưng có thể gây mất độ chính xác nhiều hơn đối với các kiến trúc phức tạp.
- Huấn luyện nhận biết lượng tử hóa (QAT): Quá trình lượng tử hóa được mô phỏng trong giai đoạn fine-tuning. Model điều chỉnh các tham số nội bộ để thích ứng với nhiễu do độ chính xác thấp hơn gây ra, thường mang lại độ chính xác tốt hơn PTQ.
Các ứng dụng trong thực tế#
QAT rất cần thiết trong các ngành mà suy luận theo thời gian thực trên phần cứng edge đóng vai trò quan trọng.
- Drone tự hành: Trong hoạt động của drone AI, thời lượng pin và năng lực xử lý tích hợp bị giới hạn nghiêm ngặt. Các drone sử dụng model được tối ưu bằng QAT có thể phát hiện chướng ngại vật hoặc theo dõi đối tượng với độ chính xác cao trong khi sử dụng các bộ tăng tốc INT8, qua đó kéo dài đáng kể thời gian bay so với các model FP32.
- Camera bán lẻ thông minh: Các siêu thị sử dụng thị giác máy tính trong bán lẻ để giám sát hàng tồn trên kệ hoặc quản lý hàng chờ thanh toán. Các hệ thống này thường chạy trên các gateway edge công suất thấp. QAT đảm bảo các model phát hiện đối tượng chạy trên những thiết bị này duy trì độ chính xác cần thiết để phân biệt các sản phẩm tương tự nhau mà không yêu cầu kết nối cloud tốn kém.
Triển khai QAT với Ultralytics#
Nền tảng Ultralytics và hệ sinh thái YOLO hỗ trợ export model sang các định dạng đã lượng tử hóa. Mặc dù QAT là một quy trình huấn luyện phức tạp, các framework hiện đại hỗ trợ việc chuẩn bị model cho suy luận lượng tử hóa.
Dưới đây là ví dụ về cách export một model YOLO26 đã huấn luyện sang định dạng TFLite INT8 đã lượng tử hóa, sử dụng các nguyên tắc lượng tử hóa để triển khai hiệu quả trên edge.
from ultralytics import YOLO
# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")
# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)Tích hợp với các hệ sinh thái edge#
Các model được tối ưu bằng các kỹ thuật lượng tử hóa được thiết kế để chạy trên các inference engine chuyên dụng. Các model được huấn luyện bằng QAT thường được triển khai bằng ONNX Runtime để đảm bảo khả năng tương thích đa nền tảng hoặc bằng OpenVINO để tối ưu hóa trên phần cứng Intel. Điều này đảm bảo rằng dù mục tiêu là Raspberry Pi hay Edge TPU chuyên dụng, model vẫn hoạt động với hiệu quả và tốc độ cao nhất có thể.
Các khái niệm chính liên quan đến QAT#
Để hiểu đầy đủ về QAT, bạn nên làm quen với một số khái niệm machine learning liên quan:
- Độ chính xác: Đề cập đến mức độ chi tiết được sử dụng để biểu diễn các số. Độ chính xác bán phần (FP16) và INT8 là những đích đến phổ biến của quá trình lượng tử hóa.
- Hiệu chuẩn: Là quá trình xác định phạm vi của các giá trị activation động (min/max) để ánh xạ hiệu quả các số dấu phẩy động sang số nguyên. Đây là một bước quan trọng trong việc triển khai các model YOLO đã lượng tử hóa.
- Độ trễ suy luận: Một trong những lợi ích chính của QAT là giảm độ trễ suy luận, cho phép đưa ra quyết định nhanh hơn trong các hệ thống thời gian thực.
- Fine-tuning: QAT thường được thực hiện như một bước fine-tuning trên một model đã được huấn luyện trước thay vì huấn luyện từ đầu, giúp tiết kiệm tài nguyên tính toán.
Bằng cách tích hợp Huấn luyện nhận biết lượng tử hóa vào pipeline MLOps, các developer có thể thu hẹp khoảng cách giữa các model nghiên cứu có độ chính xác cao và các ứng dụng AI trên edge sẵn sàng cho production với hiệu quả cao.
