Huấn luyện nhận biết lượng tử hóa (QAT)

Huấn luyện nhận biết lượng tử hóa (Quantization-Aware Training - QAT) là một kỹ thuật chuyên biệt được sử dụng trong giai đoạn huấn luyện các mô hình học máy để chuẩn bị cho chúng hoạt động trong môi trường có độ chính xác thấp hơn. Trong các quy trình học sâu tiêu chuẩn, các mô hình thường hoạt động bằng cách sử dụng số thực dấu phẩy động 32 bit có độ chính xác cao (FP32). Mặc dù độ chính xác này mang lại độ chính xác tuyệt vời, nhưng nó có thể tốn kém về mặt tính toán và bộ nhớ, đặc biệt là trên các thiết bị biên. QAT mô phỏng các hiệu ứng của lượng tử hóa—giảm độ chính xác xuống các định dạng như số nguyên 8 bit (INT8)—trong khi mô hình vẫn đang được huấn luyện. Bằng cách đưa các lỗi lượng tử hóa này vào trong quá trình học, mô hình học cách điều chỉnh trọng số của nó và khôi phục hiệu quả độ chính xác có thể bị mất trong quá trình chuyển đổi sau huấn luyện.

Tại sao QAT lại quan trọng đối với việc triển khai ở biên mạng

Việc triển khai các mô hình thị giác máy tính trên các thiết bị có tài nguyên hạn chế thường đòi hỏi sự cân bằng giữa tốc độ và hiệu năng. Các phương pháp lượng tử hóa tiêu chuẩn, được gọi là Lượng tử hóa sau huấn luyện (Post-Training Quantization - PTQ), chỉ áp dụng giảm độ chính xác sau khi mô hình đã được huấn luyện hoàn toàn. Mặc dù PTQ nhanh, nhưng đôi khi nó có thể làm giảm độ chính xác của các mô hình nhạy cảm vì trọng số của mạng nơ-ron bị thay đổi đáng kể mà không có cơ hội điều chỉnh.

QAT giải quyết vấn đề này bằng cách cho phép mô hình "thực hành" quá trình lượng tử hóa. Trong quá trình truyền tiến của huấn luyện, các trọng số và kích hoạt được mô phỏng dưới dạng các giá trị có độ chính xác thấp. Điều này cho phép quá trình giảm độ dốc cập nhật các tham số của mô hình theo cách giảm thiểu tổn thất cụ thể cho trạng thái lượng tử hóa. Kết quả là một mô hình mạnh mẽ duy trì độ chính xác cao ngay cả khi được triển khai trên phần cứng như vi điều khiển hoặc bộ xử lý di động.

Phân biệt QAT với Lượng hóa sau đào tạo (PTQ)

Cần phân biệt QAT với lượng tử hóa mô hình , cụ thể là Lượng tử hóa sau huấn luyện (PTQ):

• Lượng tử hóa sau huấn luyện (PTQ): Mô hình được huấn luyện bình thường ở định dạng FP32. Sau khi quá trình huấn luyện hoàn tất, các trọng số được chuyển đổi sang định dạng INT8. Quá trình này nhanh hơn và không cần huấn luyện lại, nhưng có thể dẫn đến tổn thất độ chính xác cao hơn đối với các kiến ​​trúc phức tạp.
• Huấn luyện có nhận thức về lượng tử hóa (Quantization-Aware Training - QAT): Quá trình lượng tử hóa được mô phỏng trong giai đoạn tinh chỉnh. Mô hình điều chỉnh các tham số nội bộ của nó để thích ứng với nhiễu do độ chính xác thấp hơn gây ra, thường mang lại độ chính xác tốt hơn so với PTQ.

Các Ứng dụng Thực tế

QAT rất cần thiết cho các ngành công nghiệp mà việc suy luận thời gian thực trên phần cứng biên là vô cùng quan trọng.

• Máy bay không người lái tự hành: Trong hoạt động của máy bay không người lái sử dụng trí tuệ nhân tạo , thời lượng pin và sức mạnh xử lý trên máy bay bị hạn chế nghiêm trọng. Máy bay không người lái sử dụng các mô hình được tối ưu hóa thông qua QAT có thể... detect trở ngại hoặc track Các vật thể được phóng với độ chính xác cao khi sử dụng bộ tăng tốc INT8, giúp kéo dài đáng kể thời gian bay so với các mẫu FP32.
• Camera bán lẻ thông minh: Siêu thị sử dụng công nghệ thị giác máy tính trong bán lẻ để giám sát hàng tồn kho trên kệ hoặc quản lý quầy thanh toán. Các hệ thống này thường hoạt động trên các thiết bị đầu cuối biên có công suất thấp. QAT đảm bảo rằng các mô hình phát hiện đối tượng chạy trên các thiết bị này duy trì độ chính xác cần thiết để phân biệt giữa các sản phẩm tương tự mà không cần kết nối đám mây tốn kém.

Triển khai QAT với Ultralytics

Nền tảng Ultralytics và YOLO Hệ sinh thái hỗ trợ xuất các mô hình sang định dạng lượng tử hóa. Mặc dù QAT là một quy trình huấn luyện phức tạp, các khung công tác hiện đại tạo điều kiện thuận lợi cho việc chuẩn bị các mô hình để suy luận lượng tử hóa.

Dưới đây là ví dụ về cách bạn có thể xuất mô hình YOLO26 đã được huấn luyện sang định dạng lượng tử INT8. TFLite định dạng này sử dụng các nguyên tắc lượng tử hóa để triển khai hiệu quả ở biên mạng.

from ultralytics import YOLO

# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)

Tích hợp với hệ sinh thái biên

Các mô hình được tối ưu hóa thông qua kỹ thuật lượng tử hóa được thiết kế để chạy trên các công cụ suy luận chuyên dụng. Các mô hình được huấn luyện bằng QAT thường được triển khai bằng ONNX Runtime để đảm bảo khả năng tương thích đa nền tảng hoặc OpenVINO để tối ưu hóa. Intel phần cứng. Điều này đảm bảo rằng dù mục tiêu là Raspberry Pi hay Edge TPU chuyên dụng, mô hình vẫn hoạt động với hiệu suất và tốc độ cao nhất có thể.

Các khái niệm chính liên quan đến QAT

Để hiểu đầy đủ về QAT, việc nắm vững một số khái niệm liên quan đến học máy sẽ rất hữu ích:

• Độ chính xác: Đề cập đến mức độ chi tiết được sử dụng để biểu diễn các con số. Độ chính xác một nửa (FP16) và INT8 là các mục tiêu phổ biến cho lượng tử hóa.
• Hiệu chuẩn: Quá trình xác định phạm vi giá trị kích hoạt động (tối thiểu/tối đa) để ánh xạ các số thực sang số nguyên một cách hiệu quả. Đây là bước quan trọng trong việc triển khai các mô hình YOLO lượng tử hóa .
• Độ trễ suy luận: Một trong những lợi ích chính của QAT là giảm độ trễ suy luận , cho phép đưa ra quyết định nhanh hơn trong các hệ thống thời gian thực.
• Tinh chỉnh: QAT thường được thực hiện như một bước tinh chỉnh trên mô hình đã được huấn luyện trước đó, thay vì huấn luyện từ đầu, giúp tiết kiệm tài nguyên tính toán.

Bằng cách tích hợp huấn luyện nhận biết lượng tử hóa vào quy trình MLOps , các nhà phát triển có thể thu hẹp khoảng cách giữa các mô hình nghiên cứu có độ chính xác cao và các ứng dụng AI biên hiệu quả cao, sẵn sàng cho sản xuất.