Triển khai các model Ultralytics YOLOv8 lượng tử hóa trên thiết bị edge với DeGirum

Chào mừng bạn đến với phần tổng kết một buổi nói chuyện sâu sắc khác tại sự kiện YOLO VISION 2023 (YV23) của chúng tôi, được tổ chức tại Google for Startups Campus ở Madrid. Buổi nói chuyện do Shashi Chilappagar, Kiến trúc sư trưởng kiêm Đồng sáng lập DeGirum, trình bày. Nội dung đề cập đến lượng tử hóa và triển khai các model đã lượng tử hóa, đồng thời khám phá những thách thức, giải pháp và khả năng trong tương lai.

Giới thiệu về lượng tử hóa và triển khai model đã lượng tử hóa#

Shashi đã trình bày tổng quan toàn diện về lượng tử hóa, nhấn mạnh tầm quan trọng của kỹ thuật này trong việc tối ưu hóa các model Ultralytics YOLO để triển khai trên thiết bị biên. Từ những kiến thức cơ bản đến các phương pháp cải thiện lượng tử hóa, người tham dự đã thu nhận được thông tin hữu ích về những khía cạnh phức tạp của việc chuyển đổi và triển khai model.

Thách thức khi lượng tử hóa model YOLO#

Lượng tử hóa thường đặt ra nhiều thách thức, đặc biệt với model YOLO trên TFLite. Người tham dự đã tìm hiểu về mức suy giảm độ chính xác đáng kể khi tất cả đầu ra được lượng tử hóa bằng cùng một scale/zero point, qua đó làm rõ sự phức tạp của việc duy trì độ chính xác của model trong quá trình lượng tử hóa.

Cải thiện quá trình lượng tử hóa model YOLO#

May mắn là đã có các giải pháp để xử lý những thách thức này. Bản fork DeGirum mới giới thiệu một phương pháp thân thiện với lượng tử hóa bằng cách tách riêng đầu ra và tối ưu hóa quá trình giải mã bounding box. Nhờ những cải tiến này, độ chính xác của model đã lượng tử hóa tăng đáng kể so với mức cơ sở.

Các kiến trúc model thân thiện hơn với lượng tử hóa#

Khám phá các kiến trúc model mới là yếu tố then chốt để giảm thiểu tổn thất do lượng tử hóa. Người tham dự đã tìm hiểu cách thay SiLU bằng hàm kích hoạt ReLU6 có giới hạn giúp giảm thiểu tổn thất lượng tử hóa, mang lại kết quả đầy hứa hẹn trong việc duy trì độ chính xác của model đã lượng tử hóa.

Triển khai model đã lượng tử hóa#

Việc triển khai model đã lượng tử hóa rất đơn giản, chỉ cần năm dòng code để chạy bất kỳ model nào trên nền tảng đám mây DeGirum. Buổi trình diễn code trực tiếp cho thấy việc phát hiện đối tượng bằng model Ultralytics YOLOv5 đã lượng tử hóa đơn giản đến mức nào, đồng thời minh họa khả năng tích hợp dễ dàng các model đã lượng tử hóa vào ứng dụng thực tế.

Để hỗ trợ mục tiêu này, Ultralytics cung cấp nhiều tùy chọn triển khai model, giúp người dùng cuối triển khai ứng dụng hiệu quả trên thiết bị nhúng và thiết bị biên. Các định dạng export khác nhau bao gồm OpenVINO, TorchScript, TensorRT, CoreML, TFLite và TFLite Edge TPU, mang lại tính linh hoạt và khả năng tương thích.

Việc tích hợp với ứng dụng bên thứ ba để triển khai này cho phép người dùng đánh giá hiệu suất của model trong các tình huống thực tế.

Sử dụng các model khác nhau trên phần cứng khác nhau#

Người tham dự cũng hiểu thêm về tính linh hoạt khi triển khai các model khác nhau trên nhiều nền tảng phần cứng, qua đó cho thấy một codebase duy nhất có thể hỗ trợ nhiều model trên các bộ tăng tốc khác nhau. Các ví dụ chạy những tác vụ phát hiện khác nhau trên nhiều nền tảng phần cứng đã minh họa tính linh hoạt và khả năng mở rộng của phương pháp này.

Tài nguyên và tài liệu#

Để hỗ trợ người tham dự tốt hơn, chúng tôi đã giới thiệu một mục tài nguyên toàn diện, cung cấp quyền truy cập vào nền tảng đám mây, các ví dụ, tài liệu của chúng tôi và nhiều nội dung khác. Mục tiêu của chúng tôi là đảm bảo mọi người có đủ công cụ và hỗ trợ cần thiết để triển khai hiệu quả các model đã lượng tử hóa.

Tổng kết#

Khi lĩnh vực lượng tử hóa phát triển, việc cập nhật kiến thức và chủ động tham gia là điều thiết yếu. Chúng tôi cam kết tiếp tục cung cấp hỗ trợ và tài nguyên để giúp bạn thích ứng với lĩnh vực đang không ngừng thay đổi này. Xem toàn bộ buổi nói chuyện trên YouTube.

Hãy cùng chúng tôi tiếp tục khám phá các xu hướng và đổi mới mới nhất trong học máy và trí tuệ nhân tạo.