Triển khai các model Ultralytics YOLOv8 lượng tử hóa trên thiết bị edge với DeGirum
Khám phá cách triển khai các model YOLOv8 lượng tử hóa với DeGirum. Tìm hiểu những thách thức, giải pháp và kỹ thuật triển khai cho các thiết bị edge. Cùng chúng tôi định hình tương lai!
Chào mừng bạn đến với phần tóm lược một bài nói chuyện giàu thông tin khác từ sự kiện YOLO VISION 2023 (YV23) của chúng tôi, được tổ chức tại Google for Startups Campus sôi động ở Madrid. Bài nói chuyện do Shashi Chilappagar, Kiến trúc sư trưởng kiêm Đồng sáng lập tại DeGirum, trình bày. Nội dung đi sâu vào thế giới hấp dẫn của lượng tử hóa và triển khai các model đã được lượng tử hóa, đồng thời khám phá những thách thức chính, giải pháp và khả năng trong tương lai.
Giới thiệu về lượng tử hóa và triển khai các model đã được lượng tử hóa#
Shashi đã cung cấp một tổng quan toàn diện về lượng tử hóa, nhấn mạnh tầm quan trọng của kỹ thuật này trong việc tối ưu hóa các model YOLO của Ultralytics để triển khai trên thiết bị edge. Từ việc thảo luận về những kiến thức cơ bản đến khám phá các phương pháp cải thiện lượng tử hóa, người tham dự đã thu nhận được những hiểu biết giá trị về sự phức tạp của việc chuyển đổi và triển khai model.
Những thách thức khi lượng tử hóa các model YOLO#
Lượng tử hóa thường gây ra nhiều thách thức, đặc biệt với các model YOLO trong TFLite. Khán giả đã tìm hiểu về mức sụt giảm độ chính xác đáng kể khi tất cả đầu ra được lượng tử hóa bằng cùng một scale/zero point, qua đó làm rõ sự phức tạp trong việc duy trì độ chính xác của model trong quá trình lượng tử hóa.
Cải thiện việc lượng tử hóa các model YOLO#
May mắn là có các giải pháp để giải quyết những thách thức này. Fork DeGirum ra mắt một phương pháp thân thiện hơn với lượng tử hóa bằng cách tách các đầu ra và tối ưu hóa quá trình giải mã bounding box. Với những cải tiến này, độ chính xác của model đã được lượng tử hóa tăng đáng kể so với mức cơ sở.
Các kiến trúc model thân thiện hơn với lượng tử hóa#
Khám phá các kiến trúc model mới là yếu tố then chốt để giảm thiểu tổn thất do lượng tử hóa. Người tham dự đã tìm hiểu cách thay thế activation SiLU bằng ReLU6 bị giới hạn, giúp tổn thất do lượng tử hóa ở mức tối thiểu và mang lại kết quả đầy hứa hẹn trong việc duy trì độ chính xác của các model đã được lượng tử hóa.
Triển khai các model đã được lượng tử hóa#
Việc triển khai các model đã được lượng tử hóa chưa bao giờ dễ dàng hơn, với chỉ năm dòng code cần thiết để chạy bất kỳ model nào trên nền tảng cloud DeGirum. Bản demo code trực tiếp đã cho thấy sự đơn giản của việc phát hiện đối tượng bằng model Ultralytics YOLOv5 đã được lượng tử hóa, qua đó nhấn mạnh khả năng tích hợp liền mạch các model đã được lượng tử hóa vào những ứng dụng thực tế.
Để đạt được mục tiêu này, Ultralytics cung cấp nhiều tùy chọn triển khai model, cho phép người dùng cuối triển khai hiệu quả ứng dụng của họ trên các thiết bị nhúng và edge. Các định dạng export khác nhau bao gồm OpenVINO, TorchScript, TensorRT, CoreML, TFLite và TFLite Edge TPU, mang lại tính linh hoạt và khả năng tương thích.
Việc tích hợp với các ứng dụng bên thứ ba để triển khai cho phép người dùng đánh giá hiệu năng của các model của chúng tôi trong những tình huống thực tế.
Sử dụng các model khác nhau trên phần cứng khác nhau#
Người tham dự cũng có được những hiểu biết về tính linh hoạt của việc triển khai các model khác nhau trên nhiều nền tảng phần cứng, cho thấy cách một codebase duy nhất có thể hỗ trợ nhiều model trên các accelerator khác nhau. Các ví dụ chạy những tác vụ detection khác nhau trên nhiều nền tảng phần cứng đa dạng đã minh họa tính linh hoạt và khả năng mở rộng của phương pháp này.
Tài nguyên và tài liệu#
Để hỗ trợ người tham dự tốt hơn, chúng tôi đã giới thiệu một khu vực tài nguyên toàn diện, cung cấp quyền truy cập vào nền tảng cloud, các ví dụ, tài liệu và nhiều nội dung khác. Mục tiêu của chúng tôi là đảm bảo mọi người có các công cụ và sự hỗ trợ cần thiết để triển khai hiệu quả các model đã được lượng tử hóa.
Tổng kết#
Khi lĩnh vực lượng tử hóa tiếp tục phát triển, việc cập nhật thông tin và chủ động tham gia là điều thiết yếu. Chúng tôi cam kết liên tục cung cấp sự hỗ trợ và tài nguyên để giúp bạn định hướng trong hành trình thú vị này. Hãy xem toàn bộ bài nói chuyện Xem toàn bộ bài nói chuyện!
Hãy đồng hành cùng chúng tôi khi chúng ta tiếp tục khám phá những xu hướng và đổi mới mới nhất trong machine learning và artificial intelligence. Cùng nhau, chúng ta đang định hình tương lai của công nghệ và thúc đẩy những thay đổi tích cực trên thế giới.
