Triển khai các mô hình Ultralytics YOLOv8 đã được lượng tử hóa trên thiết bị biên với DeGirum

Chào mừng đến với buổi tóm tắt một bài thuyết trình đầy cảm hứng khác từ sự kiện YOLO VISION 2023 (YV23) của chúng tôi, được tổ chức tại Google for Startups Campus đầy sôi động ở Madrid. Bài thuyết trình này được thực hiện bởi Shashi Chilappagar, Kiến trúc sư trưởng và Đồng sáng lập tại DeGirum. Bài nói đã đi sâu vào thế giới thú vị của quá trình lượng tử hóa và triển khai các model đã lượng tử hóa, khám phá các thách thức chính, giải pháp và những khả năng trong tương lai.

Link to this sectionGiới thiệu về lượng tử hóa và triển khai các model đã lượng tử hóa#

Shashi đã cung cấp một cái nhìn tổng quan toàn diện về lượng tử hóa, nhấn mạnh tầm quan trọng của nó trong việc tối ưu hóa các model Ultralytics YOLO để triển khai trên các thiết bị biên. Từ việc thảo luận các kiến thức cơ bản đến khám phá các phương pháp cải thiện quá trình lượng tử hóa, người tham dự đã có được những hiểu biết giá trị về sự phức tạp của việc chuyển đổi và triển khai model.

Link to this sectionThách thức trong việc lượng tử hóa các model YOLO#

Lượng tử hóa thường đặt ra những thách thức, đặc biệt là với các model YOLO trong TFLite. Khán giả của chúng tôi đã được biết về sự sụt giảm đáng kể độ chính xác khi tất cả các đầu ra được lượng tử hóa với cùng một thang đo/điểm không (scale/zero point), làm sáng tỏ sự phức tạp trong việc duy trì độ chính xác của model trong quá trình lượng tử hóa.

Link to this sectionCải thiện quá trình lượng tử hóa các model YOLO#

Rất may, đã có các giải pháp để giải quyết những thách thức này. Việc giới thiệu DeGirum fork mang đến một hướng tiếp cận thân thiện với lượng tử hóa bằng cách tách các đầu ra và tối ưu hóa quá trình giải mã bounding box. Với những cải tiến này, độ chính xác của model đã lượng tử hóa được cải thiện đáng kể so với mức cơ sở.

Link to this sectionCác kiến trúc model thân thiện hơn với lượng tử hóa#

Khám phá các kiến trúc model mới là chìa khóa để giảm thiểu mất mát do lượng tử hóa. Người tham dự đã khám phá ra cách thay thế SiLU bằng hàm kích hoạt ReLU6 bị chặn (bounded ReLU6) giúp giảm thiểu mất mát do lượng tử hóa, mang lại kết quả đầy hứa hẹn trong việc duy trì độ chính xác cho các model đã lượng tử hóa.

Link to this sectionTriển khai các model đã lượng tử hóa#

Việc triển khai các model đã lượng tử hóa chưa bao giờ dễ dàng hơn thế, chỉ cần năm dòng code để chạy bất kỳ model nào trên nền tảng đám mây của DeGirum. Một bản demo code trực tiếp đã cho thấy sự đơn giản của việc phát hiện đối tượng với một model Ultralytics YOLOv5 đã lượng tử hóa, làm nổi bật khả năng tích hợp liền mạch các model đã lượng tử hóa vào các ứng dụng thực tế.

Vì mục đích này, Ultralytics cung cấp nhiều tùy chọn triển khai model, cho phép người dùng cuối triển khai hiệu quả các ứng dụng của họ trên các thiết bị nhúng và thiết bị biên. Các định dạng xuất khác nhau bao gồm OpenVINO, TorchScript, TensorRT, CoreML, TFLite và TFLite Edge TPU, mang lại sự linh hoạt và tính tương thích cao.

Việc tích hợp với các ứng dụng của bên thứ ba để triển khai cho phép người dùng đánh giá hiệu suất của các model của chúng tôi trong các tình huống thực tế.

Link to this sectionSử dụng các model khác nhau trên các phần cứng khác nhau#

Người tham dự cũng có được thông tin chuyên sâu về tính linh hoạt của việc triển khai các model khác nhau trên nhiều nền tảng phần cứng, cho thấy cách một codebase duy nhất có thể hỗ trợ nhiều model trên các bộ tăng tốc khác nhau. Các ví dụ về việc chạy các tác vụ phát hiện khác nhau trên các nền tảng phần cứng đa dạng đã chứng minh sự linh hoạt và khả năng mở rộng trong phương pháp của chúng tôi.

Link to this sectionTài nguyên và tài liệu#

Để hỗ trợ thêm cho người tham dự, chúng tôi đã giới thiệu một phần tài nguyên toàn diện, cung cấp quyền truy cập vào nền tảng đám mây, các ví dụ, tài liệu của chúng tôi, và nhiều thứ khác. Mục tiêu của chúng tôi là đảm bảo mọi người đều có các công cụ và sự hỗ trợ cần thiết để thành công trong việc triển khai hiệu quả các model đã lượng tử hóa.

Link to this sectionTóm tắt#

Khi lĩnh vực lượng tử hóa ngày càng phát triển, việc cập nhật thông tin và tham gia vào cộng đồng là điều thiết yếu. Chúng tôi cam kết cung cấp sự hỗ trợ và tài nguyên liên tục để giúp bạn điều hướng hành trình thú vị này. Hãy xem toàn bộ bài thuyết trình Watch the full talk!

Hãy tham gia cùng chúng tôi khi chúng tôi tiếp tục khám phá các xu hướng và đổi mới mới nhất trong học máy (machine learning) và trí tuệ nhân tạo (AI). Cùng nhau, chúng ta đang định hình tương lai của công nghệ và tạo ra những thay đổi tích cực trên thế giới.