Triển khai các mô hình Ultralytics YOLOv8 đã lượng tử hóa trên các thiết bị biên với DeGirum

Chào mừng bạn đến với phần tóm tắt của một buổi nói chuyện sâu sắc khác từ sự kiện YOLO VISION 2023 (YV23) của chúng tôi, được tổ chức tại Google for Startups Campus sôi động ở Madrid. Buổi nói chuyện này được trình bày bởi Shashi Chilappagar, Kiến trúc sư trưởng và Đồng sáng lập tại DeGirum. Nó đi sâu vào thế giới hấp dẫn của lượng tử hóa và triển khai các mô hình lượng tử hóa, khám phá các thách thức, giải pháp và khả năng chính trong tương lai.

Giới thiệu về lượng tử hóa và triển khai các mô hình lượng tử hóa

Shashi đã cung cấp một cái nhìn tổng quan toàn diện về lượng tử hóa, nêu bật tầm quan trọng của nó trong việc tối ưu hóa các mô hình Ultralytics YOLO để triển khai trên các thiết bị biên. Từ việc thảo luận các nguyên tắc cơ bản đến khám phá các phương pháp cải thiện lượng tử hóa, những người tham dự đã có được những hiểu biết giá trị về sự phức tạp của việc chuyển và triển khai mô hình.

Những thách thức trong việc lượng tử hóa các mô hình YOLO

Lượng tử hóa thường gây ra những thách thức, đặc biệt là với các mô hình YOLO trong TFLite. Khán giả của chúng tôi đã biết về sự sụt giảm đáng kể về độ chính xác được quan sát thấy khi tất cả các đầu ra được lượng tử hóa với cùng một tỷ lệ/điểm gốc, làm sáng tỏ sự phức tạp của việc duy trì độ chính xác của mô hình trong quá trình lượng tử hóa.

Cải thiện lượng tử hóa của các mô hình YOLO.

May mắn thay, các giải pháp tồn tại để giải quyết những thách thức này. Việc giới thiệu nhánh DigiRAM cung cấp một phương pháp thân thiện với lượng tử hóa bằng cách tách các đầu ra và tối ưu hóa việc giải mã hộp giới hạn. Với những cải tiến này, độ chính xác của mô hình lượng tử hóa được cải thiện đáng kể so với mức cơ bản.

Kiến trúc mô hình thân thiện hơn với lượng tử hóa

Việc khám phá các kiến trúc mô hình mới là chìa khóa để giảm thiểu tổn thất lượng tử hóa. Những người tham dự đã khám phá ra cách thay thế CILU bằng kích hoạt Relu6 bị giới hạn dẫn đến tổn thất lượng tử hóa tối thiểu, mang lại kết quả đầy hứa hẹn để duy trì độ chính xác trong các mô hình lượng tử hóa.

Triển khai các mô hình lượng tử hóa

Việc triển khai các mô hình lượng tử hóa chưa bao giờ dễ dàng hơn thế, chỉ với năm dòng mã cần thiết để chạy bất kỳ mô hình nào trên nền tảng đám mây Digitim. Một bản demo mã trực tiếp đã giới thiệu sự đơn giản của việc phát hiện các đối tượng bằng một mô hình Ultralytics YOLOv5 lượng tử hóa, làm nổi bật sự tích hợp liền mạch của các mô hình lượng tử hóa vào các ứng dụng thực tế. 

Theo đó, Ultralytics cung cấp nhiều tùy chọn triển khai mô hình khác nhau, cho phép người dùng cuối triển khai hiệu quả các ứng dụng của họ trên các thiết bị nhúng và biên. Các định dạng xuất khác nhau bao gồm OpenVINO, TorchScript, TensorRT, CoreML, TFlite và TFlite EDGE TPU, mang lại tính linh hoạt và khả năng tương thích. 

Việc tích hợp này với các ứng dụng của bên thứ ba để triển khai cho phép người dùng đánh giá hiệu suất của các mô hình của chúng tôi trong các tình huống thực tế.

Sử dụng các mô hình khác nhau trên các phần cứng khác nhau

Những người tham dự cũng có được những hiểu biết sâu sắc về tính linh hoạt của việc triển khai các mô hình khác nhau trên nhiều nền tảng phần cứng khác nhau, cho thấy cách một codebase duy nhất có thể hỗ trợ nhiều mô hình trên các bộ tăng tốc khác nhau. Các ví dụ về việc chạy các tác vụ phát hiện khác nhau trên các nền tảng phần cứng đa dạng đã chứng minh tính linh hoạt và khả năng mở rộng của phương pháp tiếp cận của chúng tôi.

Tài nguyên và tài liệu

Để trao quyền hơn nữa cho những người tham dự, chúng tôi đã giới thiệu một phần tài nguyên toàn diện, cung cấp quyền truy cập vào nền tảng đám mây, các ví dụ, tài liệu, v.v. Mục tiêu của chúng tôi là đảm bảo rằng mọi người đều có các công cụ và hỗ trợ cần thiết để thành công trong việc triển khai các mô hình lượng tử hóa một cách hiệu quả.

Tóm lại

Khi lĩnh vực lượng tử hóa phát triển, điều cần thiết là phải luôn cập nhật thông tin và tham gia. Chúng tôi cam kết cung cấp hỗ trợ và tài nguyên liên tục để giúp bạn điều hướng hành trình thú vị này. Xem toàn bộ bài nói chuyện tại đây! 

Hãy cùng chúng tôi tiếp tục khám phá những xu hướng và đổi mới mới nhất trong lĩnh vực máy học và trí tuệ nhân tạo. Cùng nhau, chúng ta đang định hình tương lai của công nghệ và thúc đẩy những thay đổi tích cực trên thế giới.