Ngày 27 tháng 3 năm 2024
Khám phá việc triển khai các mô hình YOLOv8 lượng tử hóa với DeGirum. Tìm hiểu các thách thức, giải pháp và kỹ thuật triển khai cho các thiết bị biên. Định hình tương lai cùng chúng tôi!
Chào mừng đến với phần tóm tắt của một bài nói chuyện sâu sắc khác từ sự kiện YOLO VISION 2023 (YV23) của chúng tôi, được tổ chức tại Google for Startups Campus sôi động ở Madrid. Bài nói chuyện này được trình bày bởi Shashi Chilappagar , Kiến trúc sư trưởng và Đồng sáng lập tại DeGirum . Bài nói chuyện đi sâu vào thế giới hấp dẫn của lượng tử hóa và triển khai các mô hình lượng tử hóa, khám phá những thách thức, giải pháp và khả năng trong tương lai chính.
Shashi đã cung cấp tổng quan toàn diện về lượng tử hóa, nhấn mạnh tầm quan trọng của nó trong việc tối ưu hóa các mô hình Ultralytics YOLO để triển khai trên các thiết bị biên. Từ việc thảo luận về những điều cơ bản đến khám phá các phương pháp cải thiện lượng tử hóa, những người tham dự đã có được những hiểu biết có giá trị về sự phức tạp của việc chuyển đổi và triển khai mô hình.
Lượng tử hóa thường đặt ra những thách thức, đặc biệt là với các mô hình YOLO trong TFLite . Đối tượng của chúng tôi đã tìm hiểu về sự sụt giảm đáng kể về độ chính xác được quan sát thấy khi tất cả các đầu ra được lượng tử hóa với cùng một tỷ lệ/điểm không, làm sáng tỏ sự phức tạp của việc duy trì độ chính xác của mô hình trong quá trình lượng tử hóa.
May mắn thay, có những giải pháp để giải quyết những thách thức này. Việc giới thiệu nhánh DigiRAM cung cấp một phương pháp tiếp cận thân thiện với lượng tử hóa bằng cách tách các đầu ra và tối ưu hóa giải mã hộp giới hạn. Với những cải tiến này, độ chính xác của mô hình lượng tử hóa được cải thiện đáng kể so với mức cơ sở.
Khám phá kiến trúc mô hình mới là chìa khóa để giảm thiểu tổn thất lượng tử hóa. Những người tham dự đã khám phá ra cách thay thế CILU bằng kích hoạt Relu6 bị giới hạn dẫn đến tổn thất lượng tử hóa tối thiểu, mang lại kết quả đầy hứa hẹn để duy trì độ chính xác trong các mô hình lượng tử hóa.
Việc triển khai các mô hình lượng tử chưa bao giờ dễ dàng hơn thế, chỉ cần năm dòng mã để chạy bất kỳ mô hình nào trên nền tảng đám mây Digitim. Bản demo mã trực tiếp đã giới thiệu tính đơn giản của việc phát hiện các đối tượng bằng mô hình YOLOv5 lượng tử của Ultralytics , làm nổi bật sự tích hợp liền mạch của các mô hình lượng tử vào các ứng dụng thực tế.
Để đạt được hiệu quả này, Ultralytics cung cấp nhiều tùy chọn triển khai mô hình, cho phép người dùng cuối triển khai hiệu quả các ứng dụng của họ trên các thiết bị nhúng và thiết bị biên. Các định dạng xuất khác nhau bao gồm OpenVINO , TorchScript , TensorRT , CoreML , TFlite và TFlite EDGE TPU , mang lại tính linh hoạt và khả năng tương thích.
Việc tích hợp với các ứng dụng của bên thứ ba để triển khai cho phép người dùng đánh giá hiệu suất của các mô hình của chúng tôi trong các tình huống thực tế.
Những người tham dự cũng có được hiểu biết sâu sắc về tính linh hoạt của việc triển khai các mô hình khác nhau trên nhiều nền tảng phần cứng khác nhau, cho thấy cách một cơ sở mã duy nhất có thể hỗ trợ nhiều mô hình trên các trình tăng tốc khác nhau. Các ví dụ về việc chạy các tác vụ phát hiện khác nhau trên nhiều nền tảng phần cứng khác nhau đã chứng minh tính linh hoạt và khả năng mở rộng của phương pháp tiếp cận của chúng tôi.
Để trao quyền cho người tham dự nhiều hơn, chúng tôi đã giới thiệu một phần tài nguyên toàn diện, cung cấp quyền truy cập vào nền tảng đám mây, ví dụ, tài liệu và nhiều hơn nữa. Mục tiêu của chúng tôi là đảm bảo rằng mọi người đều có các công cụ và hỗ trợ cần thiết để triển khai thành công các mô hình lượng tử hóa một cách hiệu quả.
Khi lĩnh vực lượng tử hóa phát triển, điều cần thiết là phải luôn cập nhật thông tin và tham gia. Chúng tôi cam kết cung cấp hỗ trợ và tài nguyên liên tục để giúp bạn điều hướng hành trình thú vị này. Xem toàn bộ bài nói chuyện tại đây !
Hãy tham gia cùng chúng tôi khi chúng tôi tiếp tục khám phá những xu hướng và cải tiến mới nhất trong học máy và trí tuệ nhân tạo. Cùng nhau, chúng ta đang định hình tương lai của công nghệ và thúc đẩy sự thay đổi tích cực trên thế giới.
.webp)
