27 tháng 3, 2024
Khám phá việc triển khai lượng tử hóa YOLOv8 Mô hình với DeGirum. Tìm hiểu những thách thức, giải pháp và kỹ thuật triển khai cho các thiết bị biên. Định hình tương lai cùng chúng tôi!
Chào mừng bạn đến với phần tóm tắt một bài nói chuyện sâu sắc khác từ sự kiện YOLO VISION 2023 (YV23) của chúng tôi, được tổ chức tại Google cho Startups Campus tại Madrid. Bài thuyết trình này được trình bày bởi Shashi Chilappagar , Kiến trúc sư trưởng và Đồng sáng lập tại DeGirum . Bài thuyết trình đi sâu vào thế giới hấp dẫn của lượng tử hóa và triển khai các mô hình lượng tử hóa, khám phá những thách thức chính, giải pháp và khả năng trong tương lai.
Shashi đã cung cấp một cái nhìn tổng quan toàn diện về lượng tử hóa, nhấn mạnh tầm quan trọng của nó trong việc tối ưu hóa Ultralytics YOLO Các mô hình triển khai trên thiết bị biên. Từ việc thảo luận về những điều cơ bản đến khám phá các phương pháp cải thiện lượng tử hóa, người tham dự đã có được những hiểu biết sâu sắc về sự phức tạp của việc chuyển đổi và triển khai mô hình.
Lượng tử hóa thường đặt ra những thách thức, đặc biệt là với YOLO các mô hình trong TFLite . Khán giả của chúng tôi đã tìm hiểu về sự sụt giảm đáng kể về độ chính xác được quan sát thấy khi tất cả các đầu ra được lượng tử hóa với cùng một tỷ lệ/điểm không, làm sáng tỏ sự phức tạp của việc duy trì độ chính xác của mô hình trong quá trình lượng tử hóa.
May mắn thay, các giải pháp tồn tại để giải quyết những thách thức này. Việc giới thiệu nhánh DigiRAM cung cấp một phương pháp thân thiện với lượng tử hóa bằng cách tách các đầu ra và tối ưu hóa việc giải mã hộp giới hạn. Với những cải tiến này, độ chính xác của mô hình lượng tử hóa được cải thiện đáng kể so với mức cơ bản.
Việc khám phá các kiến trúc mô hình mới là chìa khóa để giảm thiểu tổn thất lượng tử hóa. Những người tham dự đã khám phá ra cách thay thế CILU bằng kích hoạt Relu6 bị giới hạn dẫn đến tổn thất lượng tử hóa tối thiểu, mang lại kết quả đầy hứa hẹn để duy trì độ chính xác trong các mô hình lượng tử hóa.
Việc triển khai các mô hình lượng tử hóa chưa bao giờ dễ dàng hơn thế, chỉ cần năm dòng mã để chạy bất kỳ mô hình nào trên nền tảng đám mây Digitim. Bản demo mã nguồn trực tiếp đã cho thấy tính đơn giản của việc phát hiện đối tượng bằng mô hình YOLOv5 lượng tử hóa Ultralytics , làm nổi bật khả năng tích hợp liền mạch của các mô hình lượng tử hóa vào các ứng dụng thực tế.
Để đạt được hiệu quả này, Ultralytics cung cấp nhiều tùy chọn triển khai mô hình, cho phép người dùng cuối triển khai ứng dụng hiệu quả trên các thiết bị nhúng và thiết bị biên. Các định dạng xuất khác nhau bao gồm OpenVINO , TorchScript , TensorRT , CoreML , TFlite và TFlite EDGE TPU , mang lại tính linh hoạt và khả năng tương thích cao.
Việc tích hợp này với các ứng dụng của bên thứ ba để triển khai cho phép người dùng đánh giá hiệu suất của các mô hình của chúng tôi trong các tình huống thực tế.
Những người tham dự cũng có được những hiểu biết sâu sắc về tính linh hoạt của việc triển khai các mô hình khác nhau trên nhiều nền tảng phần cứng khác nhau, cho thấy cách một codebase duy nhất có thể hỗ trợ nhiều mô hình trên các bộ tăng tốc khác nhau. Các ví dụ về việc chạy các tác vụ phát hiện khác nhau trên các nền tảng phần cứng đa dạng đã chứng minh tính linh hoạt và khả năng mở rộng của phương pháp tiếp cận của chúng tôi.
Để trao quyền hơn nữa cho những người tham dự, chúng tôi đã giới thiệu một phần tài nguyên toàn diện, cung cấp quyền truy cập vào nền tảng đám mây, các ví dụ, tài liệu, v.v. Mục tiêu của chúng tôi là đảm bảo rằng mọi người đều có các công cụ và hỗ trợ cần thiết để thành công trong việc triển khai các mô hình lượng tử hóa một cách hiệu quả.
Khi lĩnh vực lượng tử hóa phát triển, điều cần thiết là phải luôn cập nhật thông tin và tham gia. Chúng tôi cam kết cung cấp hỗ trợ và tài nguyên liên tục để giúp bạn điều hướng hành trình thú vị này. Xem toàn bộ bài nói chuyện tại đây!
Hãy cùng chúng tôi tiếp tục khám phá những xu hướng và đổi mới mới nhất trong lĩnh vực máy học và trí tuệ nhân tạo. Cùng nhau, chúng ta đang định hình tương lai của công nghệ và thúc đẩy những thay đổi tích cực trên thế giới.
