Biên dịch và lượng tử hóa Ultralytics YOLOv5 Để có hiệu suất tốt hơn với Deci

Tại Ultralytics chúng tôi hợp tác thương mại với các công ty khởi nghiệp khác để giúp chúng tôi tài trợ cho việc nghiên cứu và phát triển các công cụ nguồn mở tuyệt vời của chúng tôi, như YOLOv5 , để giữ chúng miễn phí cho tất cả mọi người. Bài viết này có thể chứa các liên kết liên kết đến các đối tác đó.

Nền tảng Deci bao gồm các công cụ miễn phí giúp bạn dễ dàng quản lý, tối ưu hóa và triển khai các mô hình YOLOv5 của mình trong bất kỳ môi trường sản xuất nào. Deci hỗ trợ tất cả các nền tảng DL phổ biến, chẳng hạn như TensorFlow , PyTorch , Keras, và ONNX . Tất cả những gì bạn cần là nền tảng dựa trên web của chúng tôi hoặc Python khách hàng để chạy nó từ mã của bạn.

Tại sao lại là Deci?

Bạn có thể sử dụng Deci không chỉ để xuất mà còn để tỉa bớt và lượng tử hóa mô hình!

Deci cung cấp một giao diện thân thiện để xuất mô hình ở mọi định dạng và so sánh hiệu suất giữa mô hình gốc và mô hình đã chuyển đổi. Người dùng có thể lựa chọn tối ưu hóa thêm mô hình của họ bằng phương pháp lượng tử hóa.

Với Deci, bạn có thể:

Cải thiện hiệu suất suy luận lên đến 10 lần

‍Tự động biên dịch và lượng tử hóa các mô hình của bạn, đồng thời đánh giá các cài đặt sản xuất khác nhau để đạt được độ trễ, thông lượng tốt hơn và giảm kích thước mô hình cũng như footprint bộ nhớ trên phần cứng của bạn.

‍Tìm Phần Cứng Suy Luận Tốt Nhất Cho Ứng Dụng Của Bạn

‍Đánh giá hiệu suất mô hình của bạn trên nhiều thiết bị phần cứng (bao gồm cả edge) chỉ bằng một nút bấm. Loại bỏ nhu cầu thiết lập và kiểm tra thủ công nhiều phần cứng và cài đặt sản xuất.

‍Triển Khai Với Một Vài Dòng Mã

Tận dụng Deci's python - công cụ suy luận dựa trên. Tương thích với nhiều khung và loại phần cứng.

Để biết thêm thông tin về Nền tảng Deci, vui lòng truy cập trang web của Deci.

Thiết lập Lần đầu

Bước 1

Mở tài khoản miễn phí của bạn.

Bước 2

Để bắt đầu tối ưu hóa các bài tập được đào tạo trước của bạn YOLOv5 mô hình, bạn sẽ cần phải chuyển đổi nó thành ONNX định dạng. Xem Hướng dẫn xuất YOLOv5 để biết hướng dẫn về cách chuyển đổi mô hình của bạn sang ONNX định dạng.

Bước 3

Vào tab "Lab" và nhấp vào nút "New Model" ở góc trên bên phải màn hình để tải YOLOv5 của bạn lên ONNX người mẫu.

Thực hiện theo các bước của trình hướng dẫn tải lên mô hình để chọn phần cứng mục tiêu của bạn cũng như kích thước lô và mức lượng tử hóa mong muốn cho quá trình biên dịch mô hình.

Sau khi điền thông tin liên quan, hãy nhấp vào "Bắt đầu". Nền tảng Deci sẽ tự động thực hiện tối ưu hóa thời gian chạy cho ứng dụng của bạn. YOLOv5 Mô hình cho phần cứng bạn đã chọn cũng như so sánh mô hình của bạn với nhiều loại phần cứng khác nhau. Quá trình này mất khoảng 10 phút.

Sau khi hoàn tất, một hàng mới sẽ xuất hiện trên màn hình bên dưới mô hình cơ sở mà bạn đã tải lên trước đó. Tại đây, bạn có thể thấy phiên bản đã được tối ưu hóa của mô hình đã được đào tạo trước. YOLOv5 người mẫu.

Tiếp theo là gì?

Sau đó, bạn có thể tải xuống mô hình đã được tối ưu hóa của mình bằng cách nhấp vào nút "Deploy" (Triển khai).

Sau đó, bạn sẽ được nhắc tải xuống mô hình của mình và nhận hướng dẫn về cách cài đặt và sử dụng Infery - công cụ suy luận thời gian chạy của Deci.

Việc sử dụng Infery là tùy chọn. Bạn có thể nhận được python các tệp thô và sử dụng chúng với bất kỳ công cụ suy luận nào khác mà bạn chọn.

Khám phá các kết quả tối ưu hóa và điểm chuẩn trên tab "Insights".

Sẵn sàng để bắt đầu?

Trước khi kết thúc, hãy thảo luận về một số ưu điểm mà Deci mang lại:

• Tối ưu hóa thông lượng và độ trễ suy luận của mô hình mà không ảnh hưởng đến độ chính xác
• Cho phép bạn tối ưu hóa các mô hình từ tất cả các framework phổ biến.
• Hỗ trợ các mô hình nhắm mục tiêu vào bất kỳ tác vụ học sâu nào
• Hỗ trợ triển khai trên các nền tảng phổ biến CPU Và GPU máy móc
• Đánh giá điểm chuẩn về độ phù hợp của mô hình của bạn trên các máy chủ phần cứng và nhà cung cấp đám mây khác nhau
• Chuẩn bị các mô hình đã tải lên để phục vụ, suy luận và triển khai

Như bạn vừa thấy, bạn có thể tăng gấp đôi hiệu suất của một YOLOv5 Mô hình trong tổng thời gian 15 phút. Nền tảng Deci cực kỳ dễ sử dụng và trực quan.

Bạn có câu hỏi nào không? Hãy tham gia cộng đồng của chúng tôi và để lại câu hỏi của bạn ngay hôm nay!

‍