Biên dịch & Lượng tử hóa Ultralytics YOLOv5 để đạt hiệu suất tốt hơn với Deci

Tại Ultralytics, chúng tôi hợp tác thương mại với các startup khác để giúp tài trợ cho việc nghiên cứu và phát triển các công cụ mã nguồn mở tuyệt vời của mình, như YOLOv5, nhằm giữ cho chúng miễn phí cho mọi người. Bài viết này có thể chứa các liên kết tiếp thị liên kết đến những đối tác đó.

Nền tảng Deci bao gồm các công cụ miễn phí giúp quản lý, tối ưu hóa và triển khai các model YOLOv5 của bạn trong mọi môi trường production một cách dễ dàng. Deci hỗ trợ tất cả các framework DL phổ biến, chẳng hạn như TensorFlow, PyTorch, Keras và ONNX. Tất cả những gì bạn cần là nền tảng dựa trên web của chúng tôi hoặc client Python để chạy từ code của bạn.

Link to this sectionTại sao lại chọn Deci?#

Bạn không chỉ có thể sử dụng Deci để export mà còn để pruning (cắt tỉa) và lượng tử hóa model!

Deci cung cấp giao diện trực quan để export sang bất kỳ định dạng nào và so sánh hiệu suất giữa model gốc và model đã chuyển đổi. Người dùng có thể chọn tối ưu hóa thêm các model của họ thông qua lượng tử hóa.

Link to this sectionVới Deci, bạn có thể:#

Link to this sectionCải thiện hiệu suất Inference lên tới 10 lần#

Tự động biên dịch và lượng tử hóa các model của bạn, đồng thời đánh giá các thiết lập production khác nhau để đạt được độ trễ (latency), thông lượng (throughput) tốt hơn, cũng như giảm kích thước model và bộ nhớ tiêu thụ trên phần cứng của bạn.

Link to this sectionTìm kiếm phần cứng Inference tốt nhất cho ứng dụng của bạn#

Benchmark hiệu suất model của bạn trên nhiều loại phần cứng (bao gồm cả thiết bị edge) chỉ với một nút bấm. Loại bỏ nhu cầu thiết lập và kiểm thử thủ công trên nhiều phần cứng và thiết lập production khác nhau.

Link to this sectionTriển khai với chỉ vài dòng code#

Tận dụng engine inference dựa trên Python của Deci. Tương thích với nhiều framework và loại phần cứng khác nhau.

Để biết thêm thông tin về Nền tảng Deci, vui lòng truy cập website của Deci.

Link to this sectionThiết lập lần đầu#

Link to this sectionBước 1#

Mở tài khoản miễn phí của bạn.

Link to this sectionBước 2#

Để bắt đầu tối ưu hóa model YOLOv5 đã được huấn luyện sẵn của bạn, bạn cần chuyển đổi nó sang định dạng ONNX. Xem Hướng dẫn Export YOLOv5 để biết cách chuyển đổi model của bạn sang định dạng ONNX.

Link to this sectionBước 3#

Đi tới tab "Lab" và nhấp vào nút "New Model" ở phía trên bên phải màn hình để upload model YOLOv5 ONNX của bạn.

Làm theo các bước của trình hướng dẫn upload model để chọn phần cứng mục tiêu, cũng như batch size mong muốn và mức độ lượng tử hóa cho quá trình biên dịch model.

Sau khi điền thông tin liên quan, hãy nhấp vào "Start". Nền tảng Deci sẽ tự động thực hiện tối ưu hóa runtime cho model YOLOv5 của bạn dựa trên phần cứng bạn đã chọn, cũng như thực hiện benchmark model của bạn trên nhiều loại phần cứng khác nhau. Quá trình này mất khoảng 10 phút.

Sau khi hoàn tất, một hàng mới sẽ xuất hiện trên màn hình của bạn bên dưới model baseline mà bạn đã upload trước đó. Tại đây, bạn có thể thấy phiên bản đã được tối ưu hóa của model YOLOv5 đã được huấn luyện sẵn của mình.

Link to this sectionTiếp theo là gì?#

Sau đó, bạn có thể tải xuống model đã được tối ưu hóa bằng cách nhấp vào nút "Deploy".

Bạn sẽ được nhắc tải xuống model và nhận hướng dẫn về cách cài đặt cũng như sử dụng Infery - engine runtime inference của Deci.

Việc sử dụng Infery là tùy chọn. Bạn có thể lấy các file Python gốc và sử dụng chúng với bất kỳ engine inference nào khác mà bạn chọn.

Khám phá kết quả tối ưu hóa và benchmark trên tab "Insights".

Link to this sectionSẵn sàng để bắt đầu chưa?#

Trước khi kết thúc, hãy thảo luận về một số lợi thế mà Deci mang lại:

• Tối ưu hóa thông lượng và độ trễ inference của model mà không làm giảm độ chính xác
• Cho phép bạn tối ưu hóa các model từ tất cả các framework phổ biến
• Hỗ trợ các model nhắm tới bất kỳ tác vụ deep learning nào
• Hỗ trợ triển khai trên các máy CPU và GPU phổ biến
• Benchmark sự phù hợp của model trên các host phần cứng và nhà cung cấp dịch vụ cloud khác nhau
• Chuẩn bị sẵn sàng các model đã upload cho việc phục vụ, inference và triển khai

Như bạn vừa thấy, bạn có thể tăng gấp đôi hiệu suất của một model YOLOv5 trong tổng thời gian 15 phút. Nền tảng Deci cực kỳ dễ sử dụng và trực quan.

Bạn có câu hỏi nào không? Hãy tham gia cộng đồng của chúng tôi và đặt câu hỏi ngay hôm nay!