Biên dịch & Lượng tử hóa Ultralytics YOLOv5 để có hiệu năng tốt hơn với Deci
Tối ưu hóa và triển khai các model Ultralytics YOLOv5 với nền tảng của Deci, cải thiện hiệu năng lên đến 10 lần. Bắt đầu miễn phí và tận dụng tính năng tự động tối ưu hóa model.

Tại Ultralytics, chúng tôi hợp tác thương mại với các startup khác để giúp tài trợ cho hoạt động nghiên cứu và phát triển các công cụ mã nguồn mở tuyệt vời như YOLOv5, nhằm duy trì việc cung cấp miễn phí cho mọi người. Bài viết này có thể chứa các liên kết liên kết đến những đối tác đó.
Nền tảng Deci cung cấp các công cụ miễn phí để dễ dàng quản lý, tối ưu hóa và triển khai các model YOLOv5 của bạn trong mọi môi trường production. Deci hỗ trợ tất cả các framework DL phổ biến, chẳng hạn như TensorFlow, PyTorch, Keras và ONNX. Bạn chỉ cần sử dụng nền tảng trên web hoặc client Python của chúng tôi để chạy công cụ này từ code của mình.
Tại sao chọn Deci?#
Bạn có thể sử dụng Deci không chỉ để export mà còn để pruning và lượng tử hóa model!
Deci cung cấp một giao diện thuận tiện để export sang mọi định dạng và so sánh hiệu năng giữa model gốc và model đã chuyển đổi. Người dùng có thể tiếp tục tối ưu hóa model bằng cách lượng tử hóa.
Với Deci, bạn có thể:#
Cải thiện hiệu năng inference lên đến 10 lần#
Tự động compile và lượng tử hóa các model của bạn, đồng thời đánh giá nhiều cấu hình production khác nhau để đạt được latency và throughput tốt hơn, cũng như giảm kích thước model và memory footprint trên phần cứng của bạn.
Tìm phần cứng inference tốt nhất cho ứng dụng của bạn#
Benchmark hiệu năng model của bạn trên nhiều thiết bị phần cứng khác nhau, bao gồm cả thiết bị edge, chỉ với một nút bấm. Loại bỏ nhu cầu thiết lập và kiểm thử thủ công nhiều cấu hình phần cứng và production.
Triển khai chỉ với vài dòng code#
Tận dụng inference engine dựa trên Python của Deci. Tương thích với nhiều framework và loại phần cứng.
Để biết thêm thông tin về Nền tảng Deci, vui lòng truy cập website của Deci.
Thiết lập lần đầu#
Bước 1#
Mở tài khoản miễn phí của bạn.

Bước 2#
Để bắt đầu tối ưu hóa model YOLOv5 đã được pre-train, bạn cần chuyển đổi model này sang định dạng ONNX. Xem Hướng dẫn Export YOLOv5 để biết cách chuyển đổi model sang định dạng ONNX.
Bước 3#
Chuyển đến tab "Lab" và nhấp vào nút "New Model" ở góc trên bên phải màn hình để upload model ONNX YOLOv5 của bạn.

Làm theo các bước trong trình hướng dẫn upload model để chọn phần cứng mục tiêu, cũng như batch size và mức độ lượng tử hóa mong muốn cho quá trình biên dịch model.

Sau khi điền các thông tin liên quan, hãy nhấp vào "Start". Nền tảng Deci sẽ tự động tối ưu hóa runtime cho model Ultralytics YOLOv5 của bạn trên phần cứng đã chọn, đồng thời benchmark model trên nhiều loại phần cứng khác nhau. Quá trình này mất khoảng 10 phút.
Sau khi hoàn tất, một hàng mới sẽ xuất hiện trên màn hình, bên dưới model baseline mà bạn đã upload trước đó. Tại đây, bạn có thể xem phiên bản đã được tối ưu hóa của model Ultralytics YOLOv5 đã pre-train.

Tiếp theo là gì?#
Sau đó, bạn có thể tải model đã tối ưu hóa bằng cách nhấp vào nút "Deploy".

Sau đó, bạn sẽ được yêu cầu tải model xuống và nhận hướng dẫn cài đặt, sử dụng Infery - inference engine runtime của Deci.
Việc sử dụng Infery là tùy chọn. Bạn có thể lấy các file Python thô và sử dụng chúng với bất kỳ inference engine nào khác mà bạn lựa chọn.

Khám phá kết quả tối ưu hóa và benchmark trong tab "Insights".

Sẵn sàng bắt đầu?#
Trước khi kết thúc, hãy cùng thảo luận về một số ưu điểm mà Deci cung cấp:
- Tối ưu hóa throughput và latency của inference model mà không ảnh hưởng đến độ chính xác
- Cho phép bạn tối ưu hóa model từ tất cả các framework phổ biến
- Hỗ trợ các model hướng đến mọi tác vụ deep learning
- Hỗ trợ triển khai trên các máy CPU và GPU phổ biến
- Benchmark mức độ phù hợp của model trên các host phần cứng và nhà cung cấp cloud khác nhau
- Đưa các model đã upload vào trạng thái sẵn sàng để serving, inference và triển khai
Như bạn vừa thấy, bạn có thể tăng gấp đôi hiệu năng của một model Ultralytics YOLOv5 trong tổng thời gian 15 phút. Nền tảng Deci cực kỳ dễ sử dụng và trực quan.
Bạn có câu hỏi? Hãy tham gia cộng đồng của chúng tôi và gửi câu hỏi ngay hôm nay!









