Biên dịch & lượng tử hóa Ultralytics YOLOv5 để có hiệu suất tốt hơn với Deci

Đội ngũ Ultralytics

4 phút đọc

Ngày 26 tháng 10 năm 2022

Tối ưu hóa và triển khai các mô hình Ultralytics YOLOv5 với nền tảng Deci, tăng hiệu suất lên tới 10 lần. Bắt đầu miễn phí và tận dụng tối ưu hóa mô hình tự động.

Tại Ultralytics, chúng tôi hợp tác thương mại với các công ty khởi nghiệp khác để giúp chúng tôi tài trợ cho hoạt động nghiên cứu và phát triển các công cụ nguồn mở tuyệt vời của mình, như YOLOv5, để giữ chúng miễn phí cho mọi người. Bài viết này có thể chứa các liên kết liên kết đến các đối tác đó.

Nền tảng Deci bao gồm các công cụ miễn phí để dễ dàng quản lý, tối ưu hóa và triển khai các mô hình YOLOv5 của bạn trong bất kỳ môi trường sản xuất nào. Deci hỗ trợ tất cả các khuôn khổ DL phổ biến, chẳng hạn như TensorFlow, PyTorch, Keras và ONNX. Tất cả những gì bạn cần là nền tảng dựa trên web hoặc ứng dụng khách Python của chúng tôi để chạy nó từ mã của bạn.

Tại sao lại là Deci?

Bạn có thể sử dụng Deci không chỉ để xuất mà còn để cắt tỉa và lượng tử hóa mô hình!

Deci cung cấp một giao diện đẹp để xuất ở bất kỳ định dạng nào và so sánh hiệu suất giữa các mô hình gốc và mô hình đã chuyển đổi. Người dùng chọn tối ưu hóa thêm các mô hình của họ bằng cách lượng tử hóa.

Với Deci bạn có thể:

Cải thiện hiệu suất suy luận lên đến 10 lần

Tự động biên dịch và lượng tử hóa các mô hình của bạn và đánh giá các cài đặt sản xuất khác nhau để đạt được độ trễ tốt hơn, xuyên suốt và giảm kích thước mô hình cũng như dung lượng bộ nhớ trên phần cứng của bạn.

Tìm phần cứng suy luận tốt nhất cho ứng dụng của bạn

So sánh hiệu suất mô hình của bạn trên nhiều thiết bị phần cứng (bao gồm cả thiết bị edge) chỉ bằng một nút bấm. Loại bỏ nhu cầu thiết lập và kiểm tra thủ công nhiều thiết lập phần cứng và sản xuất.

Triển khai với một vài dòng mã

Tận dụng công cụ suy luận dựa trên Python của Deci. Tương thích với nhiều khung và loại phần cứng.

Để biết thêm thông tin về Nền tảng Deci, vui lòng truy cập trang web của Deci.

Thiết lập lần đầu

Bước 1

Mở tài khoản miễn phí của bạn.

Bắt đầu với Deci và Ultralytics YOLOv5

Bước 2

Để bắt đầu tối ưu hóa mô hình YOLOv5 đã được đào tạo trước của bạn, bạn sẽ cần chuyển đổi nó sang định dạng ONNX. Xem Hướng dẫn xuất YOLOv5 để biết hướng dẫn về cách chuyển đổi mô hình của bạn sang định dạng ONNX.

Bước 3

Vào tab "Lab" và nhấp vào nút "New Model" ở góc trên bên phải màn hình để tải lên mô hình YOLOv5 ONNX của bạn.

Chuyển đổi các mô hình Ultralytics YOLOv5 sang ONNX để triển khai trong tương lai với Deci

Thực hiện theo các bước của trình hướng dẫn tải mô hình để chọn phần cứng mục tiêu cũng như kích thước lô và mức lượng tử hóa mong muốn cho quá trình biên dịch mô hình.

Biên dịch mô hình YOLOv5 của Ultralytics để triển khai với Deci

Sau khi điền thông tin có liên quan, hãy nhấp vào "Bắt đầu". Nền tảng Deci sẽ tự động thực hiện tối ưu hóa thời gian chạy của mô hình YOLOv5 của bạn cho phần cứng bạn đã chọn cũng như đánh giá chuẩn mô hình của bạn trên nhiều loại phần cứng khác nhau. Quá trình này mất khoảng 10 phút.

Sau khi hoàn tất, một hàng mới sẽ xuất hiện trên màn hình của bạn bên dưới mô hình cơ sở mà bạn đã tải lên trước đó. Tại đây, bạn có thể thấy phiên bản được tối ưu hóa của mô hình YOLOv5 đã được đào tạo trước của mình.

Mô hình tối ưu hóa YOLOv5 của Ultralytics để triển khai với Deci

Tiếp theo là gì?

Sau đó, bạn có thể tải xuống mô hình đã tối ưu hóa của mình bằng cách nhấp vào nút "Triển khai".

Mô hình YOLOv5 của Ultralytics đã sẵn sàng triển khai với Deci

Sau đó, bạn sẽ được nhắc tải xuống mô hình của mình và nhận hướng dẫn về cách cài đặt và sử dụng Infery - công cụ suy luận thời gian chạy của Deci.

Việc sử dụng Infery là tùy chọn. Bạn có thể lấy các tệp thô python và sử dụng chúng với bất kỳ công cụ suy luận nào khác mà bạn chọn.

Sử dụng Deci Infery để triển khai Ultralytics YOLOv5

Khám phá kết quả tối ưu hóa và đánh giá chuẩn trên tab "Thông tin chi tiết".

Tối ưu hóa với Deci của mô hình Ultralytics YOLOv5

Sẵn sàng để bắt đầu chưa?

Trước khi kết thúc, chúng ta hãy thảo luận về một số lợi thế mà Deci mang lại:

  • Tối ưu hóa thông lượng suy luận và độ trễ của mô hình mà không ảnh hưởng đến độ chính xác
  • Cho phép bạn tối ưu hóa các mô hình từ tất cả các khuôn khổ phổ biến
  • Hỗ trợ các mô hình nhắm mục tiêu vào bất kỳ tác vụ học sâu nào
  • Hỗ trợ triển khai trên các máy CPU và GPU phổ biến
  • Đánh giá mức độ phù hợp của mô hình của bạn trên các máy chủ phần cứng và nhà cung cấp đám mây khác nhau
  • Chuẩn bị các mô hình đã tải lên để phục vụ, suy luận và triển khai

Như bạn vừa thấy, bạn có thể tăng gấp đôi hiệu suất của mô hình YOLOv5 trong tổng thời gian 15 phút. Nền tảng Deci cực kỳ dễ sử dụng và trực quan.

Bạn có thắc mắc gì không? Hãy tham gia cộng đồng của chúng tôi và để lại câu hỏi của bạn ngay hôm nay!

Hãy cùng xây dựng tương lai
của AI cùng nhau!

Bắt đầu hành trình của bạn với tương lai của máy học

Bắt đầu miễn phí
Liên kết đã được sao chép vào clipboard