24 tháng 5, 2024
Tối ưu hóa của bạn Ultralytics YOLOv8 mô hình suy luận sử dụng OpenVINO . Làm theo hướng dẫn của chúng tôi để chuyển đổi PyTorch các mô hình để ONNX và tối ưu hóa chúng cho các ứng dụng thời gian thực.
Trong bài đăng trên blog này, chúng ta sẽ xem xét cách bạn có thể xuất và tối ưu hóa mô hình Ultralytics YOLOv8 đã được đào tạo trước hoặc được đào tạo tùy chỉnh của mình để suy luận bằng OpenVINO . Nếu bạn đang sử dụng Intel -hệ thống dựa trên, cho dù đó là CPU hoặc GPU Hướng dẫn này sẽ chỉ cho bạn cách tăng tốc đáng kể mô hình của mình chỉ với nỗ lực tối thiểu.
Tối ưu hóa của bạn YOLOv8 mô hình với OpenVINO có thể cung cấp tốc độ tăng lên đến 3 lần cho các tác vụ suy luận, đặc biệt nếu bạn đang chạy Intel CPU Sự tăng cường hiệu suất này có thể tạo ra sự khác biệt lớn trong các ứng dụng thời gian thực, từ phát hiện đối tượng đến phân đoạn và hệ thống bảo mật.
Trước hết, hãy cùng phân tích quy trình. Chúng ta sẽ chuyển đổi một PyTorch mô hình để ONNX và sau đó tối ưu hóa nó bằng cách sử dụng OpenVINO . Quá trình này bao gồm một vài bước đơn giản và có thể được áp dụng cho nhiều mô hình và định dạng khác nhau bao gồm TensorFlow , PyTorch , Caffe, và ONNX .
Nhảy vào Ultralytics tài liệu , chúng tôi thấy rằng xuất khẩu một YOLOv8 mô hình liên quan đến việc sử dụng phương pháp xuất khẩu từ Ultralytics khuôn khổ. Phương pháp này cho phép chúng ta chuyển đổi mô hình của mình từ PyTorch đến ONNX và cuối cùng, tối ưu hóa nó cho OpenVINO . Kết quả là một mô hình chạy nhanh hơn đáng kể, tận dụng Intel phần cứng mạnh mẽ.
Trước khi chạy tập lệnh xuất, bạn cần đảm bảo rằng tất cả các phụ thuộc cần thiết đã được cài đặt. Bao gồm: Ultralytics thư viện, ONNX , Và OpenVINO . Cài đặt các gói này là một quá trình đơn giản có thể được thực hiện thông qua pip, Python trình cài đặt gói.
Sau khi môi trường của bạn được thiết lập, bạn có thể chạy tập lệnh xuất. Tập lệnh này sẽ chuyển đổi PyTorch mô hình để ONNX và sau đó đến OpenVINO . Quá trình này rất đơn giản và bao gồm việc gọi một hàm duy nhất để xử lý việc xuất. Ultralytics Framework giúp bạn dễ dàng chuyển đổi và tối ưu hóa mô hình, đảm bảo bạn có được hiệu suất tốt nhất với ít rắc rối nhất.
Sau khi xuất, điều cần thiết là so sánh hiệu suất của mô hình gốc và mô hình đã được tối ưu hóa. Bằng cách đánh giá thời gian suy luận của cả hai mô hình, bạn có thể thấy rõ sự cải thiện hiệu suất. Thông thường, OpenVINO mô hình sẽ cho thấy sự giảm đáng kể thời gian suy luận so với mô hình ban đầu PyTorch mô hình. Điều này đặc biệt đúng đối với các mô hình lớn hơn khi hiệu suất tăng đáng chú ý nhất.
Tối ưu hóa YOLOv8 các mô hình với OpenVINO đặc biệt hữu ích cho các ứng dụng yêu cầu xử lý thời gian thực. Dưới đây là một vài ví dụ:
Bằng cách triển khai các tối ưu hóa này, bạn không chỉ cải thiện hiệu suất mà còn nâng cao độ tin cậy và hiệu quả của các ứng dụng của mình. Điều này có thể dẫn đến trải nghiệm người dùng tốt hơn, tăng năng suất và các giải pháp sáng tạo hơn.
Xuất khẩu và tối ưu hóa một YOLOv8 mô hình cho OpenVINO là một cách mạnh mẽ để tận dụng Intel phần cứng cho các ứng dụng AI nhanh hơn và hiệu quả hơn. Chỉ với vài bước đơn giản, bạn có thể cải thiện hiệu suất mô hình và áp dụng nó vào các tình huống thực tế một cách hiệu quả.
Hãy chắc chắn để kiểm tra thêm hướng dẫn và hướng dẫn từ Ultralytics để tiếp tục cải thiện các dự án AI của bạn. Truy cập kho lưu trữ GitHub của chúng tôi và tham gia Ultralytics cộng đồng để biết thêm thông tin chi tiết và cập nhật. Hãy cùng nhau đổi mới!
Hãy nhớ rằng, tối ưu hóa mô hình của bạn không chỉ là về tốc độ—mà còn là về việc mở ra những khả năng mới và đảm bảo các giải pháp AI của bạn mạnh mẽ, hiệu quả và sẵn sàng cho tương lai.
