Xuất và tối ưu hóa Ultralytics YOLOv8 để suy luận trên Intel OpenVINO

Trong bài đăng blog này, chúng ta sẽ tìm hiểu cách xuất và tối ưu model Ultralytics YOLOv8 đã được huấn luyện trước hoặc huấn luyện tùy chỉnh để suy luận bằng OpenVINO. Nếu sử dụng hệ thống chạy trên Intel, dù là CPU hay GPU, hướng dẫn này sẽ chỉ cho bạn cách tăng tốc model đáng kể mà không cần nhiều công sức.

Tại sao nên tối ưu Ultralytics YOLOv8 bằng OpenVINO?#

Tối ưu model Ultralytics YOLOv8 bằng OpenVINO có thể giúp tăng tốc độ suy luận lên đến 3 lần, đặc biệt nếu bạn đang chạy trên CPU Intel. Mức tăng hiệu năng này có thể tạo ra khác biệt lớn trong các ứng dụng thời gian thực, từ phát hiện đối tượng đến phân đoạn và hệ thống an ninh.

Các bước xuất và tối ưu model Ultralytics YOLOv8#

Tìm hiểu quy trình#

Trước tiên, hãy cùng tìm hiểu quy trình. Chúng ta sẽ chuyển đổi model PyTorch sang định dạng OpenVINO rồi tối ưu hóa model. Tại thời điểm video được thực hiện, quá trình chuyển đổi này sử dụng ONNX làm bước trung gian; các phiên bản Ultralytics hiện tại chuyển đổi trực tiếp từ PyTorch. Quy trình gồm một vài bước đơn giản và có thể áp dụng cho nhiều model cũng như định dạng, bao gồm TensorFlow, PyTorch và ONNX.

Xuất model#

Khi tìm hiểu tài liệu Ultralytics, chúng ta thấy rằng việc xuất model YOLOv8 cần dùng phương thức export từ framework Ultralytics. Phương thức này chuyển đổi model từ PyTorch và tối ưu hóa model cho OpenVINO. Kết quả là model chạy nhanh hơn đáng kể trên phần cứng Intel.

Cài đặt dependencies#

Trước khi chạy script export, bạn cần đảm bảo đã cài đặt tất cả dependency cần thiết. Các dependency này gồm thư viện Ultralytics và OpenVINO. Có thể cài đặt các package này đơn giản bằng pip, trình cài đặt package Python.

Chạy script xuất model#

Sau khi thiết lập môi trường, bạn có thể chạy script export. Script này sẽ chuyển đổi model PyTorch sang OpenVINO. Quy trình rất đơn giản, chỉ cần gọi một hàm để xử lý việc export. Framework Ultralytics giúp bạn dễ dàng chuyển đổi và tối ưu hóa các model, đảm bảo đạt hiệu năng tốt nhất mà không cần nhiều thao tác phức tạp.

Hình 1. Nicolai Nielsen trình bày cách chạy script xuất model.

So sánh hiệu năng#

Sau khi xuất model, việc so sánh hiệu năng của model gốc và model đã tối ưu là rất cần thiết. Bằng cách benchmark thời gian suy luận của cả hai model, bạn có thể thấy rõ mức tăng hiệu năng. Thông thường, model OpenVINO sẽ có thời gian suy luận giảm đáng kể so với model PyTorch gốc. Điều này đặc biệt đúng với các model lớn, nơi mức cải thiện hiệu năng thể hiện rõ nhất.

Ứng dụng thực tế và lợi ích#

Tối ưu model Ultralytics YOLOv8 bằng OpenVINO đặc biệt hữu ích cho các ứng dụng cần xử lý theo thời gian thực. Dưới đây là một vài ví dụ:

• Hệ thống an ninh: Phát hiện đối tượng theo thời gian thực có thể cảnh báo nhân viên an ninh ngay lập tức, tăng cường an toàn và khả năng phản ứng.
• Phương tiện tự hành: Tốc độ inference nhanh hơn giúp các hệ thống lái xe tự hành phản hồi tốt hơn, nhờ đó an toàn và đáng tin cậy hơn.
• Y tế: Xử lý ảnh nhanh cho các công cụ chẩn đoán có thể cứu sống người bệnh nhờ trả kết quả sớm hơn, cho phép can thiệp kịp thời.

Việc áp dụng các phương pháp tối ưu này không chỉ cải thiện hiệu năng mà còn tăng độ tin cậy và hiệu quả của ứng dụng. Điều này có thể mang đến trải nghiệm người dùng tốt hơn, năng suất cao hơn và các giải pháp đổi mới hơn.

Tổng kết#

Export và tối ưu hóa model Ultralytics YOLOv8 cho OpenVINO là một cách hiệu quả để tận dụng phần cứng Intel cho các ứng dụng AI nhanh và hiệu quả hơn. Chỉ với vài bước đơn giản, bạn có thể cải thiện đáng kể hiệu năng model và áp dụng model hiệu quả vào các tình huống thực tế.

Hãy xem thêm các hướng dẫn và bài học từ Ultralytics, chẳng hạn như bài học OpenVINO trên CPU trong Ultralytics Academy, để tiếp tục nâng cao các dự án AI của bạn. Truy cập repository GitHub và tham gia cộng đồng Ultralytics để tìm hiểu thêm và cập nhật thông tin.

Hãy nhớ rằng tối ưu model không chỉ nhằm tăng tốc độ—mà còn giúp khai phá những khả năng mới và đảm bảo các giải pháp AI của bạn mạnh mẽ, hiệu quả, sẵn sàng cho tương lai.