Triển khai liền mạch Ultralytics YOLO11 bằng OpenVINO™

Việc áp dụng AI phụ thuộc vào khả năng tiếp cận các giải pháp AI, trong đó một phần rất quan trọng là giúp chúng dễ dàng triển khai trên phần cứng mà mọi người đang có. Chạy các model AI trên GPU (bộ xử lý đồ họa) là một lựa chọn tuyệt vời xét về hiệu năng và năng lực xử lý song song.

Tuy nhiên, thực tế là không phải ai cũng có quyền truy cập vào GPU cao cấp, đặc biệt trong các môi trường edge hoặc trên những laptop thông thường. Vì vậy, việc tối ưu hóa model để chạy hiệu quả trên phần cứng phổ biến hơn như CPU (bộ xử lý trung tâm), GPU tích hợp và NPU (bộ xử lý thần kinh) là rất quan trọng.

Thị giác máy tính, chẳng hạn, là một nhánh của AI cho phép máy móc phân tích và hiểu hình ảnh cũng như các luồng video theo thời gian thực. Các model AI thị giác như Ultralytics YOLO11 hỗ trợ những tác vụ quan trọng như phát hiện đối tượng và phân đoạn instance, làm nền tảng cho các ứng dụng từ phân tích bán lẻ đến chẩn đoán y khoa.

Hình 1. Sử dụng Ultralytics YOLO11 để phát hiện và phân đoạn các đối tượng trong một cửa hàng bán lẻ.

Để giúp thị giác máy tính dễ tiếp cận hơn, Ultralytics đã phát hành bản tích hợp được cập nhật với bộ công cụ OpenVINO, một dự án nguồn mở dùng để tối ưu hóa và chạy suy luận AI trên CPU, GPU và NPU.

Với tích hợp này, việc export và triển khai các model YOLO11 trở nên dễ dàng hơn, với tốc độ suy luận trên CPU nhanh hơn tới 3× cùng hiệu năng được tăng tốc trên GPU và NPU của Intel. Trong bài viết này, chúng ta sẽ tìm hiểu cách sử dụng package Ultralytics Python để export các model YOLO11 sang định dạng OpenVINO và sử dụng định dạng này cho suy luận. Hãy bắt đầu!

Tổng quan về Ultralytics YOLO11#

Trước khi đi sâu vào chi tiết về tích hợp OpenVINO được Ultralytics hỗ trợ, hãy cùng xem xét kỹ hơn những yếu tố giúp YOLO11 trở thành một model thị giác máy tính đáng tin cậy và hiệu quả. YOLO11 là model mới nhất trong dòng Ultralytics YOLO, mang đến những cải tiến đáng kể cả về tốc độ lẫn độ chính xác.

Một trong những điểm nổi bật chính của model là hiệu quả. Chẳng hạn, Ultralytics YOLO11m có ít hơn 22% parameter so với Ultralytics YOLOv8m, nhưng đạt mAP (độ chính xác trung bình) cao hơn trên dataset COCO. Điều này có nghĩa là model chạy nhanh hơn đồng thời phát hiện đối tượng chính xác hơn, rất phù hợp cho các ứng dụng thời gian thực, nơi hiệu năng và khả năng phản hồi là yếu tố then chốt.

Hình 2. Các benchmark hiệu năng của Ultralytics YOLO11.

Ngoài phát hiện đối tượng, YOLO11 còn hỗ trợ nhiều tác vụ thị giác máy tính nâng cao như phân đoạn instance, ước tính pose, phân loại hình ảnh, tracking đối tượng và phát hiện bounding box định hướng. YOLO11 cũng thân thiện với developer, với package Ultralytics Python cung cấp interface đơn giản và nhất quán để training, đánh giá và triển khai model.

Ngoài ra, package Ultralytics Python hỗ trợ nhiều tích hợp và nhiều định dạng export, bao gồm OpenVINO, ONNX và TorchScript, giúp bạn dễ dàng tích hợp YOLO11 vào nhiều pipeline triển khai khác nhau. Dù bạn nhắm đến hạ tầng cloud, thiết bị edge hay hệ thống nhúng, quy trình export đều đơn giản và có thể điều chỉnh theo nhu cầu phần cứng.

OpenVINO™ là gì?#

OpenVINO™ (Suy luận trực quan mở và tối ưu hóa mạng neuron) là một bộ công cụ nguồn mở để tối ưu hóa và triển khai suy luận AI trên nhiều loại phần cứng. Công cụ này cho phép developer chạy hiệu quả các ứng dụng suy luận hiệu năng cao trên nhiều nền tảng Intel, bao gồm CPU, GPU tích hợp và rời, NPU và FPGA (mảng cổng lập trình được).

OpenVINO cung cấp một interface runtime thống nhất, trừu tượng hóa khác biệt phần cứng thông qua các plugin dành riêng cho từng thiết bị. Điều này có nghĩa là developer có thể viết code một lần và triển khai trên nhiều đích phần cứng Intel bằng một API nhất quán.

Dưới đây là một số tính năng chính giúp OpenVINO trở thành lựa chọn tuyệt vời cho việc triển khai:

• Model converter: Công cụ này chuyển đổi và chuẩn bị model từ các framework phổ biến như PyTorch, ONNX, TensorFlow, PaddlePaddle và các framework khác, để chúng có thể được tối ưu hóa nhằm suy luận hiệu quả trên phần cứng Intel.
• Thực thi không đồng nhất: Bạn không cần viết lại code cho từng loại phần cứng Intel. OpenVINO giúp dễ dàng chạy cùng một model trên mọi phần cứng được hỗ trợ, từ CPU đến GPU.
• Hỗ trợ lượng tử hóa: Bộ công cụ hỗ trợ các định dạng độ chính xác thấp như FP16 (mặc định) và INT8, giúp giảm kích thước model và tăng tốc suy luận mà không ảnh hưởng đáng kể đến độ chính xác.

Hình 3. OpenVINO hỗ trợ nhiều tùy chọn triển khai.

Khám phá tích hợp Ultralytics x OpenVINO#

Sau khi tìm hiểu OpenVINO là gì và tầm quan trọng của công cụ này, hãy cùng thảo luận cách export các model Ultralytics YOLO11 sang định dạng OpenVINO và chạy suy luận hiệu quả trên phần cứng Intel.

Bước 1: Cài đặt package Python Ultralytics#

Để export model sang định dạng OpenVINO, trước tiên bạn cần cài đặt package Ultralytics Python. Package này cung cấp mọi thứ cần thiết để training, đánh giá và export các model YOLO, bao gồm YOLO11.

Bạn có thể cài đặt bằng cách chạy lệnh "pip install ultralytics" trong terminal hoặc command prompt. Nếu đang làm việc trong môi trường tương tác như Jupyter Notebook hoặc Google Colab, chỉ cần thêm dấu chấm than trước lệnh.

Ngoài ra, nếu gặp bất kỳ sự cố nào trong quá trình cài đặt hoặc export, tài liệu Ultralytics và các hướng dẫn khắc phục sự cố là những tài nguyên hữu ích giúp bạn tiếp tục công việc.

Bước 2: Export model Ultralytics YOLO11 sang định dạng OpenVINO#

Sau khi thiết lập package Ultralytics, bước tiếp theo là load model YOLO11 và chuyển đổi model sang định dạng tương thích với OpenVINO.

Trong ví dụ dưới đây, chúng ta sử dụng một model YOLO11 đã được pretrain (”yolo11n.pt”). Tính năng export được dùng để chuyển model sang định dạng OpenVINO. Sau khi chạy code này, model đã chuyển đổi sẽ được lưu trong một thư mục mới có tên “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Bước 3: Chạy suy luận với model đã export#

Sau khi model YOLO11 được export sang định dạng OpenVINO, bạn có thể chạy suy luận theo hai cách: sử dụng package Ultralytics Python hoặc OpenVINO Runtime native.

Sử dụng package Ultralytics Python#

Model YOLO11 đã export có thể dễ dàng được triển khai bằng package Ultralytics Python, như minh họa trong đoạn code dưới đây. Phương pháp này lý tưởng cho việc thử nghiệm nhanh và triển khai tinh gọn trên phần cứng Intel.

Bạn cũng có thể chỉ định thiết bị dùng cho suy luận, chẳng hạn như "intel:cpu", "intel:gpu" hoặc "intel:npu", tùy thuộc vào phần cứng Intel có trên hệ thống.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Sau khi chạy code trên, hình ảnh đầu ra sẽ được lưu trong thư mục "runs/detect/predict".

Hình 4. Sử dụng model Ultralytics YOLO11 đã export để phát hiện các đối tượng trong hình ảnh.

Sử dụng OpenVINO Runtime native#

Nếu bạn cần một cách tùy chỉnh để chạy suy luận, đặc biệt trong môi trường production, OpenVINO Runtime sẽ cung cấp nhiều quyền kiểm soát hơn đối với cách model được thực thi. Runtime hỗ trợ các tính năng nâng cao như thực thi bất đồng bộ (chạy song song nhiều yêu cầu suy luận) và cân bằng tải (phân phối workload suy luận hiệu quả trên phần cứng Intel).

Để sử dụng runtime native, bạn cần các file model đã export: một file .xml (xác định kiến trúc network) và một file .bin (lưu các weight đã training của model). Bạn cũng có thể cấu hình thêm các parameter như kích thước đầu vào hoặc các bước preprocessing tùy thuộc vào ứng dụng.

Một flow triển khai điển hình bao gồm khởi tạo OpenVINO core, load và compile model cho thiết bị đích, chuẩn bị đầu vào và thực thi suy luận. Để xem các ví dụ chi tiết cùng hướng dẫn từng bước, hãy tham khảo tài liệu OpenVINO chính thức của Ultralytics.

Tại sao nên chọn tích hợp Ultralytics x OpenVINO?#

Khi khám phá các tích hợp của Ultralytics, bạn sẽ nhận thấy package Ultralytics Python hỗ trợ export model YOLO11 sang nhiều định dạng như TorchScript, CoreML, TensorRT và ONNX. Vậy tại sao nên chọn tích hợp OpenVINO?

Dưới đây là một số lý do khiến định dạng export OpenVINO đặc biệt phù hợp để triển khai model trên phần cứng Intel:

• Tăng hiệu năng: Bạn có thể đạt tốc độ suy luận nhanh hơn tới 3× trên CPU Intel, cùng khả năng tăng tốc bổ sung trên GPU tích hợp và NPU.
• Không cần retrain: Bạn có thể export trực tiếp các model Ultralytics YOLO11 hiện có sang định dạng OpenVINO mà không cần sửa đổi hoặc retrain chúng.
• Được xây dựng để mở rộng: Cùng một model đã export có thể được triển khai trên các thiết bị edge công suất thấp và hạ tầng cloud quy mô lớn, giúp đơn giản hóa việc triển khai AI có khả năng mở rộng.

Bạn cũng có thể đánh giá benchmark hiệu năng của model Ultralytics YOLO11 trên nhiều nền tảng Intel® thông qua OpenVINO™ Model Hub. OpenVINO Model Hub là tài nguyên giúp developer đánh giá các model AI trên phần cứng Intel và khám phá lợi thế hiệu năng của OpenVINO trên CPU Intel, GPU tích hợp, NPU và GPU rời.

Hình 5. OpenVINO™ Model Hub: Benchmark hiệu năng của model Ultralytics YOLO11 trên nhiều nền tảng Intel®.

Các ứng dụng của Ultralytics YOLO11 và định dạng export OpenVINO#

Với sự hỗ trợ của tích hợp OpenVINO, việc triển khai các model Ultralytics YOLO11 trên phần cứng Intel trong những tình huống thực tế trở nên đơn giản hơn nhiều.

Bán lẻ thông minh là một ví dụ điển hình, trong đó Ultralytics YOLO11 có thể giúp phát hiện kệ hàng trống theo thời gian thực, theo dõi những sản phẩm sắp hết hàng và phân tích cách khách hàng di chuyển trong cửa hàng. Điều này giúp các nhà bán lẻ cải thiện quản lý hàng tồn kho và tối ưu hóa bố cục cửa hàng để tăng mức độ tương tác của người mua sắm.

Tương tự, trong các thành phố thông minh, YOLO11 có thể được sử dụng để giám sát giao thông bằng cách đếm phương tiện, theo dõi người đi bộ và phát hiện hành vi vượt đèn đỏ theo thời gian thực. Những thông tin này có thể hỗ trợ tối ưu hóa luồng giao thông, cải thiện an toàn đường bộ và hỗ trợ các hệ thống thực thi tự động.

Hình 6. Đếm phương tiện bằng YOLO11.

Một trường hợp sử dụng thú vị khác là kiểm tra công nghiệp, trong đó Ultralytics YOLO11 có thể được triển khai trên dây chuyền sản xuất để tự động phát hiện các lỗi hình ảnh như thiếu linh kiện, lệch vị trí hoặc hư hỏng bề mặt. Điều này nâng cao hiệu quả, giảm chi phí và hỗ trợ cải thiện chất lượng sản phẩm.

Các yếu tố chính cần cân nhắc khi sử dụng bộ công cụ OpenVINO#

Khi triển khai các model Ultralytics YOLO11 với OpenVINO, dưới đây là một số điểm quan trọng cần lưu ý để đạt kết quả tốt nhất:

• Kiểm tra khả năng tương thích phần cứng: Đảm bảo phần cứng Intel của bạn, dù là CPU, GPU tích hợp hay NPU, được OpenVINO hỗ trợ để model có thể chạy hiệu quả.
• Cài đặt đúng driver: Nếu sử dụng GPU hoặc NPU Intel, hãy kiểm tra kỹ để đảm bảo mọi driver bắt buộc đã được cài đặt đúng cách và luôn cập nhật.
• Hiểu các đánh đổi về độ chính xác: OpenVINO hỗ trợ các mức độ chính xác model FP32, FP16 và INT8. Mỗi mức đều có sự đánh đổi giữa tốc độ và độ chính xác, vì vậy điều quan trọng là chọn tùy chọn phù hợp dựa trên mục tiêu hiệu năng và phần cứng sẵn có.

Những điểm chính#

Export Ultralytics YOLO11 sang định dạng OpenVINO giúp dễ dàng chạy các model AI thị giác nhanh và hiệu quả trên phần cứng Intel. Bạn có thể triển khai trên CPU, GPU và NPU mà không cần retrain hoặc thay đổi code. Đây là một cách tuyệt vời để tăng hiệu năng mà vẫn giữ cho quy trình đơn giản và có khả năng mở rộng.

Với khả năng hỗ trợ được tích hợp trong package Ultralytics Python, việc export và chạy suy luận với OpenVINO rất đơn giản. Chỉ trong vài bước, bạn có thể tối ưu hóa model và chạy model trên nhiều nền tảng Intel. Dù đang làm việc với bán lẻ thông minh, giám sát giao thông hay kiểm tra công nghiệp, workflow này giúp bạn chuyển từ development sang deployment nhanh chóng và tự tin.

Tham gia cộng đồng YOLO và xem repository GitHub của Ultralytics để tìm hiểu thêm về các tích hợp hiệu quả được Ultralytics hỗ trợ. Ngoài ra, hãy tham khảo các tùy chọn cấp phép của Ultralytics để bắt đầu với thị giác máy tính ngay hôm nay!

Đăng ký webinar sắp tới của chúng tôi để xem tích hợp Ultralytics × OpenVINO hoạt động thực tế, đồng thời truy cập website OpenVINO để khám phá các công cụ tối ưu hóa và triển khai AI ở quy mô lớn.