Triển khai Ultralytics YOLO11 dễ dàng bằng OpenVINO™

Việc ứng dụng AI phụ thuộc vào khả năng tiếp cận các giải pháp AI, và một phần rất lớn trong đó là giúp triển khai dễ dàng trên phần cứng mà mọi người đang có. Chạy model AI trên GPU (bộ xử lý đồ họa) là lựa chọn tuyệt vời xét về hiệu năng và khả năng xử lý song song.

Tuy nhiên, thực tế là không phải ai cũng có thể tiếp cận GPU cao cấp, đặc biệt trong môi trường biên hoặc trên laptop thông thường. Đó là lý do việc tối ưu hóa model để chạy hiệu quả trên phần cứng phổ biến hơn như CPU (bộ xử lý trung tâm), GPU tích hợp và NPU (bộ xử lý thần kinh) rất quan trọng.

Thị giác máy tính, chẳng hạn, là một nhánh của AI cho phép máy phân tích và hiểu hình ảnh cũng như luồng video theo thời gian thực. Các model AI thị giác như Ultralytics YOLO11 hỗ trợ những tác vụ chính như phát hiện đối tượng và phân đoạn thực thể, làm nền tảng cho các ứng dụng từ phân tích bán lẻ đến chẩn đoán y khoa.

Hình 1. Sử dụng Ultralytics YOLO11 để phát hiện và phân đoạn đối tượng trong cửa hàng bán lẻ.

Để giúp thị giác máy tính dễ tiếp cận hơn, Ultralytics đã phát hành bản tích hợp OpenVINO toolkit được cập nhật. Đây là một dự án mã nguồn mở giúp tối ưu hóa và chạy suy luận AI trên CPU, GPU và NPU.

Với tính năng tích hợp này, việc export và triển khai model YOLO11 trở nên dễ dàng hơn, với tốc độ suy luận trên CPU nhanh hơn đến 3 lần và hiệu năng được tăng tốc trên GPU và NPU của Intel. Trong bài viết này, chúng ta sẽ hướng dẫn cách sử dụng gói Python Ultralytics để export model YOLO11 sang định dạng OpenVINO và dùng model để suy luận.

Tổng quan về Ultralytics YOLO11#

Trước khi tìm hiểu chi tiết về tính năng tích hợp OpenVINO do Ultralytics hỗ trợ, hãy cùng xem kỹ hơn điều gì khiến YOLO11 trở thành một model thị giác máy tính đáng tin cậy và hữu ích. Tại thời điểm bài viết được soạn, YOLO11 là model mới nhất trong dòng Ultralytics YOLO (sau đó được thay thế bởi Ultralytics YOLO26), với những cải tiến đáng kể về cả tốc độ lẫn độ chính xác.

Một điểm nổi bật chính của model là hiệu quả. Chẳng hạn, YOLO11m của Ultralytics có số lượng tham số ít hơn 22% so với Ultralytics YOLOv8m nhưng đạt độ chính xác trung bình (mAP) cao hơn trên bộ dữ liệu COCO. Điều này có nghĩa là model chạy nhanh hơn và phát hiện đối tượng chính xác hơn, rất phù hợp với các ứng dụng thời gian thực đòi hỏi hiệu năng và khả năng phản hồi cao.

Hình 2. Các benchmark hiệu năng của Ultralytics YOLO11.

Ngoài phát hiện đối tượng, YOLO11 còn hỗ trợ nhiều tác vụ thị giác máy tính nâng cao như phân đoạn đối tượng, phân loại ảnh, ước tính tư thế, phát hiện bounding box định hướng và theo dõi đối tượng. YOLO11 cũng thân thiện với developer; gói Python Ultralytics cung cấp giao diện đơn giản, nhất quán để huấn luyện, đánh giá và triển khai model.

Ngoài ra, gói Python Ultralytics hỗ trợ nhiều tích hợp và định dạng export, bao gồm OpenVINO, ONNX và TorchScript, giúp bạn dễ dàng tích hợp YOLO11 vào nhiều quy trình triển khai khác nhau. Dù nhắm đến hạ tầng cloud, thiết bị biên hay hệ thống nhúng, quy trình export đều đơn giản và có thể điều chỉnh theo yêu cầu phần cứng.

OpenVINO™ là gì?#

OpenVINO™ (Suy luận trực quan mở và Tối ưu hóa mạng nơ-ron) là một toolkit mã nguồn mở để tối ưu hóa và triển khai suy luận AI trên nhiều loại phần cứng. Toolkit này cho phép nhà phát triển chạy hiệu quả các ứng dụng suy luận hiệu năng cao trên nhiều nền tảng Intel, bao gồm CPU, GPU tích hợp và rời, NPU và mảng cổng lập trình được tại hiện trường (FPGAs).

OpenVINO cung cấp giao diện runtime thống nhất, trừu tượng hóa khác biệt phần cứng thông qua các plugin dành riêng cho từng thiết bị. Nhờ vậy, nhà phát triển chỉ cần viết code một lần rồi triển khai trên nhiều mục tiêu phần cứng Intel bằng một API nhất quán.

Dưới đây là một số tính năng chính khiến OpenVINO trở thành lựa chọn phù hợp để triển khai:

• Công cụ chuyển đổi model: Công cụ này chuyển đổi và chuẩn bị model từ các framework phổ biến như PyTorch, ONNX, TensorFlow, PaddlePaddle và các framework khác để tối ưu hóa cho suy luận hiệu quả trên phần cứng Intel.
• Thực thi không đồng nhất: Bạn không cần viết lại code cho từng loại phần cứng Intel. OpenVINO giúp dễ dàng chạy cùng một model trên mọi phần cứng được hỗ trợ, từ CPU đến GPU.
• Hỗ trợ lượng tử hóa: Toolkit hỗ trợ các định dạng độ chính xác thấp hơn như FP16 (mặc định) và INT8, giúp giảm kích thước model và tăng tốc suy luận mà không ảnh hưởng đáng kể đến độ chính xác.

Hình 3. OpenVINO hỗ trợ nhiều tùy chọn triển khai.

Tìm hiểu bản tích hợp Ultralytics x OpenVINO#

Sau khi tìm hiểu OpenVINO là gì và vì sao toolkit này quan trọng, hãy cùng xem cách xuất model Ultralytics YOLO11 sang định dạng OpenVINO và chạy suy luận hiệu quả trên phần cứng Intel.

Bước 1: Cài đặt gói Python Ultralytics#

Để xuất model sang định dạng OpenVINO, trước tiên bạn cần cài đặt gói Ultralytics Python. Gói này cung cấp mọi thứ bạn cần để huấn luyện, đánh giá và xuất model YOLO, bao gồm cả YOLO11.

Bạn có thể cài đặt bằng cách chạy lệnh pip install ultralytics trong terminal hoặc dấu nhắc lệnh. Nếu làm việc trong môi trường tương tác như Jupyter Notebook hoặc Google Colab, chỉ cần thêm dấu chấm than trước lệnh.

Ngoài ra, nếu gặp sự cố trong quá trình cài đặt hoặc xuất model, tài liệu Ultralytics và hướng dẫn khắc phục sự cố là những nguồn hữu ích giúp bạn tiếp tục công việc.

Bước 2: Xuất model Ultralytics YOLO11 sang định dạng OpenVINO#

Sau khi thiết lập gói Ultralytics, bước tiếp theo là tải model YOLO11 và chuyển đổi model sang định dạng tương thích với OpenVINO.

Trong ví dụ dưới đây, chúng ta sử dụng model YOLO11 đã huấn luyện trước (“yolo11n.pt”). Chức năng xuất model sẽ chuyển đổi model sang định dạng OpenVINO. Sau khi chạy đoạn code này, model đã chuyển đổi sẽ được lưu trong thư mục mới có tên “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Bước 3: Chạy suy luận bằng model đã xuất#

Sau khi xuất model YOLO11 sang định dạng OpenVINO, bạn có thể chạy suy luận theo hai cách: sử dụng gói Ultralytics Python hoặc OpenVINO Runtime gốc.

Sử dụng gói Ultralytics Python#

Có thể dễ dàng triển khai model YOLO11 đã xuất bằng gói Ultralytics Python, như minh họa trong đoạn code bên dưới. Phương pháp này phù hợp để thử nghiệm nhanh và đơn giản hóa việc triển khai trên phần cứng Intel.

Bạn cũng có thể chỉ định thiết bị dùng để suy luận, chẳng hạn "intel:cpu", "intel:gpu" hoặc "intel:npu", tùy thuộc vào phần cứng Intel có trên hệ thống.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Để lưu ảnh đầu ra đã được chú thích vào thư mục "runs/detect/predict", hãy thêm save=True vào lời gọi suy luận.

Hình 4. Sử dụng model Ultralytics YOLO11 đã xuất để phát hiện đối tượng trong ảnh.

Sử dụng OpenVINO Runtime gốc#

Nếu bạn cần một cách chạy suy luận có thể tùy chỉnh, đặc biệt trong môi trường production, OpenVINO Runtime cho phép kiểm soát nhiều hơn cách thực thi model. Runtime hỗ trợ các tính năng nâng cao như thực thi bất đồng bộ (chạy nhiều yêu cầu suy luận song song) và cân bằng tải (phân phối hiệu quả khối lượng công việc suy luận trên phần cứng Intel).

Để sử dụng runtime gốc, bạn cần các tệp model đã xuất: tệp .xml (định nghĩa kiến trúc mạng) và tệp .bin (lưu trọng số đã huấn luyện của model). Bạn cũng có thể cấu hình thêm các tham số như kích thước đầu vào hoặc các bước tiền xử lý tùy theo ứng dụng.

Quy trình triển khai điển hình gồm khởi tạo OpenVINO core, tải và biên dịch model cho thiết bị mục tiêu, chuẩn bị đầu vào và thực thi suy luận. Để xem ví dụ chi tiết và hướng dẫn từng bước, hãy tham khảo tài liệu OpenVINO chính thức của Ultralytics hoặc bài học của Ultralytics Academy về chạy OpenVINO trên CPU.

Vì sao nên chọn bản tích hợp Ultralytics x OpenVINO?#

Khi tìm hiểu các bản tích hợp của Ultralytics, bạn sẽ thấy gói Ultralytics Python hỗ trợ xuất model YOLO11 sang nhiều định dạng như TorchScript, CoreML, TensorRT và ONNX. Vậy vì sao nên chọn bản tích hợp OpenVINO?

Dưới đây là một số lý do khiến định dạng xuất OpenVINO phù hợp để triển khai model trên phần cứng Intel:

• Cải thiện hiệu năng: Bạn có thể đạt tốc độ suy luận nhanh hơn tới 3× trên CPU Intel, đồng thời tăng tốc thêm trên GPU tích hợp và NPU.
• Không cần huấn luyện lại: Bạn có thể xuất trực tiếp các model Ultralytics YOLO11 hiện có sang định dạng OpenVINO mà không cần chỉnh sửa hay huấn luyện lại.
• Thiết kế để mở rộng quy mô: Có thể triển khai cùng một model đã xuất trên cả thiết bị edge công suất thấp lẫn hạ tầng cloud quy mô lớn, giúp đơn giản hóa việc triển khai AI có khả năng mở rộng.

Bạn cũng có thể đánh giá benchmark hiệu năng của model Ultralytics YOLO11 trên nhiều nền tảng Intel® tại OpenVINO™ Model Hub. OpenVINO Model Hub là tài nguyên giúp nhà phát triển đánh giá model AI trên phần cứng Intel và tìm hiểu lợi thế hiệu năng của OpenVINO trên CPU Intel, GPU tích hợp, NPU và GPU rời.

Hình 5. OpenVINO™ Model Hub: Benchmark hiệu năng của model Ultralytics YOLO11 trên nhiều nền tảng Intel®.

Ứng dụng của Ultralytics YOLO11 và định dạng xuất OpenVINO#

Nhờ bản tích hợp OpenVINO, việc triển khai model Ultralytics YOLO11 trên phần cứng Intel trong các tình huống thực tế trở nên đơn giản hơn nhiều.

Bán lẻ thông minh là một ví dụ điển hình: Ultralytics YOLO11 có thể phát hiện kệ hàng trống theo thời gian thực, theo dõi sản phẩm sắp hết hàng và phân tích cách khách hàng di chuyển trong cửa hàng. Nhờ đó, nhà bán lẻ có thể cải thiện quản lý hàng tồn kho và tối ưu hóa bố cục cửa hàng để tăng mức độ tương tác của khách hàng.

Tương tự, tại các thành phố thông minh, YOLO11 có thể được dùng để giám sát giao thông bằng cách đếm phương tiện, theo dõi người đi bộ và phát hiện hành vi vượt đèn đỏ theo thời gian thực. Những thông tin này có thể hỗ trợ tối ưu hóa lưu lượng giao thông, cải thiện an toàn đường bộ và hỗ trợ các hệ thống xử lý vi phạm tự động.

Hình 6. Đếm phương tiện bằng YOLO11.

Một trường hợp sử dụng thú vị khác là kiểm tra công nghiệp, trong đó Ultralytics YOLO11 có thể được triển khai trên dây chuyền sản xuất để tự động phát hiện các lỗi trực quan như thiếu linh kiện, lệch vị trí hoặc hư hại bề mặt. Điều này giúp tăng hiệu quả, giảm chi phí và nâng cao chất lượng sản phẩm.

Các yếu tố chính cần cân nhắc khi sử dụng OpenVINO toolkit#

Khi triển khai model Ultralytics YOLO11 bằng OpenVINO, hãy lưu ý một số điểm quan trọng sau để đạt kết quả tốt nhất:

• Kiểm tra khả năng tương thích phần cứng: Đảm bảo phần cứng Intel của bạn, dù là CPU, GPU tích hợp hay NPU, được OpenVINO hỗ trợ để model có thể chạy hiệu quả.
• Cài đặt đúng driver: Nếu sử dụng GPU hoặc NPU Intel, hãy kiểm tra kỹ để đảm bảo tất cả driver cần thiết đã được cài đặt đúng và cập nhật.
• Nắm rõ các đánh đổi về độ chính xác: OpenVINO hỗ trợ độ chính xác model FP32, FP16 và INT8; bạn có thể chọn khi export bằng tham số quantize (ví dụ: quantize="int8"). Mỗi lựa chọn đều có sự đánh đổi giữa tốc độ và độ chính xác, vì vậy cần chọn phương án phù hợp với mục tiêu hiệu năng và phần cứng hiện có.

Điểm chính cần ghi nhớ#

Xuất Ultralytics YOLO11 sang định dạng OpenVINO giúp dễ dàng chạy các model AI thị giác nhanh và hiệu quả trên phần cứng Intel. Bạn có thể triển khai trên CPU, GPU và NPU mà không cần huấn luyện lại hoặc thay đổi code. Đây là cách hiệu quả để tăng hiệu năng mà vẫn giữ quy trình đơn giản và có khả năng mở rộng.

Với hỗ trợ tích hợp sẵn trong gói Ultralytics Python, việc xuất model và chạy suy luận bằng OpenVINO rất đơn giản. Chỉ với vài bước, bạn có thể tối ưu hóa model và chạy model trên nhiều nền tảng Intel. Dù bạn đang làm việc với bán lẻ thông minh, giám sát giao thông hay kiểm tra công nghiệp, quy trình này giúp bạn chuyển từ phát triển sang triển khai nhanh chóng và tự tin.

Tham gia cộng đồng YOLO và xem repository GitHub của Ultralytics để tìm hiểu thêm về các tính năng tích hợp được Ultralytics hỗ trợ. Ngoài ra, hãy xem các tùy chọn cấp phép của Ultralytics để bắt đầu ứng dụng thị giác máy tính ngay hôm nay!

Truy cập trang web OpenVINO để khám phá các công cụ tối ưu hóa và triển khai AI ở quy mô lớn.