Tăng tốc Ultralytics YOLO26 với OpenVINO trên Intel Core Ultra Series 3 (Panther Lake)

Trong vài năm qua, AI và thị giác máy tính đã chuyển từ giai đoạn thử nghiệm thành một phần quan trọng trong hoạt động kinh doanh hằng ngày. Trên thực tế, các khảo sát cho thấy khoảng 88% tổ chức đã sử dụng AI trong ít nhất một lĩnh vực kinh doanh.

Tuy nhiên, việc biến mức độ ứng dụng đó thành giá trị thực tế, dù trong các hệ thống production hay dự án cá nhân, thường phụ thuộc vào mức độ hiệu quả của model sau khi được triển khai. Trong nhiều tình huống thực tế, model thị giác máy tính như Ultralytics YOLO26 được triển khai trên các thiết bị edge và nhiều loại phần cứng khác nhau, thường là CPU, GPU tích hợp hoặc NPU, thay vì GPU cao cấp.

Đó là lúc hiệu năng có thể bắt đầu thay đổi, và việc tối ưu hóa trở nên quan trọng. Một model hoạt động tốt trong môi trường này có thể gặp khó khăn trong môi trường khác nếu không được tối ưu đúng cách cho phần cứng bên dưới.

Để đơn giản hóa quy trình này, gói Python Ultralytics hỗ trợ export các model YOLO26 sang những format đã được tối ưu như OpenVINO, giúp chúng chạy mượt mà trên phần cứng Intel mà không cần thay đổi workflow của bạn.

Ví dụ, khi một model Ultralytics YOLO26 được export sang format OpenVINO, model đó có thể chạy hiệu quả hơn trên các bộ xử lý Intel Core Ultra Series 3, với tốc độ suy luận trên GPU được cải thiện lên đến ba lần.

Trong bài viết này, chúng ta sẽ tìm hiểu cách tích hợp Ultralytics và OpenVINO được cập nhật giúp triển khai các model YOLO26 trên phần cứng Intel Core Ultra Series 3 dễ dàng hơn. Hãy bắt đầu!

Tổng quan về tích hợp Ultralytics x OpenVINO#

Gói Python Ultralytics cung cấp một interface duy nhất để train, chạy suy luận và triển khai các model Ultralytics YOLO như YOLO26. Gói này hỗ trợ nhiều tích hợp phục vụ các phần khác nhau trong workflow AI thị giác máy tính, từ train và thử nghiệm đến triển khai và tối ưu hóa.

Một trong những tích hợp tập trung vào triển khai là bộ công cụ OpenVINO, cho phép bạn export các model Ultralytics YOLO26 sang format được tối ưu cho phần cứng Intel. Quy trình này chuyển đổi các model YOLO sang format chạy hiệu quả hơn trên CPU, GPU và NPU Intel, bao gồm cả các hệ thống sử dụng bộ xử lý Intel® Core™ Ultra™ series.

Điều này giúp đơn giản hóa việc chạy model trên nhiều thiết bị Intel khác nhau mà không cần điều chỉnh thủ công cho từng cấu hình. Dù bạn làm việc trên máy cục bộ, thiết bị edge hay một hệ thống triển khai quy mô lớn hơn, cùng một model đã export vẫn có thể được tái sử dụng.

Điểm khiến tích hợp này đặc biệt thiết thực là khả năng hòa nhập liền mạch vào workflow Ultralytics hiện có. Bạn có thể export model bằng chính interface dùng cho train và suy luận mà không cần thêm công cụ hoặc thiết lập phức tạp.

Sau khi export, model có thể được sử dụng để chạy suy luận thông qua gói Python Ultralytics hoặc OpenVINO Runtime, tùy theo mức độ kiểm soát và linh hoạt bạn cần.

Tìm hiểu kỹ hơn về OpenVINO và phần cứng Intel Panther Lake cho suy luận AI#

Trước khi xem một model Ultralytics YOLO26 đã export có thể chạy hiệu quả đến đâu trên phần cứng Intel, hãy lùi lại một bước để hiểu cách OpenVINO và phần cứng Intel phối hợp nhằm hỗ trợ suy luận hiệu quả.

OpenVINO là một bộ công cụ mã nguồn mở được thiết kế để tối ưu hóa và chạy suy luận AI trên phần cứng Intel, bao gồm CPU, GPU tích hợp và NPU. OpenVINO cung cấp một runtime thống nhất, nhờ đó cùng một model có thể chạy trên các đơn vị tính toán khác nhau này mà không cần viết lại.

Hình 1. OpenVINO giúp dễ dàng triển khai model trên nhiều đích phần cứng. (Nguồn)

Trên các bộ xử lý Intel® Core™ Ultra™ Series 3 mới (có tên mã Panther Lake), workload AI chạy trên nhiều đơn vị tính toán trong cùng một bộ xử lý. Mỗi chip kết hợp các lõi CPU cho tác vụ đa dụng, GPU tích hợp để xử lý song song và NPU chuyên dụng được thiết kế riêng cho suy luận AI.

OpenVINO cung cấp một API thống nhất cho phép bạn nhắm đến bất kỳ đơn vị tính toán nào trong số này, dù là CPU, GPU hay NPU, mà không cần thay đổi code. Bạn chỉ cần chỉ định thiết bị chạy suy luận tại runtime, nhờ đó dễ dàng chuyển đổi giữa cả ba tùy theo nhu cầu về hiệu năng và hiệu quả.

Benchmark Ultralytics YOLO26 trên dòng Intel® Core™ Ultra™#

Khi tìm hiểu về tích hợp Ultralytics và OpenVINO, bạn có thể thắc mắc: việc export YOLO26 sang format OpenVINO mang lại mức cải thiện hiệu năng model như thế nào?

Sự khác biệt về tốc độ suy luận trở nên rõ ràng khi benchmark các model YOLO26 trên nhiều format và mức độ chính xác khác nhau. Ví dụ, khi chạy biến thể nano của YOLO26 (YOLO26n) trên Intel Core Ultra X7 358H, một bộ xử lý Panther Lake, thời gian suy luận giảm từ 25.18 ms mỗi ảnh trong PyTorch ở độ chính xác FP32 xuống còn 2.64 ms với OpenVINO ở cùng độ chính xác trên NPU tích hợp.

Tốc độ này nhanh hơn baseline PyTorch FP32 ban đầu, tạo ra khác biệt đáng kể trong các ứng dụng real-time và edge, nơi độ trễ là yếu tố quan trọng. Mức cải thiện còn rõ rệt hơn khi chạy cùng model trên GPU Intel Arc tích hợp.

Hình 2. Benchmark suy luận Ultralytics YOLO26 trên GPU Intel Panther Lake bằng OpenVINO (Nguồn)

Hình 3. Benchmark suy luận Ultralytics YOLO26 trên NPU Intel Panther Lake bằng OpenVINO (Nguồn)

Khám phá hai cách export Ultralytics YOLO26 sang format OpenVINO#

Có hai cách chính để export các model YOLO26 sang format OpenVINO. Bạn có thể sử dụng gói Python Ultralytics hoặc export trực tiếp thông qua Ultralytics Platform, một workspace end-to-end để xây dựng và quản lý workflow thị giác máy tính tại một nơi. Tiếp theo, chúng ta sẽ lần lượt tìm hiểu cả hai phương pháp.

Sử dụng gói Python Ultralytics để export YOLO26#

Gói Python Ultralytics cung cấp một cách đơn giản để export các model YOLO26 sang format OpenVINO trong workflow dựa trên code. Vì cùng một interface được sử dụng cho train và suy luận, việc export model dễ dàng tích hợp vào các pipeline hiện có mà không cần thêm công cụ.

Để bắt đầu, bạn có thể cài đặt gói Ultralytics. Thực hiện việc này bằng cách chạy lệnh “pip install ultralytics” trong terminal hoặc command prompt. Nếu làm việc trong môi trường tương tác như Jupyter Notebook hoặc Google Colab, bạn có thể chạy cùng lệnh bằng cách thêm dấu chấm than ở đầu.

Sau khi cài đặt, bạn có thể load một model YOLO26 đã train và export trực tiếp sang format OpenVINO. Như minh họa bên dưới, model YOLO26n được pre-train (yolo26n.pt) sẽ được load rồi chuyển đổi sang format OpenVINO bằng phương thức export.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

Sau khi chạy code, model đã chuyển đổi được lưu vào một thư mục mới, nơi bạn có thể sử dụng model cho việc triển khai.

Export YOLO26 trên Ultralytics Platform#

Nếu muốn có một phương pháp đơn giản hơn, không cần code, bạn có thể export các model YOLO26 trực tiếp thông qua Ultralytics Platform. Nền tảng này tập hợp toàn bộ workflow thị giác máy tính trong một workspace duy nhất, giúp dễ dàng chuyển từ train sang triển khai mà không cần thiết lập thêm.

Khi model đã sẵn sàng, bạn có thể mở model trong nền tảng và chuyển đến tab Export. Tại đó, bạn có thể chọn OpenVINO làm format export và tùy chọn điều chỉnh các thiết lập như kích thước ảnh hoặc độ chính xác.

Hình 4. Minh họa việc export YOLO26 trong Ultralytics Platform

Nền tảng sẽ tự động xử lý việc chuyển đổi, vì vậy bạn không cần quản lý script, dependency hoặc cấu hình môi trường. Sau khi export hoàn tất, model đã tối ưu có thể được tải xuống và sử dụng để triển khai trên CPU, GPU và NPU Intel.

Các tùy chọn triển khai được hỗ trợ bởi tích hợp Ultralytics x OpenVINO#

Sau khi model YOLO26 được export sang format OpenVINO, có một vài cách để chạy suy luận tùy theo workflow và mức độ kiểm soát cần thiết. Bạn có thể sử dụng gói Python Ultralytics để có phương pháp tích hợp đơn giản hơn hoặc sử dụng runtime OpenVINO native để có thêm tính linh hoạt và khả năng kiểm soát.

Chạy suy luận với gói Python Ultralytics#

Sau khi model được export sang format OpenVINO, bạn có thể chạy suy luận bằng gói Python Ultralytics. Phương pháp này phù hợp cho việc kiểm thử nhanh và triển khai đơn giản, vì sử dụng cùng interface như train và export.

Với phương pháp này, bạn có thể load model OpenVINO đã export từ thư mục của model và chạy suy luận trên đầu vào như ảnh hoặc video. Bạn cũng có thể chọn thiết bị để chạy bằng cách chỉ định các tùy chọn như "intel:cpu", "intel:gpu" hoặc "intel:npu", tùy theo phần cứng có trên hệ thống.

Đoạn code bên dưới minh họa cách load model đã export và chạy suy luận trên một ảnh, đồng thời chọn GPU làm thiết bị đích. Sau khi suy luận hoàn tất, ảnh đầu ra được lưu vào thư mục “runs/detect/predict”.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Tận dụng gói OpenVINO native để chạy suy luận#

Nếu cần kiểm soát nhiều hơn cách model chạy trong production, bạn có thể sử dụng runtime OpenVINO native để chạy suy luận. Phương pháp này hữu ích khi tích hợp model vào các ứng dụng lớn hơn hoặc khi muốn tinh chỉnh cách thực thi suy luận trên phần cứng cụ thể.

OpenVINO cung cấp một cách thống nhất để chạy model trên CPU, GPU và NPU Intel, cùng các tính năng như thực thi bất đồng bộ và sử dụng hiệu quả tài nguyên tính toán hiện có. Để thiết lập, bạn có thể làm việc trực tiếp với các file model đã export, bao gồm file .xml định nghĩa cấu trúc model và file .bin chứa các weight đã train.

Tùy theo use case, bạn cũng có thể điều chỉnh các thiết lập như kích thước đầu vào hoặc các bước preprocessing. Việc thiết lập suy luận bao gồm khởi tạo runtime OpenVINO, load và compile model cho thiết bị đích, chuẩn bị dữ liệu đầu vào, sau đó chạy suy luận.

Hình 5. Ví dụ về một pipeline suy luận điển hình với OpenVINO (Nguồn)

Điều này cho phép bạn kiểm soát cách model được thực thi và cách model tích hợp vào quy trình triển khai tổng thể. Để tìm hiểu thêm về cách thiết lập và chạy suy luận với runtime OpenVINO, bạn có thể xem tài liệu chính thức của Ultralytics.

Các ứng dụng thực tế của Ultralytics YOLO26 trên phần cứng Intel#

Giá trị thực tế của tích hợp Ultralytics và OpenVINO thể hiện rõ trong production, nơi suy luận ổn định với độ trễ thấp có thể tạo ra khác biệt rõ rệt. Dưới đây là một số ngành tiêu biểu mà tích hợp này mang lại kết quả đáng kể:

• Sản xuất: Bằng cách export Ultralytics YOLO26 sang OpenVINO, các hệ thống dây chuyền sản xuất có thể tự động phát hiện các lỗi trực quan như thiếu linh kiện, lệch vị trí hoặc hư hỏng bề mặt trên phần cứng Intel, góp phần cải thiện chất lượng sản phẩm và giảm các lỗi tốn kém.

• Chăm sóc sức khỏe: Các hệ thống chẩn đoán hình ảnh y tế và theo dõi bệnh nhân có thể chạy cục bộ các model Ultralytics YOLO26 đã export trên phần cứng Intel, đáp ứng các yêu cầu nghiêm ngặt về quyền riêng tư dữ liệu đồng thời duy trì hiệu năng suy luận ổn định.

• Đô thị thông minh: Hoạt động giám sát giao thông và phân tích đám đông có thể được triển khai bằng các model Ultralytics YOLO26 đã export trên camera edge sử dụng Intel, cung cấp thông tin chi tiết theo thời gian thực như đếm phương tiện, theo dõi người đi bộ và phát hiện sự cố.

• Ô tô: Độ trễ thấp và hiệu quả năng lượng rất quan trọng trong việc giám sát người lái và cảm biến trong cabin, khiến phần cứng Intel kết hợp với các model Ultralytics YOLO26 đã export trở thành lựa chọn phù hợp cho các hệ thống ô tô nhúng.

Nếu muốn tìm hiểu thêm về tích hợp này, hãy tham gia chuỗi workshop OpenVINO DevCon của Intel với chủ đề “Từ gán nhãn đến triển khai: Xây dựng pipeline phát hiện đối tượng với Geti, Ultralytics YOLO26 và OpenVINO™”, nơi Partnership and Ecosystem Manager của chúng tôi, Francesco Mattioli, sẽ cùng AI Software Evangelist của Intel, Adrian Boguszewski, thực hiện phần trình diễn trực tiếp và hướng dẫn cách xây dựng pipeline thị giác máy tính sẵn sàng cho production trong các kịch bản công nghiệp thực tế. Workshop sẽ giới thiệu workflow phát hiện đối tượng hoàn chỉnh, end-to-end, từ tạo dataset và train model đến tối ưu hóa và triển khai trên edge.

Lợi ích của việc sử dụng format export OpenVINO#

Dưới đây là một số ưu điểm chính của việc sử dụng format export OpenVINO:

• Dễ tiếp cận và dễ tích hợp: Với API thống nhất và hơn 80 notebook hướng dẫn, OpenVINO giúp chuyển từ thử nghiệm sang triển khai dễ dàng hơn mà không làm phát sinh độ phức tạp đáng kể.

• Chạy cùng một model trên nhiều phần cứng khác nhau: OpenVINO cho phép sử dụng một model đã export duy nhất trên phần cứng Intel được hỗ trợ, triển khai model trên CPU, GPU hoặc NPU mà không cần viết lại hay điều chỉnh cho từng thiết bị.

• Tối ưu hóa tích hợp trong quá trình export: Việc export sang OpenVINO chuyển đổi các model từ những framework phổ biến như PyTorch và TensorFlow sang format được tối ưu, sẵn sàng cho suy luận, loại bỏ nhu cầu thực hiện các bước chuyển đổi riêng biệt.

• Tận dụng tài nguyên phần cứng tốt hơn: OpenVINO hỗ trợ suy luận bất đồng bộ và cân bằng tải trên phần cứng Intel, góp phần cải thiện hiệu quả trong các ứng dụng thực tế.

Chạy Ultralytics YOLO26 với ExecuTorch và backend OpenVINO#

Nếu triển khai Ultralytics YOLO26 trong các môi trường production yêu cầu cao hơn, bạn có thể sử dụng một tùy chọn khác kết hợp hiệu quả trên thiết bị với khả năng nén model nâng cao.

ExecuTorch, framework suy luận trên thiết bị của PyTorch, hỗ trợ backend OpenVINO, cho phép bạn triển khai Ultralytics YOLO26 trên phần cứng Intel thông qua một hướng export và runtime khác.

Cách thức hoạt động là ExecuTorch đảm nhiệm việc export model và thực thi runtime, trong khi OpenVINO đóng vai trò lớp tăng tốc phần cứng bên dưới, xử lý tính toán thực tế trên CPU, GPU hoặc NPU Intel. Hai thành phần phối hợp với nhau để mang lại khả năng portability và hiệu quả trên thiết bị của ExecuTorch, kết hợp với các tối ưu hóa dành riêng cho phần cứng do OpenVINO cung cấp.

Để tìm hiểu thêm về cách thức hoạt động và cách bắt đầu với Ultralytics YOLO26 trên ExecuTorch và backend OpenVINO, hãy xem blog của Intel về các bản cập nhật ExecuTorch và OpenVINO.

Những điểm chính#

Export các model YOLO26 thông qua tích hợp Ultralytics và OpenVINO giúp cải thiện hiệu năng trên phần cứng Intel mà không làm workflow trở nên phức tạp. Bạn có thể chuyển từ train sang triển khai mà không cần xây dựng lại pipeline. Nhìn chung, đây là một cách đơn giản để chạy model hiệu quả trên CPU, GPU và NPU Intel trong các ứng dụng thực tế.

Tham gia cộng đồng của chúng tôi và khám phá repository GitHub của chúng tôi để tìm hiểu thêm về Vision AI. Xem các tùy chọn cấp phép của chúng tôi để bắt đầu các dự án thị giác máy tính. Quan tâm đến những đổi mới như AI trong sản xuất hoặc thị giác máy tính trong ngành ô tô? Hãy truy cập các trang giải pháp của chúng tôi để khám phá thêm.