Tăng tốc Ultralytics YOLO26 với OpenVINO trên Intel Core Ultra Series 3 (Panther Lake)

Trong vài năm qua, AI và thị giác máy tính đã chuyển mình từ các thử nghiệm thành một phần quan trọng trong hoạt động kinh doanh hàng ngày. Thực tế, các khảo sát cho thấy khoảng 88% tổ chức đã ứng dụng AI vào ít nhất một khía cạnh trong doanh nghiệp của họ.

Tuy nhiên, việc biến sự áp dụng đó thành giá trị thực tế, dù trong các hệ thống sản xuất hay các dự án cá nhân, thường phụ thuộc vào việc các model chạy hiệu quả như thế nào sau khi được triển khai. Trong nhiều tình huống thực tế, các computer vision models như Ultralytics YOLO26 được triển khai trên các thiết bị biên và nhiều loại phần cứng khác nhau, thường là CPU, GPU tích hợp hoặc NPU, thay vì các GPU cao cấp.

Đó là lúc hiệu năng bắt đầu biến thiên và việc tối ưu hóa trở nên quan trọng. Một model chạy tốt trong môi trường này có thể gặp khó khăn ở môi trường khác nếu không được tối ưu hóa đúng cách cho phần cứng bên dưới.

Để hợp lý hóa quá trình này, Ultralytics Python package hỗ trợ xuất các model YOLO26 sang các định dạng tối ưu như OpenVINO, nhờ đó chúng có thể chạy mượt mà trên phần cứng Intel mà không cần thay đổi quy trình làm việc của bạn.

Ví dụ, khi một model YOLO26 được xuất sang định dạng OpenVINO, nó có thể chạy hiệu quả hơn trên bộ vi xử lý Intel Core Ultra Series 3, với tốc độ suy luận GPU cải thiện lên đến ba lần.

Trong bài viết này, chúng ta sẽ tìm hiểu cách cập nhật Ultralytics và OpenVINO integration giúp việc triển khai các model YOLO26 trên phần cứng Intel Core Ultra Series 3 trở nên dễ dàng hơn. Hãy cùng bắt đầu!

Link to this sectionTổng quan về tích hợp Ultralytics x OpenVINO#

Ultralytics Python package cung cấp một giao diện duy nhất để huấn luyện, chạy suy luận và triển khai các Ultralytics YOLO models như YOLO26. Nó hỗ trợ hàng loạt integrations giúp ích cho các phần khác nhau trong quy trình Vision AI, từ huấn luyện và thử nghiệm đến triển khai và tối ưu hóa.

Một trong những tích hợp tập trung vào triển khai là với bộ công cụ OpenVINO, cho phép bạn xuất các model YOLO26 sang một định dạng tối ưu cho Intel hardware. Quy trình này chuyển đổi các YOLO models thành một định dạng chạy hiệu quả hơn trên các CPU, GPU và NPU của Intel, bao gồm các hệ thống sử dụng bộ vi xử lý Intel® Core™ Ultra™ series.

Điều này giúp việc chạy model trên các thiết bị Intel khác nhau trở nên hợp lý hơn mà không cần điều chỉnh thủ công cho từng cấu hình. Cho dù bạn đang làm việc trên máy cục bộ, thiết bị biên hay một hệ thống triển khai quy mô lớn hơn, cùng một model đã xuất đều có thể được tái sử dụng.

Điểm khiến tích hợp này đặc biệt thiết thực là cách nó kết hợp liền mạch vào quy trình làm việc hiện có của Ultralytics. Bạn có thể xuất model bằng chính giao diện dùng để huấn luyện và suy luận mà không cần thêm công cụ hay thiết lập phức tạp.

Sau khi xuất, model có thể được sử dụng để suy luận thông qua Ultralytics Python package hoặc OpenVINO Runtime, tùy thuộc vào mức độ kiểm soát và linh hoạt mà bạn cần.

Link to this sectionTìm hiểu sâu hơn về OpenVINO và phần cứng Intel Panther Lake cho suy luận AI#

Trước khi xem cách một model YOLO26 đã xuất có thể chạy hiệu quả như thế nào trên phần cứng Intel, hãy lùi lại một bước để hiểu cách OpenVINO và phần cứng Intel kết hợp với nhau nhằm kích hoạt suy luận hiệu quả.

OpenVINO là bộ công cụ mã nguồn mở được thiết kế để tối ưu hóa và chạy suy luận AI trên phần cứng Intel, bao gồm CPU, GPU tích hợp và NPU. Nó cung cấp một runtime thống nhất, vì vậy cùng một model có thể chạy trên các đơn vị tính toán khác nhau này mà không cần viết lại.

Hình 1. OpenVINO giúp triển khai model trên nhiều mục tiêu phần cứng dễ dàng hơn. (Nguồn)

Trên các bộ vi xử lý Intel® Core™ Ultra™ Series 3 mới (có tên mã Panther Lake), các khối lượng công việc AI chạy trên nhiều đơn vị tính toán trong cùng một bộ vi xử lý. Mỗi chip kết hợp các nhân CPU cho các tác vụ đa năng, một GPU tích hợp cho xử lý song song và một NPU chuyên dụng được thiết kế đặc biệt cho suy luận AI.

OpenVINO cung cấp một API thống nhất cho phép bạn nhắm mục tiêu vào bất kỳ đơn vị tính toán nào trong số này, cho dù là CPU, GPU hay NPU, mà không cần thay đổi mã nguồn. Bạn chỉ cần chỉ định thiết bị để chạy suy luận tại thời điểm thực thi, giúp việc chuyển đổi giữa cả ba trở nên đơn giản tùy theo nhu cầu về hiệu năng và hiệu quả của bạn.

Link to this sectionĐánh giá YOLO26 trên Intel® Core™ Ultra™ series#

Khi tìm hiểu tích hợp Ultralytics và OpenVINO, bạn có thể tự hỏi: bạn có thể mong đợi mức tăng hiệu năng model nào khi xuất YOLO26 sang định dạng OpenVINO?

Sự khác biệt về tốc độ suy luận trở nên rõ ràng khi đánh giá các model YOLO26 trên các định dạng và mức độ chính xác khác nhau. Ví dụ, khi chạy biến thể nano của YOLO26 (YOLO26n) trên Intel Core Ultra X7 358H, một bộ vi xử lý Panther Lake, thời gian suy luận giảm từ 25,18 ms mỗi ảnh trong PyTorch ở độ chính xác FP32 xuống còn 2,64 ms với OpenVINO ở cùng độ chính xác với NPU tích hợp.

Đó là nhanh hơn so với baseline PyTorch FP32 ban đầu, điều này có thể tạo ra sự khác biệt đáng chú ý trong các ứng dụng thời gian thực và biên nơi độ trễ là yếu tố then chốt. Những cải thiện này thậm chí còn rõ ràng hơn khi chạy cùng model trên GPU Intel Arc tích hợp.

Hình 2. Đánh giá suy luận YOLO26 trên Intel Panther Lake GPU sử dụng OpenVINO (Nguồn)

Hình 3. Đánh giá suy luận YOLO26 trên Intel Panther Lake NPU sử dụng OpenVINO (Nguồn)

Link to this sectionKhám phá hai cách xuất Ultralytics YOLO26 sang định dạng OpenVINO#

Có hai cách chính để xuất các model YOLO26 sang định dạng OpenVINO. Bạn có thể sử dụng Ultralytics Python package hoặc xuất trực tiếp thông qua Ultralytics Platform, một không gian làm việc toàn diện để xây dựng và quản lý các quy trình thị giác máy tính tại một nơi. Tiếp theo, chúng ta sẽ đi qua cả hai cách tiếp cận.

Link to this sectionSử dụng Ultralytics Python package để xuất YOLO26#

Ultralytics Python package cung cấp một cách đơn giản để xuất các model YOLO26 sang định dạng OpenVINO trong quy trình làm việc dựa trên mã nguồn. Vì cùng một giao diện được sử dụng cho huấn luyện và suy luận, việc xuất model kết hợp tự nhiên vào các pipeline hiện có mà không cần các công cụ bổ sung.

Để bắt đầu, bạn có thể cài đặt gói Ultralytics. Điều này có thể được thực hiện bằng cách chạy lệnh “pip install ultralytics” trong terminal hoặc command prompt. Nếu bạn đang làm việc trong môi trường tương tác như Jupyter Notebook hoặc Google Colab, bạn có thể chạy cùng lệnh đó bằng cách thêm dấu chấm than vào phía trước.

Sau khi cài đặt, bạn có thể tải một model YOLO26 đã huấn luyện và xuất nó trực tiếp sang định dạng OpenVINO. Như hiển thị bên dưới, một model YOLO26n đã được huấn luyện sẵn (yolo26n.pt) được tải và sau đó chuyển đổi sang định dạng OpenVINO bằng phương thức xuất.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

Sau khi chạy mã, model đã chuyển đổi được lưu vào một thư mục mới, nơi nó có thể được sử dụng để triển khai.

Link to this sectionXuất YOLO26 trên Ultralytics Platform#

Nếu bạn đang tìm kiếm một cách tiếp cận đơn giản hơn, không cần mã nguồn, bạn có thể xuất các model YOLO26 trực tiếp thông qua Ultralytics Platform. Nền tảng này tập hợp toàn bộ quy trình thị giác máy tính vào một không gian làm việc duy nhất, giúp dễ dàng chuyển từ huấn luyện sang triển khai mà không cần thiết lập bổ sung.

Khi model của bạn đã sẵn sàng, bạn có thể mở nó trong nền tảng và điều hướng đến tab Export. Từ đó, bạn có thể chọn OpenVINO làm định dạng xuất và tùy ý điều chỉnh các thiết lập như kích thước ảnh hoặc độ chính xác.

Hình 4. Góc nhìn về việc xuất YOLO26 trong Ultralytics Platform

Nền tảng xử lý việc chuyển đổi một cách tự động, vì vậy không cần phải quản lý các script, phụ thuộc hoặc cấu hình môi trường. Sau khi hoàn tất xuất, model đã tối ưu có thể được tải xuống và sử dụng để triển khai trên các CPU, GPU và NPU của Intel.

Link to this sectionCác tùy chọn triển khai được kích hoạt bởi tích hợp Ultralytics x OpenVINO#

Sau khi model YOLO26 đã được xuất sang định dạng OpenVINO, có một vài cách để chạy suy luận tùy thuộc vào quy trình làm việc và mức độ kiểm soát cần thiết của bạn. Bạn có thể sử dụng Ultralytics Python package để có cách tiếp cận tích hợp đơn giản hơn hoặc sử dụng OpenVINO runtime gốc để có thêm sự linh hoạt và kiểm soát.

Link to this sectionChạy suy luận với Ultralytics Python package#

Sau khi model của bạn đã được xuất sang định dạng OpenVINO, bạn có thể chạy suy luận bằng cách sử dụng Ultralytics Python package. Cách tiếp cận này rất lý tưởng để thử nghiệm nhanh và triển khai hợp lý, vì nó sử dụng cùng một giao diện với việc huấn luyện và xuất.

Với cách này, bạn có thể tải model OpenVINO đã xuất từ thư mục của nó và chạy suy luận trên đầu vào như một ảnh hoặc video. Bạn cũng có thể chọn thiết bị để chạy bằng cách chỉ định các tùy chọn như "intel:cpu", "intel:gpu" hoặc "intel:npu", tùy thuộc vào phần cứng có sẵn trên hệ thống của bạn.

Đoạn mã dưới đây cho thấy cách tải model đã xuất và chạy suy luận trên một ảnh trong khi nhắm mục tiêu vào GPU. Sau khi suy luận hoàn tất, ảnh đầu ra được lưu vào thư mục “runs/detect/predict”.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Link to this sectionTận dụng gói OpenVINO gốc để suy luận#

Nếu bạn cần kiểm soát nhiều hơn cách model chạy trong môi trường sản xuất, bạn có thể sử dụng OpenVINO runtime gốc để suy luận. Phương pháp này hữu ích khi tích hợp các model vào các ứng dụng lớn hơn hoặc khi bạn muốn tinh chỉnh cách suy luận được thực thi trên phần cứng cụ thể.

OpenVINO cung cấp một cách thống nhất để chạy các model trên các CPU, GPU và NPU của Intel, cùng với các tính năng như thực thi bất đồng bộ và sử dụng hiệu quả các tài nguyên tính toán có sẵn. Để thiết lập điều này, bạn có thể làm việc trực tiếp với các tệp model đã xuất, bao gồm tệp .xml định nghĩa cấu trúc model và tệp .bin chứa các trọng số đã huấn luyện.

Tùy thuộc vào trường hợp sử dụng, bạn cũng có thể điều chỉnh các thiết lập như kích thước đầu vào hoặc các bước tiền xử lý. Thiết lập suy luận bao gồm khởi tạo OpenVINO runtime, tải và biên dịch model cho thiết bị mục tiêu, chuẩn bị dữ liệu đầu vào và sau đó chạy suy luận.

Hình 5. Ví dụ về một pipeline suy luận điển hình với OpenVINO (Nguồn)

Điều này cho phép bạn kiểm soát cách model được thực thi và cách nó phù hợp vào quá trình triển khai tổng thể của bạn. Để tìm hiểu thêm về thiết lập và chạy suy luận với OpenVINO runtime, bạn có thể khám phá tài liệu chính thức của Ultralytics.

Link to this sectionCác ứng dụng thực tế của YOLO26 trên phần cứng Intel#

Giá trị thực sự của tích hợp Ultralytics và OpenVINO thể hiện rõ trong môi trường sản xuất, nơi việc suy luận đáng tin cậy với độ trễ thấp có thể tạo ra sự khác biệt hữu hình. Dưới đây là cái nhìn về một số ngành công nghiệp then chốt nơi tích hợp này mang lại kết quả ý nghĩa:

• Sản xuất: Bằng cách xuất YOLO26 sang OpenVINO, các hệ thống dây chuyền sản xuất có thể tự động phát hiện các lỗi thị giác như thiếu thành phần, căn chỉnh sai hoặc hư hỏng bề mặt trên phần cứng Intel, giúp cải thiện chất lượng sản phẩm và giảm thiểu các lỗi gây tốn kém.

• Chăm sóc sức khỏe: Các hệ thống chẩn đoán hình ảnh y tế và giám sát bệnh nhân có thể chạy các model YOLO26 đã xuất cục bộ trên phần cứng Intel, hỗ trợ các yêu cầu nghiêm ngặt về quyền riêng tư dữ liệu trong khi vẫn duy trì hiệu năng suy luận đáng tin cậy.

• Thành phố thông minh: Giám sát giao thông và phân tích đám đông có thể được triển khai bằng các model YOLO26 đã xuất trên các camera biên tích hợp Intel, cho phép thu thập thông tin thời gian thực như đếm phương tiện, theo dõi người đi bộ và phát hiện sự cố.

• Ô tô: Độ trễ thấp và hiệu quả năng lượng là rất quan trọng trong việc giám sát tài xế và cảm biến trong cabin, khiến phần cứng Intel kết hợp với các model YOLO26 đã xuất trở thành sự lựa chọn phù hợp cho các hệ thống ô tô nhúng.

Nếu bạn muốn biết thêm về tích hợp này, hãy tham gia cùng chúng tôi tại chuỗi hội thảo Intel OpenVINO DevCon workshop series, “Từ Gán nhãn đến Triển khai: Xây dựng Pipeline Phát hiện đối tượng với Geti, YOLO26 và OpenVINO™”, nơi Quản lý Hệ sinh thái và Đối tác của chúng tôi, Francesco Mattioli, sẽ cùng với Người truyền bá AI Software của Intel, Adrian Boguszewski, thực hiện minh họa trực tiếp và hướng dẫn cách xây dựng các pipeline thị giác máy tính sẵn sàng cho sản xuất trong các kịch bản công nghiệp thực tế. Hội thảo sẽ giới thiệu một quy trình phát hiện đối tượng hoàn chỉnh, từ tạo tập dữ liệu và huấn luyện model đến tối ưu hóa và triển khai biên.

Link to this sectionLợi ích của việc sử dụng định dạng xuất OpenVINO#

Dưới đây là một số ưu điểm chính của việc sử dụng định dạng xuất OpenVINO:

• Dễ tiếp cận và tích hợp: Với một API thống nhất và hơn 80 tutorial notebook, OpenVINO giúp việc chuyển từ thử nghiệm sang triển khai trở nên dễ dàng hơn mà không gây ra sự phức tạp đáng kể.

• Chạy cùng một model trên các phần cứng khác nhau: OpenVINO cho phép bạn sử dụng một model đã xuất duy nhất trên các phần cứng Intel được hỗ trợ, triển khai nó trên CPU, GPU hoặc NPU mà không cần viết lại hoặc điều chỉnh cho từng thiết bị.

• Tối ưu hóa tích hợp trong quá trình xuất: Xuất sang OpenVINO chuyển đổi các model từ các framework phổ biến như PyTorch và TensorFlow sang một định dạng tối ưu sẵn sàng cho suy luận, loại bỏ nhu cầu cho các bước chuyển đổi riêng biệt.

• Tận dụng tốt hơn tài nguyên phần cứng: OpenVINO hỗ trợ suy luận bất đồng bộ và cân bằng tải trên phần cứng Intel, giúp cải thiện hiệu quả trong các ứng dụng thực tế.

Link to this sectionChạy YOLO26 với ExecuTorch và backend OpenVINO#

Nếu bạn đang triển khai YOLO26 trong các môi trường sản xuất đòi hỏi khắt khe hơn, có một tùy chọn khác có sẵn kết hợp hiệu quả trên thiết bị với nén model nâng cao.

ExecuTorch, framework suy luận trên thiết bị của PyTorch, hỗ trợ backend OpenVINO cho phép bạn triển khai YOLO26 trên phần cứng Intel thông qua một đường dẫn xuất và runtime khác.

Cách thức hoạt động là ExecuTorch xử lý việc xuất model và thực thi runtime, trong khi OpenVINO đóng vai trò là lớp tăng tốc phần cứng bên dưới, xử lý việc tính toán thực tế trên CPU, GPU hoặc NPU của Intel. Cả hai kết hợp với nhau để bạn có được tính di động và hiệu quả trên thiết bị của ExecuTorch kết hợp với các tối ưu hóa đặc thù phần cứng mà OpenVINO cung cấp.

Để tìm hiểu thêm về cách hoạt động này và cách bắt đầu với YOLO26 trên ExecuTorch và backend OpenVINO, hãy xem blog của Intel về các bản cập nhật mới nhất cho ExecuTorch và OpenVINO.

Link to this sectionCác điểm chính cần lưu ý#

Việc xuất các model YOLO26 thông qua tích hợp Ultralytics và OpenVINO cải thiện hiệu năng trên phần cứng Intel mà không làm tăng độ phức tạp cho quy trình làm việc của bạn. Bạn có thể chuyển từ huấn luyện sang triển khai mà không cần làm lại pipeline của mình. Nhìn chung, điều này cung cấp một cách đơn giản để chạy các model một cách hiệu quả trên các CPU, GPU và NPU của Intel trong các ứng dụng thực tế.

Hãy tham gia cộng đồng của chúng tôi và khám phá GitHub repository để tìm hiểu thêm về Vision AI. Hãy xem các tùy chọn cấp phép của chúng tôi để khởi động các dự án thị giác máy tính của bạn. Bạn quan tâm đến các đổi mới như AI trong sản xuất hay thị giác máy tính trong ngành ô tô? Hãy truy cập các trang giải pháp của chúng tôi để khám phá thêm.