在 Intel Core Ultra Series 3 (Panther Lake) 上使用 OpenVINO 加速 Ultralytics YOLO26

过去几年中，人工智能和计算机视觉已从实验性技术转变为日常业务运营的关键部分。事实上，调查显示约有 88% 的组织 已经在其业务的至少一个环节中应用了人工智能。

However, turning that adoption into real value, whether in production systems or personal projects, often comes down to how well models actually run once deployed. In many real-world scenarios, computer vision models like Ultralytics YOLO26 are deployed on edge devices and a range of hardware, often CPUs, integrated GPUs, or NPUs, rather than high-end GPUs.

这就是性能可能出现差异的地方，也是优化变得至关重要之处。如果一个模型没有针对底层硬件进行适当优化，那么它在一个环境中表现良好，在另一个环境中可能会遇到困难。

为了简化这一流程，Ultralytics Python package 支持将 YOLO26 模型导出为 OpenVINO 等优化格式，以便它们能在 Intel 硬件上流畅运行，且无需更改你的工作流。

例如，当 YOLO26 模型导出为 OpenVINO 格式时，它在 Intel Core Ultra Series 3 处理器上的运行效率会更高，GPU 推理速度最高可提升三倍。

在本文中，我们将探讨升级后的 Ultralytics 与 OpenVINO 集成 如何让你更轻松地在 Intel Core Ultra Series 3 硬件上部署 YOLO26 模型。让我们开始吧！

Link to this sectionUltralytics x OpenVINO 集成概述#

Ultralytics Python package 提供了一个统一的界面，用于训练、运行推理以及部署 Ultralytics YOLO 模型（如 YOLO26）。它支持一系列 集成，这些集成有助于处理视觉 AI 工作流的不同部分，从训练和实验到部署和优化。

其中一个侧重于部署的集成是 OpenVINO 工具包，它使你能够将 YOLO26 模型导出为适用于 Intel 硬件 的优化格式。此过程将 YOLO 模型转换为在 Intel CPU、GPU 和 NPU 上运行效率更高的格式，包括由 Intel® Core™ Ultra™ 系列处理器驱动的系统。

这使得在不同的 Intel 设备上运行模型变得更加精简，无需为每种配置手动调整它们。无论你是使用本地机器、边缘设备还是进行大规模部署，同一个导出的模型都可以被重复利用。

该集成特别实用之处在于它能无缝融入现有的 Ultralytics 工作流。你可以使用与训练和推理相同的界面来导出模型，无需额外工具或复杂的设置。

导出后，根据你所需的控制程度和灵活性，可以通过 Ultralytics Python package 或 OpenVINO Runtime 使用该模型进行推理。

Link to this section深入了解用于 AI 推理的 OpenVINO 和 Intel Panther Lake 硬件#

在了解导出的 YOLO26 模型如何在 Intel 硬件上高效运行之前，让我们退后一步，看看 OpenVINO 和 Intel 硬件是如何协同工作以实现高效推理的。

OpenVINO 是一个开源工具包，旨在优化并运行跨 Intel 硬件（包括 CPU、集成 GPU 和 NPU）的 AI 推理。它提供了一个统一的运行时，因此同一个模型可以在这些不同的计算单元上运行，而无需重新编写。

图 1. OpenVINO 可以轻松地将模型部署到多个硬件目标上。(来源)

在新的 Intel® Core™ Ultra™ Series 3 处理器（代号 Panther Lake）上，AI 工作负载在同一处理器内的多个计算单元上运行。每块芯片都集成了用于通用任务的 CPU 内核、用于并行处理的集成 GPU，以及专为 AI 推理设计的专用 NPU。

OpenVINO 提供了一个统一的 API，让你能够针对任何这些计算单元（无论是 CPU、GPU 还是 NPU），而无需更改代码。你只需在运行时指定要在哪个设备上运行推理，即可根据性能和效率需求在三者之间轻松切换。

Link to this section在 Intel® Core™ Ultra™ 系列上对 YOLO26 进行基准测试#

在你探索 Ultralytics 和 OpenVINO 集成时，你可能想知道：将 YOLO26 导出为 OpenVINO 格式能带来什么样的模型性能提升？

在不同格式和精度级别上对 YOLO26 模型进行基准测试时，推理速度的差异显而易见。例如，当在 Panther Lake 处理器 Intel Core Ultra X7 358H 上运行 YOLO26 的 Nano 版本 (YOLO26n) 时，使用集成 NPU 的 OpenVINO 将 FP32 精度下的推理时间从 PyTorch 的 25.18 毫秒/图像降至 2.64 毫秒。

这比原始的 PyTorch FP32 基准测试更快，在延迟至关重要的实时和边缘应用中，这会产生显著差异。当在集成的 Intel Arc GPU 上运行同一模型时，这些收益会变得更加明显。

图 2. 使用 OpenVINO 在 Intel Panther Lake GPU 上对 YOLO26 推理进行基准测试 (来源)

图 3. 使用 OpenVINO 在 Intel Panther Lake NPU 上对 YOLO26 推理进行基准测试 (来源)

Link to this section探索将 Ultralytics YOLO26 导出为 OpenVINO 格式的两种方式#

将 YOLO26 模型导出为 OpenVINO 格式主要有两种方式。你可以使用 Ultralytics Python package，或者直接通过 Ultralytics Platform 导出，后者是一个用于在单一位置构建和管理计算机视觉工作流的端到端工作空间。接下来，我们将介绍这两种方法。

Link to this section使用 Ultralytics Python package 导出 YOLO26#

Ultralytics Python package 提供了一种在基于代码的工作流中将 YOLO26 模型导出为 OpenVINO 格式的简便方法。由于训练和推理使用相同的界面，导出模型可以自然地融入现有的管道中，而无需额外的工具。

要开始使用，你可以安装 Ultralytics 包。可以通过在终端或命令提示符中运行命令 “pip install ultralytics” 来完成。如果你在 Jupyter Notebook 或 Google Colab 等交互式环境中使用，可以通过在命令前加上感叹号来运行同一命令。

安装完成后，你可以加载训练好的 YOLO26 模型并将其直接导出为 OpenVINO 格式。如下所示，预训练的 YOLO26n 模型 (yolo26n.pt) 被加载，然后使用 export 方法转换为 OpenVINO 格式。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

运行代码后，转换后的模型将保存到新目录中，在那里可以将其用于部署。

Link to this section在 Ultralytics Platform 上导出 YOLO26#

如果你正在寻找一种更简单的无代码方法，你可以通过 Ultralytics Platform 直接 导出 YOLO26 模型。该平台将完整的计算机视觉工作流汇集到一个单一的工作空间中，使你无需额外设置即可轻松地从训练过渡到部署。

模型准备就绪后，你可以在平台内打开它并导航到“导出”(Export) 选项卡。从那里，你可以选择 OpenVINO 作为导出格式，并根据需要调整图像大小或精度等设置。

图 4. 在 Ultralytics Platform 内导出 YOLO26 的预览

平台会自动处理转换，因此无需管理脚本、依赖项或环境配置。导出完成后，即可下载优化后的模型，并将其用于跨 Intel CPU、GPU 和 NPU 的部署。

Link to this sectionUltralytics x OpenVINO 集成启用的部署选项#

一旦 YOLO26 模型被导出为 OpenVINO 格式，根据你的工作流和所需的控制水平，有两种运行推理的方式。你可以使用 Ultralytics Python package 获得更简单、集成的方案，或者使用原生的 OpenVINO runtime 以获得更高的灵活性和控制力。

Link to this section使用 Ultralytics Python package 运行推理#

模型导出为 OpenVINO 格式后，你可以使用 Ultralytics Python package 运行推理。这种方法非常适合快速测试和精简部署，因为它使用了与训练和导出相同的界面。

通过这种方法，你可以从其目录中加载导出的 OpenVINO 模型，并对图像或视频等输入进行推理。你还可以通过指定选项（如 “intel:cpu”、“intel:gpu” 或 “intel:npu”）来选择运行的设备，具体取决于你系统上可用的硬件。

下面的代码片段展示了如何加载导出的模型并对图像进行推理，同时以 GPU 为目标。推理完成后，输出的图像将保存到 “runs/detect/predict” 目录中。

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Link to this section利用原生 OpenVINO 包进行推理#

如果你需要对模型在生产环境中的运行方式有更多控制，可以使用原生的 OpenVINO runtime 进行推理。当将模型集成到更大的应用程序中，或者想要微调推理在特定硬件上的执行方式时，这种方法非常有用。

OpenVINO 提供了一种跨 Intel CPU、GPU 和 NPU 运行模型的统一方法，并具有诸如异步执行和高效利用可用计算资源等功能。要进行设置，你可以直接处理导出的模型文件，包括定义模型结构的 .xml 文件和包含训练权重的 .bin 文件。

根据你的用例，你还可以调整输入大小或预处理步骤等设置。推理设置涉及初始化 OpenVINO runtime、加载并编译目标设备的模型、准备输入数据，然后运行推理。

图 5. 使用 OpenVINO 进行典型推理管道的示例 (来源)

这使你能够控制模型的执行方式以及它如何适应你的整体部署。要了解有关使用 OpenVINO runtime 设置和运行推理的更多信息，你可以探索官方 Ultralytics 文档。

Link to this sectionYOLO26 在 Intel 硬件上的实际应用#

Ultralytics 和 OpenVINO 集成的真正价值体现在生产中，可靠且低延迟的推理可以带来实质性的改变。以下是该集成推动显著成果的一些关键行业：

• 制造业：通过将 YOLO26 导出为 OpenVINO，生产线系统可以在 Intel 硬件上自动检测视觉缺陷，例如缺失组件、未对准或表面损坏，从而帮助提高产品质量并减少昂贵的错误。

• 医疗保健：医学影像和患者监测系统可以在本地 Intel 硬件上运行导出的 YOLO26 模型，在支持严格数据隐私要求的同时保持可靠的推理性能。

• 智慧城市：交通监测和人群分析可以使用导出的 YOLO26 模型部署在 Intel 驱动的边缘摄像机上，从而实现实时洞察，如车辆计数、行人跟踪和事件检测。

• 汽车行业：低延迟和能效在驾驶员监控和舱内传感中至关重要，这使得搭配导出 YOLO26 模型的 Intel 硬件成为嵌入式汽车系统的理想选择。

如果你想了解有关此集成的更多信息，请加入我们的 Intel OpenVINO DevCon 研讨会系列，“从标注到部署：利用 Geti、YOLO26 和 OpenVINO™ 构建目标检测管道”，届时我们的合作伙伴与生态系统经理 Francesco Mattioli 将与 Intel 的 AI 软件传道者 Adrian Boguszewski 一起，通过实时演示和指导，展示如何为现实工业场景构建生产就绪的计算机视觉管道。该研讨会将以一个完整的端到端目标检测工作流为特色，涵盖从数据集创建和模型训练到优化和边缘部署的全过程。

Link to this section使用 OpenVINO 导出格式的好处#

以下是使用 OpenVINO 导出格式的一些主要优势：

• 易于访问和集成：凭借统一的 API 和 80 多本教程笔记本，OpenVINO 使从实验到部署的过程变得更加容易，且不会引入太大的复杂性。

• 在不同硬件上运行同一个模型：OpenVINO 让你能在支持的 Intel 硬件上使用单个导出模型，将其部署在 CPU、GPU 或 NPU 上，而无需为每种设备重写或调整。

• 导出期间的内置优化：导出为 OpenVINO 会将来自 PyTorch 和 TensorFlow 等主流框架的模型转换为准备好进行推理的优化格式，从而无需单独的转换步骤。

• 更好地利用硬件资源：OpenVINO 支持异步推理和跨 Intel 硬件的负载均衡，有助于提高实际应用中的效率。

Link to this section使用 ExecuTorch 和 OpenVINO 后端运行 YOLO26#

如果你是在要求更高的生产环境中部署 YOLO26，还有另一种选择，它结合了设备端效率与先进的模型压缩技术。

ExecuTorch 是 PyTorch 的设备端推理框架，它支持 OpenVINO 后端，允许你通过不同的导出和运行时路径在 Intel 硬件上部署 YOLO26。

其工作原理是 ExecuTorch 处理模型导出和运行时执行，而 OpenVINO 作为底层的硬件加速层，负责处理跨 Intel CPU、GPU 或 NPU 的实际计算。两者协同工作，使你既能获得 ExecuTorch 的可移植性和设备端效率，又能结合 OpenVINO 提供的特定硬件优化。

要了解有关其工作原理以及如何开始在 ExecuTorch 和 OpenVINO 后端上使用 YOLO26 的更多信息，请查看 Intel 博客中关于最新 ExecuTorch 和 OpenVINO 更新的内容。

Link to this section关键要点#

通过 Ultralytics 和 OpenVINO 集成导出 YOLO26 模型，无需增加工作流的复杂性即可提高 Intel 硬件的性能。你可以从训练过渡到部署而无需重做管道。总体而言，这为在现实应用中跨 Intel CPU、GPU 和 NPU 高效运行模型提供了一种简单明了的方法。

加入 我们的社区 并浏览我们的 GitHub 仓库 以了解更多关于视觉 AI 的信息。查看 我们的许可选项 以启动你的计算机视觉项目。对 制造业中的 AI 或 汽车行业中的计算机视觉 等创新感兴趣？请访问我们的解决方案页面以了解更多。