使用 OpenVINO™ 无缝部署 Ultralytics YOLO11

AI 的普及取决于 AI 解决方案是否易于使用，其中很大一部分在于让它们能够轻松部署到人们现有的硬件上。在 GPU（图形处理单元）上运行 AI 模型，在性能和并行处理能力方面都是很好的选择。

然而，现实情况是，并非所有人都能使用高端 GPU，尤其是在边缘环境或日常使用的笔记本电脑上。因此，优化模型，使其能够在更广泛可用的硬件（如 CPU（中央处理单元）、集成 GPU 和 NPU（神经处理单元））上高效运行，就显得尤为重要。

例如，计算机视觉 是 AI 的一个分支，能够让机器实时分析和理解图像及视频流。像 Ultralytics YOLO11 这样的视觉 AI 模型支持目标检测和实例分割等关键任务，为从零售分析到医学诊断的各种应用提供支持。

图 1。 使用 Ultralytics YOLO11 在零售店中检测和分割目标。

为了让计算机视觉更广泛地普及，Ultralytics 发布了与 OpenVINO 工具包更新后的集成。OpenVINO 是一个用于在 CPU、GPU 和 NPU 上优化并运行 AI 推理的开源项目。

借助这一集成，你可以更轻松地导出和部署 YOLO11 模型，在 CPU 上实现最高 3 倍的推理加速，并提升 Intel GPU 和 NPU 上的性能。本文将介绍如何使用 Ultralytics Python 软件包将 YOLO11 模型导出为 OpenVINO 格式，并使用它进行推理。让我们开始吧！

Ultralytics YOLO11 概览#

在深入了解 Ultralytics 支持的 OpenVINO 集成细节之前，我们先来看看 YOLO11 作为可靠且高性能计算机视觉模型的优势。YOLO11 是 Ultralytics YOLO 系列中的最新模型，在速度和精度方面都进行了显著改进。

YOLO11 的一大亮点是高效。例如，Ultralytics YOLO11m 的参数量比 Ultralytics YOLOv8m 少 22%，但在 COCO 数据集上实现了更高的平均精度均值（mAP）。这意味着它运行速度更快，同时目标检测也更准确，非常适合性能和响应速度至关重要的实时应用。

图 2。 Ultralytics YOLO11 的性能基准。

除了目标检测之外，YOLO11 还支持各种高级计算机视觉任务，例如实例分割、姿态估计、图像分类、目标跟踪和定向边界框检测。YOLO11 也对开发者十分友好，Ultralytics Python 软件包为模型训练、评估和部署提供了简单且一致的接口。

此外，Ultralytics Python 软件包还支持各种集成和多种导出格式，包括 OpenVINO、ONNX 和 TorchScript，让你可以轻松将 YOLO11 集成到各种部署流水线中。无论你的目标是云基础设施、边缘设备还是嵌入式系统，导出过程都简单直接，并且能够适应你的硬件需求。

什么是 OpenVINO™？#

OpenVINO™（开放视觉推理与神经网络优化）是一个用于在各种硬件上优化和部署 AI 推理的开源工具包。它支持开发者在各种 Intel 平台上高效运行高性能推理应用，包括 CPU、集成式和独立 GPU、NPU 以及 FPGA（现场可编程门阵列）。

OpenVINO 通过面向设备的插件提供统一的运行时接口，从而抽象了不同硬件之间的差异。这意味着开发者只需编写一次代码，就能使用一致的 API 部署到多个 Intel 硬件目标上。

以下是 OpenVINO 成为优秀部署选择的一些关键功能：

• 模型转换器：该工具可以转换和准备来自 热门框架的模型，例如 PyTorch、ONNX、TensorFlow、PaddlePaddle 等，使其能够针对 Intel 硬件上的高效推理进行优化。
• 异构执行：你无需针对不同的 Intel 硬件重写代码。OpenVINO 可以让你轻松地在任何受支持的硬件上运行同一个模型，从 CPU 到 GPU 均可。
• 量化支持：该工具包支持 FP16（默认）和 INT8 等低精度格式，有助于减小模型大小并加快推理速度，同时不会显著影响精度。

图 3。 OpenVINO 提供多样化的部署选项。

探索 Ultralytics x OpenVINO 集成#

现在我们已经了解了 OpenVINO 及其重要性，接下来讨论如何将 Ultralytics YOLO11 模型导出为 OpenVINO 格式，并在 Intel 硬件上执行高效推理。

第 1 步：安装 Ultralytics Python 软件包#

要将模型导出为 OpenVINO 格式，你首先需要安装 Ultralytics Python 软件包。该软件包提供训练、评估和导出 YOLO 模型（包括 YOLO11）所需的一切功能。

你可以在终端或命令提示符中运行命令“pip install ultralytics”进行安装。如果你在 Jupyter Notebook 或 Google Colab 等交互式环境中工作，只需在命令前添加感叹号即可。

此外，如果你在安装或导出过程中遇到问题，Ultralytics 文档和故障排除指南都是很好的资源，可以帮助你恢复正常。

步骤 2：将 Ultralytics YOLO11 模型导出为 OpenVINO 格式#

设置好 Ultralytics 软件包后，下一步是加载 YOLO11 模型，并将其转换为与 OpenVINO 兼容的格式。

在下面的示例中，我们使用预训练的 YOLO11 模型（“yolo11n.pt”）。导出功能会将其转换为 OpenVINO 格式。运行此代码后，转换后的模型将保存到名为“yolo11n_openvino_model”的新目录中。

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

步骤 3：使用导出的模型执行推理#

将 YOLO11 模型导出为 OpenVINO 格式后，你可以通过两种方式执行推理：使用 Ultralytics Python 软件包，或使用原生 OpenVINO Runtime。

使用 Ultralytics Python 软件包#

如下方代码片段所示，你可以使用 Ultralytics Python 软件包轻松部署导出的 YOLO11 模型。这种方法非常适合在 Intel 硬件上进行快速试验和简化部署。

你还可以指定用于推理的设备，例如“intel:cpu”、“intel:gpu”或“intel:npu”，具体取决于系统中可用的 Intel 硬件。

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

运行上述代码后，输出图像将保存到“runs/detect/predict”目录中。

图 4。使用导出的 Ultralytics YOLO11 模型在图像中检测目标。

使用原生 OpenVINO Runtime#

如果你希望以可自定义的方式执行推理，尤其是在生产环境中，OpenVINO Runtime 可以让你更好地控制模型的执行方式。它支持异步执行（并行运行多个推理请求）和负载均衡（在 Intel 硬件之间高效分配推理工作负载）等高级功能。

要使用原生运行时，你需要导出的模型文件：一个 .xml 文件（定义网络架构）和一个 .bin 文件（存储模型训练得到的权重）。你还可以根据应用配置输入尺寸或预处理步骤等其他参数。

典型的部署流程包括初始化 OpenVINO 核心、为目标设备加载并编译模型、准备输入以及执行推理。如需详细示例和分步指导，请参阅 Ultralytics OpenVINO 官方文档。

为什么选择 Ultralytics x OpenVINO 集成？#

在探索 Ultralytics 集成时，你会注意到 Ultralytics Python 软件包支持将 YOLO11 模型导出为多种格式，例如 TorchScript、CoreML、TensorRT 和 ONNX。那么，为什么要选择 OpenVINO 集成？

以下是 OpenVINO 导出格式非常适合在 Intel 硬件上部署模型的一些原因：

• **性能提升：**你可以在 Intel CPU 上体验最高 3 倍的推理速度，集成式 GPU 和 NPU 还可提供额外加速。
• 无需重新训练：你可以直接将现有的 Ultralytics YOLO11 模型导出为 OpenVINO 格式，无需修改或重新训练模型。
• 为规模化而生：同一个导出的模型可以部署到低功耗边缘设备和大规模云基础设施上，从而简化可扩展的 AI 部署。

你还可以在 OpenVINO™ Model Hub 上评估 Ultralytics YOLO11 模型在各种 Intel® 平台上的性能基准。OpenVINO Model Hub 是一个帮助开发者在 Intel 硬件上评估 AI 模型，并了解 OpenVINO 在 Intel CPU、内置 GPU、NPU 和独立显卡上性能优势的资源。

图 5。OpenVINO™ Model Hub：Ultralytics YOLO11 模型在各种 Intel® 平台上的性能基准。

Ultralytics YOLO11 和 OpenVINO 导出格式的应用#

借助 OpenVINO 集成，在真实场景中跨 Intel 硬件部署 Ultralytics YOLO11 模型变得更加简单。

智能零售就是一个很好的例子。Ultralytics YOLO11 可以帮助实时检测空货架、跟踪哪些产品库存不足，并分析顾客在店内的移动路径。这可以帮助零售商改善库存管理，并优化店铺布局，从而提升顾客参与度。

同样，在智慧城市中，YOLO11 可以通过实时统计车辆、跟踪行人以及检测闯红灯行为来监控交通。这些洞察有助于优化交通流、提高道路安全，并支持自动化执法系统。

图 6。 使用 YOLO11 统计车辆。

另一个有趣的应用场景是工业检测。Ultralytics YOLO11 可以部署在生产线上，自动检测缺少组件、错位或表面损坏等视觉缺陷。这有助于提高效率、降低成本并改善产品质量。

使用 OpenVINO 工具包时需要考虑的关键因素#

使用 OpenVINO 部署 Ultralytics YOLO11 模型时，以下是一些需要注意的重要事项，以获得最佳效果：

• 检查硬件兼容性：确保你的 Intel 硬件（无论是 CPU、集成 GPU 还是 NPU）受 OpenVINO 支持，以便模型高效运行。
• 安装正确的驱动程序：如果你使用 Intel GPU 或 NPU，请仔细确认所有必需的驱动程序都已正确安装并保持最新。
• 了解精度权衡：OpenVINO 支持 FP32、FP16 和 INT8 模型精度。每种精度都需要在速度和准确率之间进行权衡，因此请根据你的性能目标和可用硬件选择合适的选项。

要点总结#

将 Ultralytics YOLO11 导出为 OpenVINO 格式，可以轻松地在 Intel 硬件上运行快速、高效的视觉 AI 模型。你无需重新训练或更改代码，就可以将模型部署到 CPU、GPU 和 NPU 上。这是提升性能，同时保持简单性和可扩展性的好方法。

Ultralytics Python 软件包内置了相关支持，因此使用 OpenVINO 导出模型和执行推理都很简单。只需几个步骤，你就可以优化模型，并在各种 Intel 平台上运行它。无论你从事智能零售、交通监控还是工业检测，这套工作流程都能帮助你快速、自信地从开发迈向部署。

加入 YOLO 社区，并查看 Ultralytics 的 GitHub 代码仓库，详细了解 Ultralytics 支持的高影响力集成方案。此外，还可以查看 Ultralytics 许可选项，立即开始使用计算机视觉！

报名参加我们即将举行的网络研讨会，了解 Ultralytics × OpenVINO 集成的实际运行效果，并访问 OpenVINO 网站，探索用于大规模优化和部署 AI 的工具。