使用 OpenVINO 在 Intel AI PC 上运行 Ultralytics YOLO 模型

YOLO Vision 2024（YV24）是 Ultralytics 的年度线上线下结合活动，汇聚了全球 AI 爱好者、开发者和专家，共同探索计算机视觉领域的最新创新。YV24邀请 AI 行业的重要参与者展示他们的最新创新成果。其中，Intel 发表了主题演讲，介绍其新款 AI PC，以及 Intel OpenVINO与 Ultralytics YOLO11等 Ultralytics YOLO 模型的集成。

本次演讲由 Adrian Boguszewski和 Dmitriy Pastushenkov主讲。Adrian 是软件技术布道师，曾参与编写 LandCover.ai 数据集，并向开发者介绍 Intel OpenVINO 工具套件；Dmitriy 是 AI PC 技术布道师，在工业自动化和 AI 领域拥有 20 多年的经验。活动期间，Adrian 表示：“今天的活动很棒，不仅因为 Ultralytics 发布了新的 YOLO 版本，还因为我们能够展示这个新模型在我们的新硬件上运行，以及 OpenVINO 的新版本。”

本文将回顾 Intel 在 YV24 的演讲要点，涵盖 Intel AI PC、Intel Core Ultra 200V 系列，以及它们如何通过 OpenVINO 工具套件与 Ultralytics YOLO 模型集成。

2024 年的 AI 技术#

Dmitriy 在主题演讲开场介绍了传统 AI 与生成式 AI之间的主要区别，重点探讨了这些技术及其用例在 2024 年的发展。计算机视觉和自然语言处理等传统 AI 技术，一直是姿态估计、目标检测和语音识别等任务的重要基础。而生成式 AI 则代表了新一波 AI 技术，其应用包括聊天机器人、文生图、代码编写，甚至文生视频。

图 1. Intel 的 Adrian 和 Dmitriy 在 YV24 舞台上讨论 AI 应用场景。

Dmitriy 指出了两者在规模上的差异。他解释说，传统 AI 模型包含数百万个参数，而生成式 AI 模型的规模则大得多。生成式 AI 模型通常包含数十亿甚至数万亿个参数，因此对计算资源的需求要高得多。

Intel AI PC：AI 硬件的新前沿#

Dmitriy 介绍了 Intel AI PC，这是一种全新的硬件解决方案，旨在应对高效运行传统 AI 模型和生成式 AI 模型所面临的日益严峻的挑战。Intel AI PC 是一台性能强大、能效出色的机器，能够在本地运行各种 AI 模型，无需依赖云端处理。

本地处理有助于保护敏感数据的隐私。AI 模型无需互联网连接即可运行，这有助于解决行业对隐私和安全的伦理顾虑。

Intel AI PC 的核心驱动力是 Intel Core Ultra 200V 系列处理器。该处理器集成了三个关键组件：中央处理器（CPU）、图形处理器（GPU）和神经网络处理器（NPU）。每个组件都负责处理不同类型的 AI 工作负载。CPU 适合需要快速响应的小型低延迟任务，GPU 则针对运行 AI 模型等高吞吐量操作进行了优化。NPU 专为提升能效而设计，非常适合使用 YOLO11 等模型执行实时目标检测等长时间运行的任务。

演讲还指出，CPU 的性能最高可达 5 TOPS（每秒万亿次运算），GPU 最高可达 67 TOPS，而 NPU 则能以高能效方式持续运行 AI 任务，而不会耗尽系统资源。

Intel 的 AI 技术进展：Intel Core Ultra 200V 系列#

Intel Core Ultra 200V 系列处理器将三个 AI 引擎——NPU、CPU 和 GPU——集成到一枚小型芯片中。其设计非常适合笔记本电脑等紧凑型设备。

这款处理器还内置了 RAM，减少了对独立显卡的需求，从而降低功耗并让设备保持小巧。Dmitriy 还强调了处理器的灵活性。用户可以根据任务需求，选择在 CPU、GPU 或 NPU 上运行 AI 模型。例如，使用 YOLO11 模型进行目标检测可以在其中任一引擎上运行；而文本生成图像等更复杂的任务，则可以同时使用 GPU 和 NPU，以获得更好的性能。

演示过程中，Dmitriy 从口袋里拿出这块芯片，让大家直观感受到它究竟有多小——尽管它能够处理如此先进的 AI 任务。这种展示方式既有趣又令人印象深刻，也展现了 Intel 如何将强大的 AI 能力带给更多便携实用的设备。

图 2. Intel Core Ultra 200V 处理器可以装进口袋。

使用 Intel OpenVINO 优化 AI 模型#

展示了 Intel 最新硬件后，Dmitriy 转而介绍 Intel 的 AI 软件栈。他介绍了 OpenVINO，这是 Intel 的开源框架，旨在帮助你在不同设备上高效地优化和部署 AI 模型。OpenVINO 不仅支持视觉任务，还支持用于自然语言处理、音频处理、Transformer 等领域的 AI 模型。

OpenVINO 兼容 PyTorch、TensorFlow 和 ONNX等常用框架，开发者可以轻松将其集成到工作流中。他特别介绍了一项关键功能：量化。量化会压缩模型权重以减小模型体积，使大型模型无需借助云端也能在本地设备上流畅运行。OpenVINO 支持多种框架，可在 CPU、GPU、NPU、FPGA 甚至 ARM 设备上运行，并支持 Windows、Linux 和 macOS。Dmitriy 还向观众演示了如何轻松开始使用 OpenVINO。

图 3. Dmitriy 演示如何开始使用 OpenVINO。

将 Ultralytics 与 Intel OpenVINO 集成#

在演讲的第二部分，Adrian 接过话筒，介绍了 Ultralytics YOLO 模型与 Intel OpenVINO 工具套件的集成，以及这种集成如何简化 YOLO 模型的部署流程。他逐步说明了如何通过 Ultralytics Python 软件包将 YOLO 模型导出为 OpenVINO 格式，整个过程既快速又简单。这种集成让开发者更轻松地针对 Intel 硬件优化模型，并充分发挥两个平台的优势。

图 4. Adrian 讲解 Ultralytics 如何让你轻松将模型导出为 OpenVINO 格式。

Adrian 演示了 Ultralytics YOLO 模型训练完成后，用户只需几个简单的命令行标志就能将其导出。例如，用户可以指定将模型导出为追求最高精度的浮点版本，或导出为速度和效率更高的量化版本。他还介绍了开发者如何直接通过代码管理这一流程，例如使用 INT8 量化提升性能，同时避免精度损失过大。

Intel AI PC 上的实时 AI 演示#

Intel 团队将这些理论付诸实践，在 Intel AI PC 上运行 YOLO11，并展示了实时目标检测演示。Adrian 展示了系统如何在不同处理器上运行模型：使用浮点模型时，CPU 可达到每秒 36 帧（FPS）；集成 GPU 可达到 100 FPS 以上；使用 INT8 量化版本时则可达到 70 FPS。演示展现了 Intel AI PC 处理复杂 AI 任务的高效能力。

他还指出，系统可以并行运行模型，在所有数据或视频帧都预先就绪的任务中，同时使用 CPU、GPU 和 NPU。这对于处理视频等重负载任务很有用。系统可以将工作负载分配到不同处理器上，从而提升速度和效率。

总结时，Adrian 提到，用户可以在家中体验演示，包括人数统计和智能队列管理等解决方案。随后，他展示了一个额外演示：用户可以输入提示词，通过 GPU 实时生成梦幻般的图像。这个演示展现了 Intel AI PC 在传统 AI 任务以及创意生成式 AI 项目中的多功能性。

使用 Intel OpenVINO 进行实时目标检测#

活动现场，Intel 设有展位，展示了使用 Ultralytics YOLO11 在 Intel AI PC 上运行的实时目标检测演示。与会者得以现场观看模型运行：模型经 OpenVINO 优化后，部署在 Intel Core Ultra 200V 处理器上。

图 5. 与会者有机会在 Intel OpenVINO 展位观看实时演示。

在 Intel 展位上，Dmitriy 分享道：“这是我第一次参加 YOLO Vision，很高兴来到马德里。我们展示的是 Ultralytics 的 YOLO11 模型，它运行在 Intel Core Ultra 200V 处理器上，性能非常出色。我们使用 OpenVINO 来优化和部署模型。与 Ultralytics 合作并在最新的 Intel 硬件上运行模型非常简单，而且可以充分利用 CPU、GPU 和 NPU。”展位还准备了一些有趣的赠品，例如供与会者带回家的 T 恤和笔记本。

要点#

Intel 在 YV24 上的技术分享介绍了 Intel Core Ultra 200V 系列处理器，并展示了 OpenVINO 工具包如何优化 Ultralytics YOLO11 等 AI 模型。这种集成让用户能够直接在设备上运行 YOLO 模型，为目标检测等计算机视觉任务提供出色性能。其主要优势是用户无需依赖云服务。

开发者和 AI 爱好者可以运行和微调 YOLO 模型，充分利用 CPU、GPU 和 NPU 等硬件来构建实时应用。Intel OpenVINO 工具套件与 Ultralytics YOLO 模型相结合，为将先进 AI 能力直接带到个人设备开辟了新的可能性，是开发面向各行业 AI 应用的有力选择。

访问我们的 GitHub 代码仓库，了解我们的贡献并加入社区。看看我们如何利用 AI 为制造业和医疗保健等行业带来积极影响。