在搭载 OpenVINO 的 Intel AI PC 上运行 Ultralytics YOLO 模型

YOLO Vision 2024 (YV24) 是 Ultralytics 的年度混合活动，汇聚了来自世界各地的 AI 爱好者、开发者和专家，共同探索计算机视觉领域的最新创新。YV24 是一个讨论新突破的绝佳机会和平台。活动邀请了 AI 行业的领军人物介绍他们的最新创新。其中，Intel 参加了活动并发表主题演讲，介绍了他们开创性的 AI PC 以及 Intel OpenVINO 与 Ultralytics YOLO 模型（如 Ultralytics YOLO11）的集成。

演讲由软件布道师 Adrian Boguszewski（他共同合著了 LandCover.ai 数据集并向开发者普及 Intel 的 OpenVINO 工具包）以及拥有 20 多年工业自动化和 AI 经验的 AI PC 布道师 Dmitriy Pastushenkov 主讲。活动期间，Adrian 表达了他的兴奋并表示：“今天的活动非常棒，不仅因为 Ultralytics 发布了新 YOLO 版本，还因为我们能够展示这个在新硬件上运行的新模型，以及新版本的 OpenVINO。”

在本文中，我们将回顾 Intel 在 YV24 上的演讲的核心亮点，深入探讨其 AI PC（Intel Core Ultra 200V 系列）的方方面面，以及它们如何使用 OpenVINO 工具包与 Ultralytics YOLO 模型集成。我们开始吧！

2024 年的前沿 AI 技术#

Dmitriy 以深入探讨传统 AI 与生成式 AI 之间的核心区别拉开了主题演讲的序幕。重点围绕这些技术及其用例在 2024 年的发展。传统 AI 技术（如计算机视觉和自然语言处理）一直是姿态估计、目标检测和语音识别等任务不可或缺的基础。然而，生成式 AI 代表了新一波的 AI 技术，涉及聊天机器人、文生图生成、代码编写甚至文生视频等应用。

图 1. 来自 Intel 的 Adrian 和 Dmitriy 在 YV24 舞台上讨论 AI 用例。

Dmitriy 指出了两者在规模上的差异。他解释说，虽然传统 AI 模型包含数百万个参数，但生成式 AI 模型的运行规模要大得多。生成式 AI 模型通常包含数十亿甚至数万亿个参数，这使得它们对计算能力的需求高得多。

Intel AI PC：AI 硬件的新前沿#

Dmitriy 推出了 Intel AI PC，这是一款旨在解决高效运行传统和生成式 AI 模型日益增长的挑战的硬件解决方案。Intel AI PC 是一台强大且节能的机器。它能够在本地运行各种 AI 模型，而无需依赖基于云的处理。

本地处理有助于保护敏感的数据隐私。当 AI 模型能够独立于互联网连接运行立体时，各行业对隐私和安全的伦理关切就得到了回应。

Intel AI PC 背后的驱动力是 Intel Core Ultra 200V 系列处理器。该处理器包含三个核心组件：中央处理器 (CPU)、图形处理器 (GPU) 和神经处理器 (NPU)。每个组件在处理不同类型的 AI 工作负载时都发挥着特定的作用。CPU 非常适合需要快速响应的较小、低延迟任务，而 GPU 则针对运行 AI 模型等高吞吐量操作进行了优化。专为能效而设计的 NPU 非常适合使用像 YOLO11 这样的模型进行实时目标检测等长时间运行的任务。

会议强调了 CPU 可提供高达 5 TOPS（每秒万亿次运算）的性能，GPU 可提供高达 67 TOPS，而 NPU 则提供了一种节能的方式来持续运行 AI 任务，而不会耗尽系统资源。

Intel 的 AI 进步：Intel Core Ultra 200V 系列#

Intel Core Ultra 200V 系列处理器将 NPU、CPU 和 GPU 这三个 AI 引擎集成到一个小型芯片中。其设计非常适合笔记本电脑等紧凑型设备，且不会牺牲性能。

该处理器还内置了 RAM，减少了对独立显卡的需要。这有助于降低功耗并保持设备的紧凑性。Dmitriy 还强调了处理器的灵活性。用户可以根据任务决定是在 CPU、GPU 还是 NPU 上运行 AI 模型。例如，使用 YOLO11 模型进行目标检测可以在这些引擎中的任意一个上运行，而像文生图生成这样更复杂的任务可以同时使用 GPU 和 NPU 以获得更好的性能。

在演示过程中，Dmitriy 从口袋里掏出了芯片，让每个人都清晰地感受到了它究竟有多小——尽管它具备处理如此先进 AI 任务的能力。这是一种有趣且令人难忘的方式，展示了 Intel 如何将强大的 AI 功能带到更便携、更实用的设备上。

图 2. Intel Core Ultra 200V 处理器可以放入口袋。

使用 Intel OpenVINO 优化 AI 模型#

在展示了 Intel 最新的硬件进展后，Dmitriy 转向了 Intel 支持 AI 的软件栈。他介绍了 OpenVINO，这是 Intel 的开源框架，旨在高效地跨不同设备优化和部署 AI 模型。OpenVINO 不仅限于视觉任务，还将支持扩展到用于自然语言处理、音频处理、transformers等的 AI 模型。

OpenVINO 兼容 PyTorch、TensorFlow 和 ONNX 等热门平台，开发者可以轻松将其整合到工作流中。他提请注意的一个关键功能是量化。量化可以压缩模型权重以减小其体积，从而使大型模型能够在本地设备上顺畅运行，而无需依赖云端。OpenVINO 跨多个框架工作，可在 CPU、GPU、NPU、FPGA 甚至 ARM 设备上运行，并支持 Windows、Linux 和 macOS。Dmitriy 还向观众演示了如何轻松上手 OpenVINO。

图 3. Dmitriy 演示如何上手 OpenVINO。

集成 Ultralytics 与 Intel OpenVino#

在演讲的第二部分，麦克风交给了 Adrian，他解释了 Ultralytics YOLO 模型与 Intel OpenVINO 工具包之间的无缝集成，简化了 YOLO 模型部署的过程。他分步骤解释了如何使用 Ultralytics Python 软件包将 YOLO 模型导出为 OpenVINO 格式，整个过程既快捷又简单。这种集成使开发者能够更容易地针对 Intel 硬件优化模型，并充分发挥两个平台的优势。

图 4. Adrian 解释 Ultralytics 如何让你轻松将模型导出为 OpenVINO 格式。

Adrian 演示了 Ultralytics YOLO 模型在训练完成后，用户只需使用几个简单的命令行标志即可将其导出。例如，用户可以指定是将模型导出为浮点版本以获得最大精度，还是导出为量化版本以获得更高的速度和效率。他还强调了开发者如何直接通过代码管理此过程，使用 INT8 量化等选项来提升性能而不会牺牲太多准确率。

在 Intel AI PC 上的实时 AI 演示#

将所有这些理论付诸实践，Intel 团队通过在 Intel AI PC 上运行 YOLO11，展示了目标检测的实时演示。Adrian 展示了系统如何在不同的处理器上处理该模型，在使用浮点模型时在 CPU 上达到每秒 36 帧 (FPS)，在集成 GPU 上达到 100 多 FPS，而在 INT8 量化版本上达到 70 FPS。他们展示了 Intel AI PC 管理复杂 AI 任务的高效性。

他还指出，系统可以并行运行模型，将 CPU、GPU 和 NPU 结合使用，适用于所有数据或视频帧可提前获取的任务。这在处理视频等繁重负载时非常有用。系统可以将工作负载分配到不同的处理器上，从而使其更快、更高效。

最后，Adrian 提到用户可以在家中尝试演示，包括人数统计和智能排队管理等解决方案。接着，他展示了一个奖励演示，用户可以在 GPU 上输入提示词实时生成梦幻般的图像。这证明了 Intel AI PC 在传统 AI 任务和创意生成式 AI 项目两方面的多功能性。

使用 Intel OpenVINO 进行实时目标检测#

在活动期间，Intel 设置了一个展位，展示了使用 Ultralytics YOLO11 在其 Intel AI PC 上运行的实时目标检测演示。与会者得以亲眼见证经过 OpenVINO 优化并部署在 Intel Core Ultra 200V 处理器上的模型大显身手。

图 5. 参会者有机会在 Intel OpenVINO 展位观看实时演示。

在 Intel 展位，Dmitriy 分享道：“这是我第一次参加 YOLO Vision，很高兴来到马德里。我们正在展示 Ultralytics 的 YOLO11 模型，该模型运行在 Intel Core Ultra 200V 处理器上。它表现出了出色的性能，我们使用 OpenVINO 来优化和部署该模型。与 Ultralytics 合作并在最新的 Intel 硬件（利用 CPU、GPU 和 NPU）上运行模型非常容易。” 展位还提供了一些有趣的赠品，如 T 恤和笔记本，供参会者带回家。

关键要点#

Intel 在 YV24 上的技术演讲以 Intel Core Ultra 200V 系列处理器为特色，展示了 OpenVINO 工具包如何优化 Ultralytics YOLO11 等 AI 模型。这种集成使用户能够直接在设备上运行 YOLO 模型，为目标检测等计算机视觉任务提供卓越性能。主要优势在于用户无需依赖云服务。

开发人员和 AI 爱好者可以轻松运行和微调 YOLO 模型，充分利用 CPU、GPU 和 NPU 等硬件进行实时应用。Intel OpenVINO 工具包与 Ultralytics YOLO 模型相结合，为将先进的 AI 功能直接带入个人设备开辟了新的可能性，使其成为那些渴望在各行各业推动 AI 创新的开发人员的理想选择。

让我们携手合作，共同创新！访问我们的 GitHub 仓库来探索我们的贡献并与我们的社区互动。了解我们如何利用 AI 在制造和医疗等行业产生影响。