使用 OpenVINO 在 Intel AI PC 上运行 Ultralytics YOLO 模型
重温 Dmitriy Pastushenkov 和 Adrian Boguszewski 在 YOLO Vision 2024 上关于使用 Intel OpenVINO 优化 YOLO 模型并在 Intel AI PC 上运行实时推理的演讲。
YOLO Vision 2024 (YV24) 是 Ultralytics 举办的年度混合活动，汇聚了来自世界各地的 AI 爱好者、开发者和专家，共同探索 计算机视觉 领域的最新创新。YV24 为讨论新突破提供了绝佳的机会和平台。活动汇聚了 AI 行业的主要参与者，他们介绍了各自的最新创新成果。其中包括 Intel，该公司参加了此次活动，并发表了主题演讲，介绍其全新的突破性 AI PC，以及 Intel OpenVINO 与 Ultralytics YOLO 模型（例如 Ultralytics YOLO11）的集成。
此次演讲由 Adrian Boguszewski 和 Dmitriy Pastushenkov 主讲。Adrian 是一名软件布道师，曾参与编写 LandCover.ai 数据集，并负责向开发者介绍 Intel 的 OpenVINO 工具包；Dmitriy 是一名 AI PC 布道师，在 工业自动化 和 AI 领域拥有超过 20 年的经验。活动期间，Adrian 分享了自己的兴奋之情，并说道：“今天的活动非常精彩，不仅因为 Ultralytics 发布了新的 YOLO 版本，还因为我们能够展示这个新模型在我们的新硬件上运行，以及新版 OpenVINO。”
本文将介绍 Intel 在 YV24 上的演讲 中的重点内容，深入探讨其 AI PC、Intel Core Ultra 200V 系列，以及它们如何通过 OpenVINO 工具包与 Ultralytics YOLO 模型集成。让我们开始吧！
2024 年的前沿 AI 技术#
Dmitriy 在主题演讲开场介绍了传统 AI 与 生成式 AI 之间的主要差异。重点在于探讨这些技术及其应用场景在 2024 年如何不断发展。计算机视觉 和 自然语言处理 等传统 AI 技术，一直是完成姿态估计、目标检测 和语音识别 等任务的关键。不过，生成式 AI 代表了新一代 AI 技术，涉及聊天机器人、文生图、代码编写，甚至文生视频等应用。
图 1. 来自 Intel 的 Adrian 和 Dmitriy 在 YV24 现场讨论 AI 应用场景。
Dmitriy 指出了两者在规模上的差异。他解释说，虽然传统 AI 模型由数百万个参数组成，但生成式 AI 模型的规模要大得多。生成式 AI 模型通常包含数十亿甚至数万亿个参数，因此对计算资源的需求也高得多。
Intel AI PC：全新的 AI 硬件前沿#
Dmitriy 介绍了 Intel AI PC，这是一种全新的硬件解决方案，旨在应对高效运行传统 AI 模型和生成式 AI 模型日益严峻的挑战。Intel AI PC 是一台功能强大且节能的设备，能够在本地运行各种 AI 模型，无需依赖云端处理。
本地处理有助于确保敏感数据的私密性。当 AI 模型能够独立于互联网连接运行时，各行业对隐私和安全的伦理担忧便能得到解决。
Intel AI PC 背后的核心驱动力是 Intel Core Ultra 200V 系列处理器。该处理器集成了三个关键组件：中央处理器 (CPU)、图形处理器 (GPU) 和神经网络处理器 (NPU)。每个组件都负责处理不同类型的 AI 工作负载。CPU 非常适合需要快速响应的小型低延迟任务，而 GPU 则针对运行 AI 模型等高吞吐量操作进行了优化。NPU 专为提高能效而设计，非常适合使用 YOLO11 等模型执行实时目标检测等长时间运行的任务。
演讲中还特别指出，CPU 的性能最高可达 5 TOPS（每秒万亿次运算），GPU 最高可达 67 TOPS，而 NPU 则能以节能的方式持续运行 AI 任务，同时避免过度消耗系统资源。
Intel 的 AI 进展：Intel Core Ultra 200V 系列#
Intel Core Ultra 200V 系列处理器将三个 AI 引擎——NPU、CPU 和 GPU——集成在一枚小型芯片中。其设计非常适合笔记本电脑等紧凑型设备，同时不会牺牲性能。
该处理器还内置 RAM，减少了对独立显卡的需求。这有助于降低功耗并保持设备紧凑。Dmitriy 还强调了处理器的灵活性。用户可以根据任务需求，决定在 CPU、GPU 还是 NPU 上运行 AI 模型。例如，使用 YOLO11 模型进行目标检测可以在其中任意一个引擎上运行，而文生图等更复杂的任务则可以同时使用 GPU 和 NPU，以获得更好的性能。
演示过程中，Dmitriy 将芯片从口袋里拿了出来，让大家清楚地感受到它究竟有多小——尽管它能够处理如此先进的 AI 任务。这是一种有趣且令人印象深刻的展示方式，体现了 Intel 如何将强大的 AI 能力带到更便携、更实用的设备中。
图 2. Intel Core Ultra 200V 处理器可以放入口袋。
使用 Intel OpenVINO 优化 AI 模型#
展示完 Intel 最新的硬件进展后，Dmitriy 转而介绍了 Intel 支持 AI 的软件栈。他介绍了 OpenVINO，这是 Intel 打造的开源框架，旨在跨不同设备高效地优化和部署 AI 模型。OpenVINO 的能力不局限于视觉任务，还支持用于自然语言处理、音频处理、Transformer 等领域的 AI 模型。
OpenVINO 兼容 PyTorch、TensorFlow 和 ONNX 等热门平台，开发者可以轻松将其集成到自己的工作流中。他重点介绍的一个功能是量化。量化会压缩模型权重，减小模型大小，使大型模型能够在本地设备上顺畅运行，而无需依赖云端。OpenVINO 支持多种框架，可在 CPU、GPU、NPU、FPGA 甚至 ARM 设备上运行，并支持 Windows、Linux 和 macOS。Dmitriy 还向观众演示了如何轻松开始使用 OpenVINO。
图 3. Dmitriy 演示如何开始使用 OpenVINO。
将 Ultralytics 与 Intel OpenVINO 集成#
演讲的第二部分由 Adrian 接棒。他讲解了 Ultralytics YOLO 模型与 Intel OpenVINO 工具包之间的无缝集成，简化了 YOLO 模型部署流程。他逐步说明了如何使用 Ultralytics Python 软件包将 YOLO 模型导出为 OpenVINO 格式，整个过程快速而简单。这种集成让开发者更容易针对 Intel 硬件优化模型，并充分发挥两个平台的优势。
图 4. Adrian 讲解 Ultralytics 如何让模型导出为 OpenVINO 格式变得简单。
Adrian 演示了 Ultralytics YOLO 模型完成训练后，用户只需使用几个简单的命令行标志即可将其导出。例如，用户可以选择将模型导出为浮点版本，以获得最高的精度，也可以导出为量化版本，以获得更好的速度和效率。他还强调，开发者可以直接通过代码管理这一流程，例如使用 INT8 量化来提升性能，同时不牺牲过多准确率。
Intel AI PC 上的实时 AI 演示#
Intel 团队将上述理论付诸实践，在 Intel AI PC 上运行 YOLO11，展示了实时目标检测演示。Adrian 展示了系统如何让模型在不同处理器上运行：使用浮点模型时，CPU 达到每秒 36 帧 (FPS)；集成 GPU 超过 100 FPS；使用 INT8 量化版本时达到 70 FPS。他们展示了 Intel AI PC 处理复杂 AI 任务的高效能力。
他还指出，当所有数据或视频帧都能预先获得时，系统可以同时使用 CPU、GPU 和 NPU 并行运行模型来执行任务。在处理视频等繁重负载时，这一功能非常实用。系统可以将工作负载分配到不同处理器上，从而运行得更快、更高效。
最后，Adrian 提到，用户可以在家中试用演示，包括人数统计和智能队列管理等解决方案。随后，他展示了一个额外演示：用户可以输入提示词，在 GPU 上实时生成梦幻般的图像。这展示了 Intel AI PC 在传统 AI 任务和创意性生成式 AI 项目中的多功能性。
使用 Intel OpenVINO 进行实时目标检测#
活动现场，Intel 设有一个展台，展示了使用 Ultralytics YOLO11 在其 Intel AI PC 上运行的实时目标检测演示。参会者可以看到经过 OpenVINO 优化的模型实际运行，并部署在 Intel Core Ultra 200V 处理器上。
图 5. 参会者有机会在 Intel OpenVINO 展台观看实时演示。
在 Intel 展台，Dmitriy 分享道：“这是我第一次参加 YOLO Vision，我很高兴来到马德里。我们正在展示 Ultralytics 的 YOLO11 模型，该模型运行在 Intel Core Ultra 200V 处理器上。它展现出了出色的性能，我们使用 OpenVINO 来优化和部署模型。与 Ultralytics 合作，并在最新的 Intel 硬件上运行模型非常容易，同时还能利用 CPU、GPU 和 NPU。”展台还准备了一些有趣的赠品，例如 T 恤和笔记本，供参会者带回家。
要点总结#
Intel 在 YV24 举办的技术演讲展示了配备 Intel Core Ultra 200V 系列处理器的设备，以及 OpenVINO 工具包如何优化 Ultralytics YOLO11 等 AI 模型。这种集成让用户能够直接在设备上运行 YOLO 模型，为目标检测等计算机视觉任务提供出色的性能。其主要优势在于，用户无需依赖云服务。
开发者和 AI 爱好者可以轻松运行和微调 YOLO 模型，充分利用 CPU、GPU 和 NPU 等硬件执行实时应用。Intel OpenVINO 工具包与 Ultralytics YOLO 模型相结合，为将先进 AI 能力直接带到个人设备上开辟了新的可能性，是希望推动各行业 AI 创新的开发者的理想选择。
让我们携手合作、共同创新！访问我们的 GitHub 仓库，了解我们的贡献并参与我们的社区。看看我们如何利用 AI 为制造业和医疗保健等行业带来影响。
