在搭载 OpenVINO 的 Intel AI PC 上运行 Ultralytics YOLO 模型

YOLO Vision 2024 (YV24) 是 Ultralytics 的年度混合活动，汇集了来自世界各地的 AI 爱好者、开发人员和专家，共同探索计算机视觉领域的最新创新。YV24 是一个讨论新突破的绝佳机会和平台。此次活动邀请了 AI 行业的关键参与者展示他们的最新创新。其中，Intel 参加了活动并发表了主旨演讲，重点介绍了他们全新的突破性 AI PC 以及 Intel OpenVINO 与 Ultralytics YOLO 模型（例如 Ultralytics YOLO11）的集成。

这场讲座由 Adrian Boguszewski 主持，他是一位软件布道师，也是 LandCover.ai 数据集 的合著者，致力于向开发者普及 Intel 的 OpenVINO 工具包；另一位主持人是 Dmitriy Pastushenkov，他是一位在 工业自动化 和 AI 领域拥有超过 20 年经验的 AI PC 布道师。活动期间，Adrian 分享了他的激动之情，说道：“今天这场活动非常棒，不仅因为 Ultralytics 发布了 一个新的 YOLO 版本，还因为我们能够展示这款运行在我们新款硬件上的新模型，以及新版本的 OpenVINO。”

在本文中，我们将回顾 Intel 在 YV24 上演讲的重点，深入探讨他们的 AI PC、Intel Core Ultra 200V 系列的细节，以及如何使用 OpenVINO 工具包与 Ultralytics YOLO 模型进行集成。让我们开始吧！

Link to this section2024 年的前沿 AI 技术#

Dmitriy started off the keynote by diving into the key differences between traditional AI and generative AI. The focus revolved around how these technologies and their use cases are evolving in 2024. Traditional AI techniques like computer vision and natural language processing have been essential for tasks like pose estimation, object detection, and voice recognition. Generative AI, however, represents a newer wave of AI technology that involves applications such as chatbots, text-to-image generation, code writing, and even text-to-video.

图 1. 来自 Intel 的 Adrian 和 Dmitriy 在 YV24 舞台上讨论 AI 用例。

Dmitriy 指出了两者在规模上的差异。他解释说，虽然传统 AI 模型由数百万个参数组成，但生成式 AI 模型的运行规模要大得多。生成式 AI 模型通常涉及数十亿甚至数万亿个参数，这使得它们对计算能力的要求要高得多。

Link to this sectionIntel AI PC：AI 硬件的新前沿#

Dmitriy 推出了 Intel AI PC，这是一款旨在解决高效运行传统和生成式 AI 模型日益增长的挑战的硬件解决方案。Intel AI PC 是一台强大且节能的机器。它能够在本地运行各种 AI 模型，而无需依赖基于云的处理。

本地处理有助于保护敏感的数据隐私。当 AI 模型能够独立于互联网连接运行时，行业对隐私和安全的道德担忧就能得到回应。

Intel AI PC 背后的驱动力是 Intel Core Ultra 200V 系列处理器。该处理器集成了三个关键组件：中央处理器 (CPU)、图形处理器 (GPU) 和神经网络处理器 (NPU)。每个组件在处理不同类型的 AI 工作负载时都扮演着特定角色。CPU 非常适合需要快速响应的小型低延迟任务，而 GPU 则针对运行 AI 模型等高吞吐量操作进行了优化。NPU 专为能效设计，非常适合像 实时目标检测 这样需要持续运行的任务，并可配合 YOLO11 等模型使用。

会议强调了 CPU 可提供高达 5 TOPS（每秒万亿次运算）的性能，GPU 可提供高达 67 TOPS，而 NPU 则提供了一种节能的方式来持续运行 AI 任务，而不会耗尽系统资源。

Link to this sectionIntel 的 AI 进步：Intel Core Ultra 200V 系列#

Intel Core Ultra 200V 系列处理器将 NPU、CPU 和 GPU 这三个 AI 引擎集成到一个小型芯片中。其设计非常适合笔记本电脑等紧凑型设备，且不会牺牲性能。

该处理器还内置了 RAM，减少了对独立显卡的需求。这有助于降低功耗并保持设备的紧凑性。Dmitriy 还强调了处理器的灵活性。用户可以根据任务决定是在 CPU、GPU 还是 NPU 上运行 AI 模型。例如，使用 YOLO11 模型进行目标检测可以在任何这些引擎上运行，而更复杂的任务（如文本生成图像）可以同时使用 GPU 和 NPU 以获得更好的性能。

在演示过程中，Dmitriy 从口袋里掏出了芯片，让每个人都清晰地感受到了它究竟有多小——尽管它具备处理如此先进 AI 任务的能力。这是一种有趣且令人难忘的方式，展示了 Intel 如何将强大的 AI 功能带到更便携、更实用的设备上。

图 2. Intel Core Ultra 200V 处理器可以放入口袋。

Link to this section使用 Intel OpenVINO 优化 AI 模型#

在展示了 Intel 最新的硬件进步之后，Dmitriy 转向了支持 AI 的 Intel 软件栈。他介绍了 OpenVINO，这是 Intel 的开源框架，旨在跨不同设备高效地优化和部署 AI 模型。OpenVINO 不仅仅限于视觉任务，其支持范围还扩展到了用于自然语言处理、音频处理、Transformer 等领域的 AI 模型。

OpenVINO 与 PyTorch、TensorFlow 和 ONNX 等流行平台兼容，开发人员可以轻松地将其纳入自己的工作流中。他着重介绍的一个关键功能是量化。量化可以压缩模型权重以减小其体积，这样大型模型就可以在本地设备上流畅运行，而无需连接云端。OpenVINO 跨框架工作，可在 CPU、GPU、NPU、FPGA 甚至 ARM 设备上运行，并支持 Windows、Linux 和 macOS。Dmitriy 还带领听众了解了如何轻松上手 OpenVINO。

图 3. Dmitriy 演示如何上手 OpenVINO。

Link to this section集成 Ultralytics 与 Intel OpenVino#

In the second part of the talk, the mic was passed to Adrian, who explained the seamless integration between Ultralytics YOLO models and Intel’s OpenVINO toolkit, simplifying the process of YOLO model deployment. He provided a step-by-step explanation of how exporting a YOLO model using the Ultralytics Python package to the OpenVINO format is quick and straightforward. This integration makes it much easier for developers to optimize their models for Intel hardware and get the most out of both platforms.

图 4. Adrian 解释 Ultralytics 如何让你轻松将模型导出为 OpenVINO 格式。

Adrian 演示了在 Ultralytics YOLO 模型完成 训练 后，用户只需几个简单的命令行标志即可将其导出。例如，用户可以指定是将模型导出为浮点版本以获得最高 精度，还是导出为量化版本以获得更高的速度和效率。他还强调了开发者如何 直接通过代码 来管理此过程，使用 INT8 量化等选项来提升 性能，而不会牺牲太多准确性。

Link to this section在 Intel AI PC 上的实时 AI 演示#

为了将这些理论付诸实践，Intel 团队演示了在 Intel AI PC 上实时运行 YOLO11 进行目标检测的场景。Adrian 展示了系统如何在不同处理器上处理模型，在使用浮点模型的情况下，CPU 达到了每秒 36 帧 (FPS)，集成 GPU 超过 100 FPS，而使用 INT8 量化版本时则达到 70 FPS。他们展示了 Intel AI PC 处理复杂 AI 任务的效率有多高。

他还指出，系统可以并行运行模型，将 CPU、GPU 和 NPU 结合使用，适用于所有数据或视频帧可提前获取的任务。这在处理视频等繁重负载时非常有用。系统可以将工作负载分配到不同的处理器上，从而使其更快、更高效。

To wrap up, Adrian mentioned that users could try out demos at home, including solutions like people counting and intelligent queue management. He then showed a bonus demo where users could enter prompts to generate dream-like images in real time on the GPU. It demonstrated the versatility of the Intel AI PC for both traditional AI tasks and creative, generative AI projects.

Link to this section使用 Intel OpenVINO 进行实时目标检测#

在活动现场，Intel 设有一个展位，展示了使用 YOLO11 在 Intel AI PC 上运行的实时目标检测演示。参会者亲眼看到了经 OpenVINO 优化并部署在 Intel Core Ultra 200V 处理器上的模型实际运行效果。

图 5. 参会者有机会在 Intel OpenVINO 展位观看实时演示。

在 Intel 展位，Dmitriy 分享道：“这是我第一次参加 YOLO Vision，很高兴来到马德里。我们正在展示 Ultralytics 的 YOLO11 模型，该模型运行在 Intel Core Ultra 200V 处理器上。它表现出了出色的性能，我们使用 OpenVINO 来优化和部署该模型。与 Ultralytics 合作并在最新的 Intel 硬件（利用 CPU、GPU 和 NPU）上运行模型非常容易。” 展位还提供了一些有趣的赠品，如 T 恤和笔记本，供参会者带回家。

Link to this section关键要点#

Intel 在 YV24 上的技术演讲以 Intel Core Ultra 200V 系列处理器为特色，展示了 OpenVINO 工具包如何优化 Ultralytics YOLO11 等 AI 模型。这种集成使用户能够直接在设备上运行 YOLO 模型，为目标检测等计算机视觉任务提供卓越性能。主要优势在于用户无需依赖云服务。

开发人员和 AI 爱好者可以轻松运行和微调 YOLO 模型，充分利用 CPU、GPU 和 NPU 等硬件进行实时应用。Intel OpenVINO 工具包与 Ultralytics YOLO 模型相结合，为将先进的 AI 功能直接带入个人设备开辟了新的可能性，使其成为那些渴望在各行各业推动 AI 创新的开发人员的理想选择。

让我们携手合作，共同创新！访问我们的 GitHub 仓库探索我们的贡献并参与我们的社区。看看我们如何利用 AI 在制造业和医疗保健等行业产生影响。