在英特尔 AI PC 上使用 OpenVino 运行 Ultralytics YOLO 模型

YOLO Vision 2024 (YV24) 是 Ultralytics 的年度混合活动，汇集了来自世界各地的 AI 爱好者、开发人员和专家，共同探索计算机视觉领域的最新创新。YV24 是讨论新突破的绝佳机会和平台。本次活动汇集了 AI 行业的关键参与者，介绍了他们的最新创新。其中包括英特尔，他们参加了本次活动，并发表了关于其新的突破性 AI PC 和 英特尔 OpenVino 与 Ultralytics YOLO 模型（如 Ultralytics YOLO11）集成的演讲。

本次演讲由 LandCover.ai 数据集 的合著者、英特尔 OpenVINO 工具包的开发者教育家 Adrian Boguszewski 和在 工业自动化 和 AI 领域拥有 20 多年经验的 AI PC 推广者 Dmitriy Pastushenkov 主持。活动期间，Adrian 分享了他的兴奋之情，并表示：“今天是一个伟大的日子，不仅因为 Ultralytics 发布了 一个新的 YOLO 版本，还因为我们能够展示这个在新硬件上运行的新模型，以及新版本的 OpenVINO。”

在本文中，我们将了解 英特尔在 YV24 上的演讲 的主要亮点，深入了解他们的 AI PC、英特尔酷睿 Ultra 200V 系列，以及他们如何使用 OpenVINO 工具包与 Ultralytics YOLO 模型集成。让我们开始吧！

2024 年的尖端 AI 技术

德米特里在主题演讲中首先深入探讨了传统 AI 和 生成式 AI 之间的主要区别。重点围绕这些技术及其用例在 2024 年如何发展。诸如计算机视觉和自然语言处理等传统 AI 技术对于任务（如姿势估计、目标检测和语音识别）至关重要。然而，生成式 AI 代表了 AI 技术的一个新浪潮，它涉及聊天机器人、文本到图像生成、代码编写，甚至文本到视频等应用。 

​

德米特里指出了两者在规模上的差异。他解释说，传统 AI 模型由数百万个参数组成，而生成式 AI 模型则在更大的规模上运行。生成式 AI 模型通常涉及数十亿甚至数万亿个参数，这使得它们在计算上要求更高。

英特尔 AI PC：全新 AI 硬件前沿

Dmitriy 介绍了英特尔 AI PC，这是一种新的硬件解决方案，旨在应对高效运行传统和生成式 AI 模型所面临的日益增长的挑战。英特尔 AI PC 是一款功能强大且节能的机器。它能够在本地运行各种 AI 模型，而无需基于云的处理。 

本地处理有助于保护敏感数据隐私。当 AI 模型能够独立于互联网连接运行时，可以回应行业对隐私和安全的伦理考量。

英特尔 AI PC 背后的驱动力是英特尔酷睿 Ultra 200V 系列处理器。该处理器包含三个关键组件：中央处理器 (CPU)、图形处理器 (GPU) 和神经处理单元 (NPU)。每个组件在处理不同类型的人工智能工作负载方面都发挥着特定的作用。CPU 非常适合需要快速响应的较小、低延迟任务，而 GPU 则针对高吞吐量操作（如运行 AI 模型）进行了优化。NPU 专为提高功效而设计，非常适合使用 YOLO11 等模型进行实时对象检测等长时间运行的任务。 

其中强调，CPU 可以提供高达 5 TOPS（每秒万亿次运算），GPU 可以提供高达 67 TOPS，而 NPU 提供了一种节能的方式来持续运行 AI 任务，而不会耗尽系统资源。

英特尔的 AI 进步：英特尔酷睿 Ultra 200V 系列

英特尔酷睿 Ultra 200V 系列处理器将 NPU、CPU 和 GPU 这三大 AI 引擎集成到单个小型芯片中。其设计非常适合笔记本电脑等紧凑型设备，且不牺牲性能。

该处理器还包括内置 RAM，减少了对独立显卡的需求。这有助于降低功耗并保持设备紧凑。Dmitriy 还强调了处理器的灵活性。用户可以根据任务决定是在 CPU、GPU 还是 NPU 上运行 AI 模型。例如，使用 YOLO11 模型进行目标检测可以在这些引擎中的任何一个上运行，而更复杂的任务（如文本到图像的生成）可以同时使用 GPU 和 NPU 以获得更好的性能。

在演示过程中，Dmitriy 从口袋里掏出了芯片，让每个人都清楚地了解它有多小——尽管它能够处理如此高级的 AI 任务。这是一种有趣且令人难忘的方式，展示了英特尔如何将强大的 AI 功能带到更便携和实用的设备上。

​

使用 Intel OpenVino 优化 AI 模型

在展示了英特尔最新的 硬件进步 之后，Dmitriy 随后将重点转移到英特尔支持人工智能的软件堆栈。他介绍了 OpenVINO，英特尔的 开源 框架，旨在跨不同设备高效地 优化和部署人工智能模型。OpenVINO 不仅限于视觉任务，还将其支持扩展到用于自然语言处理、音频处理、transformers 等的人工智能模型。

OpenVINO 与 PyTorch、TensorFlow 和 ONNX 等流行的平台兼容，开发人员可以轻松地将其集成到他们的工作流程中。他提请注意的一个关键特性是量化。量化压缩模型权重以减小其大小，以便大型模型可以在本地设备上平稳运行，而无需云。OpenVINO 跨多个框架工作，可在 CPU、GPU、NPU、FPGA 甚至 ARM 设备上运行，并支持 Windows、Linux 和 macOS。Dmitriy 还向观众介绍了 OpenVINO 的入门有多么容易。 

​

将 Ultralytics 与 Intel OpenVino 集成

在演讲的第二部分，麦克风交给了 Adrian，他解释了 Ultralytics YOLO 模型和 Intel 的 OpenVINO 工具包之间的无缝集成，从而简化了 YOLO 模型部署 的过程。他逐步解释了如何使用 Ultralytics Python 包 导出 YOLO 模型 到 OpenVINO 格式，这个过程既快速又简单。这种集成使开发人员可以更轻松地优化其模型以适应 Intel 硬件，并充分利用这两个平台。

​

Adrian演示说，一旦训练好Ultralytics YOLO模型，用户就可以使用一些简单的命令行标志导出它。例如，用户可以指定是要导出浮点版本以获得最大的精度，还是要导出量化版本以获得更好的速度和效率。他还强调了开发人员如何直接通过代码管理此过程，使用诸如INT8量化之类的选项来提高性能，而又不会牺牲太多的准确性。 

英特尔 AI PC 上的实时 AI 演示

英特尔团队将所有这些理论付诸实践，通过在英特尔 AI PC 上运行 YOLO11，展示了对象检测的实时演示。Adrian 展示了该系统如何在不同处理器上处理模型，在使用浮点模型时在 CPU 上实现了 36 帧/秒 (FPS)，在集成 GPU 上超过了 100 FPS，在使用 INT8 量化版本时达到了 70 FPS。他们能够展示英特尔 AI PC 在管理复杂 AI 任务方面的效率。

他还指出，该系统可以并行运行模型，同时使用 CPU、GPU 和 NPU 来处理所有数据或视频帧都可用的任务。这在处理视频等繁重负载时非常有用。该系统可以将工作负载分配到不同的处理器上，从而使其更快、更高效。

总结一下，Adrian 提到用户可以在家试用演示，包括解决方案，如人数统计和智能队列管理。然后，他展示了一个额外的演示，用户可以在其中输入提示，以在 GPU 上实时生成梦幻般的图像。这展示了英特尔 AI PC 在传统 AI 任务和创造性的生成式 AI 项目中的多功能性。

基于 Intel OpenVINO 的实时目标检测

在活动中，英特尔有一个展位，他们在那里展示了一个使用 YOLO11 的实时对象检测演示，该演示在其英特尔 AI PC 上运行。与会者亲眼目睹了该模型的实际运行情况，该模型通过 OpenVINO 进行了优化，并部署在英特尔酷睿 Ultra 200V 处理器上。 

​

在英特尔展位上，德米特里分享道：“这是我第一次参加 YOLO Vision，我很高兴来到马德里。我们正在展示来自 Ultralytics 的 YOLO11 模型，该模型在英特尔酷睿 Ultra 200V 处理器上运行。它表现出卓越的性能，我们使用 OpenVINO 来优化和部署该模型。与 Ultralytics 合作并在最新的英特尔硬件上运行该模型非常容易，利用了 CPU、GPU 和 NPU。”该展位还有一些有趣的赠品，例如 T 恤和笔记本，供与会者带回家。

主要要点

英特尔在 YV24 上的技术讲座，重点介绍了英特尔酷睿 Ultra 200V 系列处理器，展示了 OpenVINO 工具包如何优化 Ultralytics YOLO11 等 AI 模型。这种集成使用户可以直接在设备上运行 YOLO 模型，从而为对象检测等计算机视觉任务提供出色的性能。 关键优势在于用户无需依赖云服务。

开发者和AI爱好者可以轻松运行和微调YOLO模型，充分利用CPU、GPU和NPU等硬件来实现实时应用。英特尔OpenVINO工具包与Ultralytics YOLO模型相结合，为将先进的AI功能直接引入个人设备开辟了新的可能性，使其成为渴望在各个行业推动AI创新的开发者的理想选择。

让我们一起协作和创新！访问我们的 GitHub 存储库，探索我们的贡献并与 我们的社区 互动。 了解我们如何利用 AI 在 制造业 和 医疗保健 等行业中产生影响。