利用 OpenVino 在英特尔人工智能 PC 上运行 Ultralytics YOLO 模型

YOLO Vision 2024（YV24）是 Ultralytics 的年度混合盛会，来自世界各地的人工智能爱好者、开发人员和专家汇聚一堂，共同探讨计算机视觉领域的最新创新。YV24是讨论新突破的绝佳机会和平台。人工智能行业的主要参与者在会上介绍了他们的最新创新成果。其中，英特尔公司参加了此次活动，并在主题演讲中介绍了其全新的突破性人工智能 PC 以及英特尔 OpenVino与Ultralytics YOLO 模型（如Ultralytics YOLO11）的集成。

演讲由软件布道师Adrian Boguszewski 和人工智能 PC 布道师Dmitriy Pastushenkov 主持，前者是 LandCover.ai数据集的共同作者，负责向开发人员介绍英特尔的 OpenVINO 工具包，后者在工业自动化和人工智能领域拥有 20 多年的经验。活动期间，Adrian 分享了他的兴奋之情，他说："今天的活动非常棒，不仅因为 Ultralytics 交付了新版 YOLO，还因为我们能够展示这个运行在我们新硬件上的新模型，以及新版 OpenVINO。"

在本文中，我们将介绍英特尔在 YV24 大会上的演讲要点，深入探讨英特尔酷睿 Ultra 200V 系列人工智能 PC 的来龙去脉，以及它们如何使用 OpenVINO 工具包与 Ultralytics YOLO 模型集成。让我们开始吧！

2024 年的尖端人工智能技术

德米特里在主题演讲中首先深入探讨了传统人工智能和生成式人工智能之间的主要区别。重点围绕这些技术及其用例在 2024 年将如何发展。计算机视觉和自然语言处理等传统人工智能技术对于姿势估计、物体检测和语音识别等任务至关重要。而生成式人工智能则代表了人工智能技术的新潮流，涉及聊天机器人、文本到图像生成、代码编写，甚至文本到视频等应用。 

‍

德米特里指出了两者在规模上的差异。他解释说，传统人工智能模型由数百万个参数组成，而生成式人工智能模型的运行规模要大得多。生成式人工智能模型通常涉及数十亿甚至数万亿个参数，因此对计算的要求要高得多。

英特尔人工智能 PC：人工智能硬件新领域

德米特里介绍说，英特尔人工智能电脑是一种全新的硬件解决方案，旨在应对高效运行传统和生成式人工智能模型所带来的日益严峻的挑战。英特尔人工智能电脑是一款功能强大、节能高效的机器。它能够在本地运行各种人工智能模型，而无需基于云的处理。 

本地处理有助于保护敏感数据的隐私。当人工智能模型可以独立于互联网连接运行时，各行业对隐私和安全的道德担忧就会得到解答。

英特尔 AI PC 的驱动力是英特尔酷睿 Ultra 200V 系列处理器。该处理器集成了三个关键组件：中央处理器（CPU）、图形处理器（GPU）和神经处理单元（NPU）。它们在处理不同类型的人工智能工作负载时各司其职。CPU 适用于需要快速响应的小型、低延迟任务，而 GPU 则针对运行人工智能模型等高吞吐量操作进行了优化。NPU 专为提高能效而设计，非常适合长时间运行的任务，如使用YOLO11 等模型进行实时物体检测。 

它强调，CPU 可提供高达 5 TOPS（每秒万亿次运算）的运算量，GPU 可提供高达 67 TOPS 的运算量，而 NPU 则提供了一种高能效的方式，可在不消耗系统资源的情况下连续运行人工智能任务。

英特尔的人工智能进展：英特尔酷睿200V系列

英特尔酷睿 Ultra 200V 系列处理器将 NPU、CPU 和 GPU 这三个人工智能引擎集成到一个小型芯片中。它的设计非常适合笔记本电脑等小型设备，同时又不影响性能。

处理器还内置 RAM，无需单独的显卡。这有助于降低功耗，使设备保持紧凑。德米特里还强调了处理器的灵活性。用户可以根据任务决定是在 CPU、GPU 还是 NPU 上运行人工智能模型。例如，使用 YOLO11 模型进行物体检测可以在其中任何一个引擎上运行，而更复杂的任务（如文本到图像的生成）则可以同时使用 GPU 和 NPU，以获得更好的性能。

在演讲过程中，德米特里从口袋里掏出了芯片，让大家清楚地感受到，尽管它能够处理如此先进的人工智能任务，但它的体积确实非常小。这是一种有趣而令人难忘的方式，展示了英特尔如何将强大的人工智能功能带到更便携、更实用的设备中。

‍

利用英特尔 OpenVino 优化人工智能模型

在展示了英特尔最新的硬件进展后，德米特里接着介绍了英特尔支持人工智能的软件栈。他介绍了英特尔的开源框架OpenVINO，该框架旨在跨不同设备高效地优化和部署人工智能模型。OpenVINO 不仅支持视觉任务，还支持用于自然语言处理、音频处理、变压器等的人工智能模型。

OpenVINO 与PyTorch、TensorFlow和ONNX 等流行平台兼容，开发人员可以轻松地将其纳入工作流程。他提到的一个关键功能是量化。量化可以压缩模型权重以减小其大小，这样大型模型就可以在本地设备上流畅运行，而不需要云。OpenVINO 可跨多个框架运行，可在 CPU、GPU、NPU、FPGA 甚至 ARM 设备上运行，并支持 Windows、Linux 和macOS。Dmitriy 还向听众介绍了如何轻松入门 OpenVINO。 

‍

将 Ultralytics 与英特尔 OpenVino 集成在一起

在讲座的第二部分，麦克风交给了艾德里安，他介绍了 Ultralytics YOLO 模型与英特尔 OpenVINO 工具包之间的无缝集成，从而简化了YOLO 模型的部署过程。他逐步解释了如何使用Ultralytics Python软件包将YOLO模型快速、直接地导出为OpenVINO格式。这种集成使开发人员更容易针对英特尔硬件优化其模型，并最大限度地利用这两个平台。

‍

Adrian 演示了 Ultralytics YOLO 模型训练完成后，用户可以使用几个简单的命令行标志将其导出。例如，用户可以指定是以浮点版本导出模型，以获得最高精度，还是以量化版本导出模型，以获得更好的速度和效率。他还强调了开发人员如何通过代码直接管理这一过程，使用 INT8 量化等选项来提高性能，同时又不会牺牲太多精度。 

英特尔人工智能电脑上的实时人工智能演示

英特尔团队将所有这些理论付诸实践，通过在英特尔人工智能 PC 上运行YOLO11展示了物体检测的实时演示。Adrian 展示了系统如何在不同处理器上处理模型，在 CPU 上使用浮点模型实现了每秒 36 帧 (FPS)，在集成 GPU 上实现了超过 100 帧 (FPS)，在 INT8 量化版本上实现了 70 帧 (FPS)。他们展示了英特尔人工智能 PC 在管理复杂的人工智能任务方面有多么高效。

他还指出，该系统可以并行运行模型，使用 CPU、GPU 和 NPU 一起完成所有数据或视频帧都可以预先获得的任务。这在处理视频等重负载时非常有用。系统可以在不同的处理器上分担工作负载，从而提高速度和效率。

最后，艾德里安提到用户可以在家里试用演示，包括人员计数和智能队列管理等解决方案。然后，他展示了一个额外的演示，用户可以输入提示，在 GPU 上实时生成梦幻般的图像。这展示了英特尔人工智能个人电脑在传统人工智能任务和创造性、生成性人工智能项目方面的多功能性。

利用英特尔 OpenVINO 实时检测物体

在这次活动中，英特尔公司在展台上展示了使用 YOLO11 的实时物体检测演示，该演示在英特尔人工智能 PC 上运行。与会者看到了模型的运行情况，该模型使用 OpenVINO 进行了优化，并部署在英特尔酷睿 Ultra 200V 处理器上。 

‍

在英特尔展台，德米特里分享道："这是我第一次参加 YOLO Vision，很高兴来到马德里。我们展示的是 Ultralytics 的 YOLO11 模型，它运行在英特尔酷睿 Ultra 200V 处理器上。它显示出卓越的性能，我们使用 OpenVINO 对模型进行优化和部署。与 Ultralytics 合作并在最新的英特尔硬件上利用 CPU、GPU 和 NPU 运行模型非常容易。展台上还有一些有趣的赠品，如 T 恤衫和笔记本电脑，供与会者带回家。

主要收获

英特尔在YV24上发表了技术演讲，介绍了英特尔酷睿Ultra 200V系列处理器，展示了OpenVINO工具包如何优化Ultralytics YOLO11等人工智能模型。这种集成使用户能够直接在设备上运行 YOLO 模型，为物体检测等计算机视觉任务提供出色的性能。其主要优势在于用户无需依赖云服务。

开发人员和人工智能爱好者可以毫不费力地运行和微调 YOLO 模型，充分利用 CPU、GPU 和 NPU 等硬件进行实时应用。英特尔OpenVINO工具包与Ultralytics YOLO模型相结合，为将先进的人工智能功能直接引入个人设备开辟了新的可能性，使其成为渴望推动各行各业人工智能创新的开发人员的理想选择。

让我们合作创新！访问我们的GitHub 存储库，了解我们的贡献并与我们的社区互动。了解我们如何利用人工智能为制造业和医疗保健业带来影响。