利用OpenVino在Intel人工智能 PC 上运行Ultralytics YOLO 模型

YOLO Vision 2024（YV24）是Ultralytics 的年度混合盛会，来自世界各地的人工智能爱好者、开发人员和专家汇聚一堂，共同探讨计算机视觉领域的最新创新。YV24是讨论新突破的绝佳机会和平台。人工智能行业的主要参与者在会上介绍了他们的最新创新成果。其中，Intel参加了此次活动，并发表了主题演讲，介绍了其全新的突破性人工智能 PC 以及Intel OpenVino与Ultralytics YOLO 模型的集成，例如 Ultralytics YOLO11.

演讲由软件布道师Adrian Boguszewski 和人工智能 PC 布道师Dmitriy Pastushenkov 主持，前者是 LandCover.ai数据集的共同作者，负责向开发人员介绍Intel的OpenVINO 工具包，后者在工业自动化和人工智能领域拥有 20 多年的经验。活动期间，Adrian分享了他的兴奋之情，他说："今天的活动非常棒，不仅因为Ultralytics 交付了新版YOLO ，还因为我们能够展示这个运行在我们新硬件上的新模型，以及新版OpenVINO。"

在本文中，我们将介绍Intel在 YV24 大会上的演讲要点，深入探讨Intel 酷睿 Ultra 200V 系列人工智能 PC 的来龙去脉，以及它们如何使用OpenVINO 工具包与Ultralytics YOLO 模型集成。让我们开始吧！

2024 年的尖端 AI 技术

德米特里在主题演讲中首先深入探讨了传统人工智能和生成式人工智能之间的主要区别。重点围绕这些技术及其用例在 2024 年将如何发展。传统的人工智能技术，如计算机视觉和自然语言处理，对于姿势估计 、物体检测和语音识别等任务至关重要。而生成式人工智能则代表了人工智能技术的新潮流，涉及聊天机器人、文本到图像生成、代码编写，甚至文本到视频等应用。 

​

德米特里指出了两者在规模上的差异。他解释说，传统 AI 模型由数百万个参数组成，而生成式 AI 模型则在更大的规模上运行。生成式 AI 模型通常涉及数十亿甚至数万亿个参数，这使得它们在计算上要求更高。

Intel 人工智能 PC：人工智能硬件新领域

德米特里介绍说，Intel 人工智能电脑是一种全新的硬件解决方案，旨在应对高效运行传统和生成式人工智能模型所带来的日益严峻的挑战。Intel 人工智能电脑是一款功能强大、节能高效的机器。它能够在本地运行各种人工智能模型，而无需基于云的处理。 

本地处理有助于保护敏感数据隐私。当 AI 模型能够独立于互联网连接运行时，可以回应行业对隐私和安全的伦理考量。

Intel AI PC 的驱动力是Intel 酷睿 Ultra 200V 系列处理器。该处理器集成了三个关键组件：中央处理器CPU）、图形处理器GPU）和神经处理单元（NPU）。它们在处理不同类型的人工智能工作负载时各司其职。CPU 适用于需要快速响应的小型、低延迟任务，而GPU 则针对运行人工智能模型等高吞吐量操作进行了优化。NPU 专为提高能效而设计，非常适合长时间运行的任务，如使用 YOLO11 等模型进行实时物体检测。 YOLO11. 

它强调，CPU 可提供高达 5 TOPS（每秒万亿次运算）的运算量，GPU 可提供高达 67 TOPS 的运算量，而 NPU 则提供了一种高能效的方式，可在不消耗系统资源的情况下连续运行人工智能任务。

Intel的人工智能进展：Intel 酷睿200V系列

Intel 酷睿 Ultra 200V 系列处理器将 NPU、CPU 和GPU 这三个人工智能引擎集成到一个小型芯片中。它的设计非常适合笔记本电脑等小型设备，同时又不影响性能。

处理器还内置 RAM，无需单独的显卡。这有助于降低功耗，使设备保持紧凑。德米特里还强调了处理器的灵活性。用户可以根据任务决定是在CPU、GPU 还是 NPU 上运行人工智能模型。例如，使用YOLO11 模型进行物体检测可以在其中任何一个引擎上运行，而更复杂的任务（如文本到图像的生成）则可以同时使用GPU 和 NPU，以获得更好的性能。

在演讲过程中，德米特里从口袋里掏出了芯片，让大家清楚地感受到，尽管它能够处理如此先进的人工智能任务，但它的体积确实非常小。这是一种有趣而令人难忘的方式，展示了Intel 如何将强大的人工智能功能带到更便携、更实用的设备中。

​

利用Intel OpenVino优化人工智能模型

在展示了Intel最新的硬件进展后，德米特里接着介绍了Intel支持人工智能的软件栈。他介绍了Intel的开源框架OpenVINO，该框架旨在跨不同设备高效地优化和部署人工智能模型。OpenVINO 不仅支持视觉任务，还支持用于自然语言处理、音频处理、变压器等的人工智能模型。

OpenVINO 与以下流行平台兼容 PyTorch、TensorFlow和 ONNX等流行平台兼容，开发人员可以轻松地将其纳入工作流程。他提到的一个关键功能是量化。量化可以压缩模型权重以减小其大小，这样大型模型就可以在本地设备上流畅运行，而不需要云。OpenVINO 可跨多个框架运行，可在CPU、GPU、NPU、FPGA 甚至 ARM 设备上运行，并支持 Windows、Linux 和macOS。Dmitriy 还向听众介绍了如何轻松入门OpenVINO。 

​

将Ultralytics 与Intel OpenVino集成在一起

在讲座的第二部分，麦克风交给了艾德里安，他介绍了Ultralytics YOLO 模型与Intel OpenVINO 工具包之间的无缝集成，从而简化了YOLO 模型的部署过程。他逐步解释了如何使用Ultralytics Python 软件包将 YOLO 模型快速、直接地导出为OpenVINO 格式。这种集成使开发人员更容易针对Intel 硬件优化其模型，并最大限度地利用这两个平台。

​

Adrian 演示说，Ultralytics YOLO 模型训练完成后，用户可以使用几个简单的命令行标志将其导出。例如，用户可以指定是以浮点版本导出模型，以获得最高精度，还是以量化版本导出模型，以获得更好的速度和效率。他还强调了开发人员如何通过代码直接管理这一过程，使用 INT8 量化等选项来提高性能，同时又不会牺牲太多精度。 

Intel 人工智能电脑上的实时人工智能演示

Intel 团队将所有理论付诸实践，通过运行 YOLO11的实时演示。Adrian 展示了系统如何在不同处理器上处理模型，在CPU 上使用浮点模型实现了每秒 36 帧 (FPS)，在集成GPU 上实现了超过 100 帧 (FPS)，在 INT8 量化版本上实现了 70 帧 (FPS)。他们展示了Intel 人工智能 PC 在管理复杂的人工智能任务方面有多么高效。

他还指出，该系统可以并行运行模型，使用CPU、GPU 和 NPU 一起完成所有数据或视频帧都可以预先获得的任务。这在处理视频等重负载时非常有用。系统可以在不同的处理器上分担工作负载，从而提高速度和效率。

最后，艾德里安提到，用户可以在家里尝试演示，包括人员计数和智能队列管理等解决方案。然后，他展示了一个额外的演示，用户可以输入提示，在GPU 上实时生成梦幻般的图像。这展示了Intel 人工智能个人电脑在传统人工智能任务和创造性、生成性人工智能项目方面的多功能性。

利用Intel OpenVINO实时检测物体

在这次活动中，Intel 在展台上展示了使用YOLO11 的实时物体检测演示，该演示在Intel 人工智能 PC 上运行。与会者看到了模型的实际运行情况，该模型使用OpenVINO 进行了优化，并部署在Intel 酷睿 Ultra 200V 处理器上。 

​

在Intel 展台，德米特里分享道："这是我第一次参加YOLO Vision，很高兴来到马德里。我们展示的是Ultralytics 的YOLO11 模型，它运行在Intel 酷睿 Ultra 200V 处理器上。它显示出卓越的性能，我们使用OpenVINO 对模型进行优化和部署。与Ultralytics 合作并在最新的Intel 硬件上利用CPU、GPU 和 NPU 运行模型非常容易。展台上还有一些有趣的赠品，如 T 恤衫和笔记本电脑，供与会者带回家。

主要要点

Intel在YV24上发表了技术演讲，介绍了Intel 酷睿Ultralytics 200V系列处理器，展示了OpenVINO 工具包如何优化Ultralytics YOLO11等人工智能模型。这种集成使用户能够直接在设备上运行YOLO 模型，为物体检测等计算机视觉任务提供出色的性能。其主要优势在于用户无需依赖云服务。

开发人员和人工智能爱好者可以毫不费力地运行和微调YOLO 模型，充分利用 CPU、GPU 和 NPU 等硬件进行实时应用。Intel OpenVINO 工具包与Ultralytics YOLO 模型相结合，为将先进的人工智能功能直接引入个人设备开辟了新的可能性，使其成为渴望推动各行各业人工智能创新的开发人员的理想选择。

让我们一起协作和创新！访问我们的 GitHub 存储库，探索我们的贡献并与 我们的社区 互动。 了解我们如何利用 AI 在 制造业 和 医疗保健 等行业中产生影响。