视觉 AI 解决方案中的实时推理正发挥着重要作用

我们都曾因网速缓慢而感到烦恼。但想象一下，这种延迟出现在高风险场景中，比如自动驾驶汽车应对障碍物，或医生分析关键扫描影像。多出几秒钟就可能造成严重后果。

实时 AI 推理正是能发挥作用的地方。快速处理和实时预测让计算机视觉解决方案能够即时处理视觉数据并做出响应。这些瞬间完成的决策可以提升安全性、效率和日常便利性。

例如，设想一位外科医生借助机器人助手进行精细手术。每个动作都通过高速连接进行控制，机器人的视觉系统会实时处理手术区域画面，让外科医生即时获得视觉反馈。反馈环路中哪怕只有轻微延迟，也可能导致严重失误，危及患者安全。这正说明了实时推理为何至关重要；容不得半点延迟。

AI 在实际应用中的推理依赖三个关键概念：推理引擎（高效运行 AI 模型的软件或硬件）、推理延迟（从输入到输出之间的延迟）和实时推理（AI 系统以极低延迟进行处理并做出响应的能力）。

本文将探讨这些核心概念，以及 Ultralytics YOLO11 等计算机视觉模型如何支持依赖即时预测的应用。

什么是 AI 推理？#

推理是使用经过训练的 AI 模型分析新数据，从而进行预测或完成任务的过程。训练需要通过处理大量标注数据来教会模型，而推理则侧重于使用已经训练好的模型快速、准确地产出结果。

图 1. 了解什么是推理。

例如，在野生动物保护工作中，AI 摄像头陷阱会使用计算机视觉模型实时识别和分类动物。当摄像头检测到移动时，AI 模型会立即识别出这是鹿、捕食者，甚至是偷猎者，帮助研究人员在没有人工干预的情况下追踪动物种群并保护濒危物种。这种快速识别让实时监测和更迅速地应对潜在威胁成为可能。

了解推理引擎#

训练好的机器学习模型并不总能以原始形式直接部署。推理引擎是专门用于高效执行机器学习模型并针对实际部署进行优化的软件或硬件工具。它会使用优化技术，例如模型压缩、量化和计算图转换，来提升性能并降低资源消耗，让模型能够部署在各种环境中。

推理引擎的核心目标是减少计算开销、降低延迟并提高效率，从而实现快速准确的预测。优化完成后，引擎会使用新数据执行模型，让模型高效地进行实时推理。这种优化确保 AI 模型既能在高性能云服务器上顺畅运行，也能在智能手机、IoT 设备和嵌入式系统等资源受限的边缘设备上运行。

推理延迟导致的问题#

推理延迟是指 AI 系统接收输入数据（例如摄像头拍摄的图像）到生成输出（例如检测图像中的物体）之间的时间差。即使只有很短的延迟，也可能显著影响实时 AI 应用的性能和易用性。

推理延迟主要分为三个阶段：

• 预处理时间：将输入数据送入模型前进行准备所需的时间。这包括调整图像尺寸以匹配模型的输入维度、归一化像素值以提高准确度，以及转换格式（例如将 RGB 转为灰度图，或将视频转换为帧序列）。
• 计算时间：模型执行推理所需的实际时间。这涉及深度网络中的逐层计算、矩阵乘法、卷积，以及在内存与处理单元之间传输数据等操作。
• 后处理时间：将模型原始输出转换为有意义结果所需的时间。这可能包括在目标检测中绘制边界框、在图像识别中筛除误报，或在异常检测中应用阈值。一些检测器（例如 Ultralytics YOLO26）会移除非极大值抑制 (NMS) 步骤，以缩短这一阶段的耗时。

推理延迟对实时应用至关重要。例如，在装配线上进行自动缺陷检测时，可以利用计算机视觉检查沿传送带移动的产品。

系统必须在产品进入下一阶段前快速识别并标记缺陷。如果模型处理图像的时间过长，缺陷产品可能无法及时被发现，导致材料浪费、返工成本增加，或有问题的产品流入客户手中。制造商通过降低延迟，可以改善质量控制、提高效率并减少损失。

如何降低推理延迟#

在许多计算机视觉应用中，将推理延迟降到最低至关重要。可以采用多种技术来实现这一点。下面来介绍一些最常用的推理延迟降低技术。

模型剪枝#

模型剪枝通过移除不必要的连接（权重）来简化神经网络，让网络变得更小、更快。这个过程可以降低模型的计算负载、提升速度，同时不会对准确度造成太大影响。

剪枝只保留最重要的连接，确保推理高效、性能更佳，在处理能力有限的设备上尤为如此。它广泛应用于移动 AI、机器人和边缘计算等实时场景，在保持可靠性的同时提升效率。

图 2. 通过模型剪枝移除效果较差的连接。

模型量化#

模型量化通过简化模型计算所用的数值，让 AI 模型运行得更快、占用更少内存。通常，这些模型使用 32 位浮点数进行计算，精度很高，但需要大量算力。量化会将这些数值缩减为 8 位整数，使其更易处理、占用空间也更小。

图 3. 使用模型量化将浮点数值转换为整数表示。

使用高效模型#

AI 模型的设计会对预测速度产生重大影响。Ultralytics YOLO11 等专为高效推理打造的模型，非常适合处理速度至关重要的应用。

构建 AI 解决方案时，根据可用资源和性能需求选择合适的模型非常重要。如果一开始就选用过于庞大的模型，你更可能遇到处理速度慢、功耗高以及难以部署到资源受限设备等问题。轻量级模型能确保性能流畅，尤其适用于实时应用和边缘应用。

速度与准确度：优化实时推理#

降低延迟的方法有很多，但实时推理的关键在于平衡速度与准确度。让模型运行得更快还不够——必须在不牺牲准确度的前提下优化推理速度。快速但预测错误的系统毫无成效。因此，全面测试至关重要，只有这样才能确保模型在真实场景中表现良好。一个在测试期间看似很快、但在实际条件下失效的系统，并没有真正得到优化。

利用实时推理的视觉 AI 应用#

接下来，我们来看看一些真实世界中的应用，了解实时推理如何通过即时响应视觉输入来改变各行各业。

零售门店的自助结账系统#

Ultralytics YOLO11 等计算机视觉模型有助于提升自助结账系统的性能，让商品识别更快速、更准确。YOLO11 支持多种计算机视觉任务，例如目标检测和实例分割，因此即使条形码缺失或损坏，也能识别商品。视觉 AI 可以减少手动输入的需求，并加快结账流程。

除了识别商品，计算机视觉还可以集成到自助结账系统中，用于核对价格、防止欺诈并提升顾客便利性。AI 摄像头可以自动区分相似商品，并检测结账时的可疑行为。这包括识别“漏扫”——顾客或收银员无意间漏扫商品的情况，以及更为蓄意的欺诈行为，例如“换商品”，即把较便宜商品的条形码贴到较贵的商品上。

图 4. AI 可以提升自助结账柜台的使用体验。

一个很好的例子是美国大型零售商 Kroger，该公司已将计算机视觉和 AI 集成到自助结账系统中。通过实时视频分析，Kroger 已能自动纠正超过 75% 的结账错误，从而改善顾客体验和门店运营。

利用计算机视觉进行质量检测#

人工检查产品以进行质量控制可能既耗时，也不总是准确。因此，越来越多的制造商开始采用视觉检测工作流，利用计算机视觉在生产流程早期发现缺陷。

高分辨率摄像头和视觉 AI 能发现人类可能忽略的微小瑕疵，而 Ultralytics YOLO11 等模型则有助于进行实时质量检查、分类和计数，确保只有完美的产品交付给客户。自动化这一流程可以节省时间、降低成本并减少浪费，让生产更加顺畅高效。

图 5. 使用 Ultralytics YOLO11 对装配线上的产品进行计数的示例。

要点#

实时推理能让 AI 模型即时做出决策，这对许多行业至关重要。无论是自动驾驶汽车规避事故、医生快速分析医学影像，还是工厂检测产品缺陷，快速而准确的 AI 响应都能带来显著影响。

通过提升 AI 模型的速度和效率，我们可以构建更智能、更可靠的系统，让系统在真实场景中稳定运行。随着技术不断进步，实时 AI 解决方案将继续塑造未来，让日常流程变得更快、更安全、更高效。

如需了解更多信息，请访问我们的 GitHub 代码库，并加入我们的社区交流。在我们的解决方案页面中，了解自动驾驶汽车中的 AI和农业中的计算机视觉等领域的创新。查看我们的许可选项，让你的视觉 AI 项目成为现实。