视觉 AI 解决方案中的实时推理正产生深远影响

我们都曾经历过因网络连接缓慢而导致的挫败感。然而，试想一下，如果这种延迟发生在关键时刻，比如自动驾驶汽车应对障碍物，或者医生分析关键扫描件时，情况会怎样？多出几秒钟的时间可能会造成严重的后果。

这就是实时 AI 推理大显身手的地方。快速处理和实时预测使 computer vision 解决方案能够即时处理和响应视觉数据。这些电光石火间的决策能够提升安全性、效率和日常便利性。

例如，想象一位外科医生正在利用机器人助手进行精细的手术。每一个动作都通过高速连接进行控制，机器人的视觉系统实时处理手术区域，为医生提供即时的视觉反馈。在这个反馈回路中，即使是最轻微的延迟也可能导致严重的失误，从而危及患者。这很好地说明了为什么实时推理至关重要；这里根本没有延迟的空间。

现实应用中的AI推理依赖于三个关键概念：推理引擎（高效运行AI模型的软件或硬件）、推理延迟（输入和输出之间的时间差），以及实时推理（AI系统以极小延迟进行处理和响应的能力）。

在这篇文章中，我们将探讨这些核心概念，以及像 Ultralytics YOLO11 这样的计算机视觉模型如何支持依赖即时预测的应用。

什么是AI推理？#

运行推理是利用已训练的AI模型来分析新数据以进行预测或解决任务的过程。与通过处理大量标注数据来教授模型的训练过程不同，推理专注于使用已经训练好的模型快速且准确地生成结果。

Fig 1. 理解什么是推理。

例如，在野生动物保护中，AI camera 陷阱使用计算机视觉模型实时识别和分类动物。当相机检测到运动时，AI 模型会立即识别它是鹿、掠食者还是偷猎者，从而帮助研究人员追踪动物种群并在无需人工干预的情况下保护濒危物种。这种快速识别使实时监测和更快响应潜在威胁成为可能。

了解推理引擎#

经过训练的机器学习模型在其原始状态下并不总是随时可以部署。inference engine 是一种专门的软件或硬件工具，旨在高效执行机器学习模型并针对实际部署对其进行优化。它使用诸如模型压缩、量化和图变换等 optimization techniques 来提高性能并降低资源消耗，使模型能够在各种环境中部署。

其核心在于，推理引擎致力于减少计算开销、最小化延迟并提高效率，以实现快速准确的预测。经过优化后，引擎在新数据上执行模型，从而高效地生成实时推理结果。这种优化确保了AI模型既能在高性能云服务器上流畅运行，也能在智能手机、物联网设备和嵌入式系统等资源受限的边缘设备上稳定工作。

推理延迟引发的问题#

Inference latency 是指 AI 系统接收输入数据（例如来自相机的图像）到生成输出（例如检测图像中的对象）之间的时间延迟。即使是很小的延迟也会显著影响实时 AI 应用的性能和可用性。

推理延迟发生在三个关键阶段：

• 预处理时间：在将输入数据馈送给模型之前准备数据所需的时间。这包括调整图像大小以符合模型的输入维度、标准化像素值以提高准确性，以及格式转换（例如，RGB转灰度或视频转帧序列）。
• 计算时间：模型执行推理实际耗费的时间。这涉及深度网络中的分层计算、矩阵乘法、卷积以及内存与处理单元之间的数据传输等操作。
• 后处理时间：将原始模型输出转换为有意义结果所需的时间。这可能包括在物体检测中绘制BBox，在图像识别中过滤误报，或者在异常检测中应用阈值。

推理延迟在实时应用中至关重要。例如，在装配线的自动化缺陷检测中，计算机视觉可用于在产品沿传送带移动时进行检查。

系统必须在产品移动到下一阶段之前快速识别并标记缺陷。如果模型处理图像的时间过长，缺陷产品可能无法及时被拦截，导致材料浪费、昂贵的返工，或故障产品流入客户手中。通过降低延迟，制造商可以提升质量控制，提高效率并减少损失。

如何降低推理延迟#

在许多计算机视觉应用中，将推理延迟保持在最低水平至关重要。可以使用多种技术来实现这一目标。让我们讨论一些最常用的降低推理延迟的技术。

模型剪枝#

Model pruning 通过删除不必要的连接（权重）来简化神经网络，使其更小、更快。这个过程降低了模型的计算负载，在不显著影响准确性的情况下提高了速度。

通过仅保留最重要的连接，剪枝确保了高效的推理和更好的性能，特别是在处理能力受限的设备上。它广泛用于移动AI、机器人和边缘计算等实时应用中，以在保持可靠性的同时增强效率。

Fig 2. 使用模型剪枝消除效率较低的连接。

模型量化#

Model quantization 是一种通过简化计算所用的数字来使 AI 模型运行更快、占用内存更少的技术。通常，这些模型使用 32 位浮点数，这非常精确但需要大量处理能力。量化将这些数字减少到 8 位整数，这些整数更容易处理且占用更少的空间。

Fig 3. 使用模型量化将浮点值转换为整数表示。

使用高效模型#

AI 模型的设计对其做出预测的速度有重大影响。像 Ultralytics YOLO11 这样专为高效推理而构建的模型，非常适合处理速度至关重要的应用场景。

当你构建AI解决方案时，根据可用资源和性能需求选择正确的模型非常重要。如果你从一个过于沉重的模型开始，你更有可能遇到处理时间缓慢、功耗较高以及在资源受限设备上部署困难等问题。轻量级模型确保了流畅的性能，特别是对于实时和边缘应用而言。

速度与准确性：优化实时推理#

虽然有各种技术可以减少延迟，但 real-time inferences 的一个关键部分是平衡速度和准确性。仅使模型更快是不够的——需要在不损害准确性的情况下优化推理速度。产生快速但错误预测的系统是无效的。这就是为什么全面测试至关重要，以确保模型在现实情况下表现良好。在测试期间看起来很快但在实际条件下失败的系统并不是真正优化的。

利用实时推理的视觉AI应用#

接下来，让我们浏览一些现实世界的应用，在这些应用中，实时推理通过实现对视觉输入的即时响应，正在改变各个行业。

零售店的自助结账系统#

像 Ultralytics YOLO11 这样的计算机视觉模型可以通过使物品识别更快、更准确来帮助改进自助结账系统。YOLO11 对各种计算机视觉任务（如目标检测和实例分割）的支持使得即使在条形码缺失或损坏的情况下也能识别产品。视觉 AI 可以减少对人工输入的依赖并加快结账流程。

除了产品识别之外，计算机视觉还可以集成到自助结账系统中，以验证价格、防止欺诈并提高客户便利性。AI驱动的相机可以自动区分相似产品，并检测结账时的可疑行为。这包括识别“漏扫”，即客户或收银员无意中漏掉了一件商品，以及更蓄意的欺诈行为，如“掉包”，即用廉价商品的条形码覆盖在贵重商品上。

Fig 4. AI 可以增强自助结账台。

一个很好的例子是 Kroger，这是一家美国大型零售商，它已将计算机视觉和 AI 集成到其自助结账系统中。通过使用实时视频分析，Kroger 已经能够自动纠正超过 75% 的结账错误，从而改善了客户体验和门店运营。

利用计算机视觉进行质量检测#

手动 inspecting products 进行质量控制可能很慢且并不总是准确的。这就是为什么越来越多的制造商正在转向使用计算机视觉在生产过程的早期发现缺陷的视觉检查工作流。

高分辨率相机和 Vision AI 可以发现人类可能错过的小瑕疵，而像 Ultralytics YOLO11 这样的模型则可以帮助进行实时的质量检查、分拣和计数，以确保只有完美的商品才能送到客户手中。自动化这一流程可以节省时间、削减成本并减少浪费，使生产更流畅、更高效。

Fig 5. 使用 Ultralytics YOLO11 在流水线上对产品进行计数的示例。

关键要点#

实时推理帮助AI模型做出即时决策，这在许多行业中至关重要。无论是自动驾驶汽车避免事故、医生快速分析医学扫描，还是工厂检测产品缺陷，快速且准确的AI响应都能产生重大影响。

通过提高AI模型的速度和效率，我们可以创建更智能、更可靠的系统，在现实场景中无缝运行。随着技术的进步，实时AI解决方案将继续塑造未来，使日常流程变得更快捷、更安全且更高效。

要了解更多信息，请访问我们的 GitHub repository 并与 our community 互动。在我们的解决方案页面上探索诸如 AI in self-driving cars 和 computer vision in agriculture 等行业的创新。查看 our licensing options 并将你的视觉 AI 项目变为现实。