实时推理

实时推理是指使用经过训练的机器学习 (ML)模型对新的、实时的数据进行预测，且延迟最小。在AI和计算机视觉 (CV)的背景下，这意味着系统可以近乎即时地处理信息（如视频流）并生成输出。目标是使推理延迟足够低，以便结果能够立即用于决策。这种能力对于时间至关重要的应用至关重要，它正在改变从汽车到医疗保健等行业利用 AI 的方式。

实时推理与批量推理

区分实时推理与批量推理非常重要。关键区别在于数据的处理方式。

• 实时推理： 在数据生成或接收时对其进行处理，通常一次处理一个输入或一小部分流。首要任务是最大限度地减少输入和输出之间的延迟（延迟）。这对于交互式和时间敏感型系统至关重要。
• 批量推理： 涉及在一段时间内收集数据，然后一次性大批量处理。 这种方法优先考虑最大化吞吐量（单位时间内处理的数据量），而不是最小化延迟。批量处理适用于非紧急任务，例如每日报告生成或大型数据集的定期分析。

虽然两者都使用经过训练的模型进行预测，但由于结果的紧急性，它们的使用场景从根本上不同。

现实世界的应用

做出即时决策的能力使各种领域中的广泛而强大的应用成为可能。

1. 自主系统： 在自动驾驶汽车中，实时推理至关重要。模型必须执行目标检测，以毫秒为单位识别行人、其他车辆和道路标志，从而安全导航并避免碰撞。同样，无人机和机器人也依靠它来进行导航以及与环境的互动。
2. 智能制造： 在生产线上，配备 AI 的摄像头可以执行实时质量控制。像Ultralytics YOLO11这样的模型可以检测在传送带上移动的产品的缺陷，从而可以立即将其移除。这是现代制造领域中的 AI的核心组成部分。
3. 交互式医疗保健： 在外科手术过程中，模型可以分析来自摄像头的实时视频，为外科医生提供实时指导。在诊断环境中，实时 医学图像分析 可以帮助医生在实时扫描过程中更快地识别异常。
4. 智能监控： 现代安全系统使用实时推理来分析视频源并识别潜在威胁，例如未经授权的进入或遗弃的包裹，从而触发即时警报。这超越了简单的记录，转变为主动的智能监控。

实现实时性能

为了使模型运行速度足够快，以满足实时计算应用的需求，通常需要进行大量的优化：

• 模型优化： 诸如模型量化（降低模型权重的精度）和模型剪枝（删除模型中的冗余部分）等技术可减少计算负荷和内存使用。
• 硬件加速： 利用专用硬件，例如 GPU、TPU（张量处理单元） 或 边缘设备 上的专用 AI 加速器（例如，NVIDIA Jetson、Google Coral Edge TPU）可以显著加快计算速度。边缘计算 本身对于以最小的延迟在本地处理数据至关重要。
• 高效的推理引擎： 诸如 TensorRT、OpenVINO、ONNX Runtime 之类的软件库和运行时以及诸如 PyTorch 或 TensorFlow 之类的框架为训练后的模型提供了优化的执行路径。推理引擎专门设计用于高效地运行模型以进行预测。

像Ultralytics YOLO这样的模型在设计时考虑了效率和准确性，使其非常适合实时对象检测任务。像Ultralytics HUB这样的平台提供了训练、优化（例如，导出为 ONNX 或 TensorRT 格式）和部署模型的工具，从而有助于在各种部署选项中实施实时推理解决方案。