实时推理

实时推理是指使用训练有素的机器学习（ML）模型，以最小的延迟对新的实时数据进行预测的过程。在人工智能和计算机视觉（CV）领域，这意味着系统可以处理信息（如视频流），并几乎在瞬间生成输出。我们的目标是将推理延迟降到足够低，使推理结果能够立即用于决策。这种能力对于时间要求很高的应用来说至关重要，它将改变从汽车到医疗保健等行业利用人工智能的方式。

实时推理与批量推理批量推理

区分实时推理和批量推理非常重要。关键区别在于如何处理数据。

• 实时推理：在数据生成或接收时对其进行处理，通常一次处理一个输入或一个小数据流。首要任务是尽量减少输入和输出之间的延迟（延时）。这对交互式和时间敏感型系统至关重要。
• 批量推理：包括在一段时间内收集数据，并一次性大批量处理所有数据。这种方法优先考虑最大化吞吐量（在一段时间内处理的数据量），而不是最小化延迟。批量处理适用于非紧急任务，如生成日常报告或定期分析大型数据集。

虽然两者都使用训练有素的模型进行预测，但根据结果的紧迫性，它们的用例有着本质的不同。

现实世界中的应用

即时决策的能力为各行各业带来了广泛而强大的应用。

1. 自主系统：在自动驾驶汽车中，实时推理事关安全。模型必须在几毫秒内进行物体检测，以识别行人、其他车辆和路标，从而安全导航并避免碰撞。同样，无人机和机器人的导航和与环境的交互也依赖于实时推理。
2. 智能制造：在生产线上，配备人工智能的摄像头可以进行实时质量控制。像Ultralytics YOLO11这样的模型可以检测出传送带上产品的缺陷，并立即将其清除。这是现代制造业人工智能的核心组成部分。
3. 互动医疗：在手术过程中，模型可以分析摄像头的实时视频，为外科医生提供实时指导。在诊断过程中，实时医疗图像分析可以帮助医生在实时扫描过程中更快地发现异常。
4. 智能监控：现代安防系统利用实时推理来分析视频馈送并识别潜在威胁，如未经授权的进入或遗弃的包裹，从而触发即时警报。这已超越了简单的记录，而是主动、智能的监控。

实现实时性能

要使模型在实时计算应用中运行得足够快，往往需要进行大量优化：

• 模型优化： 模型量化（降低模型权重的精度）和模型剪枝（删除模型的冗余部分）等技术可减少计算负荷和内存使用量。
• 硬件加速：利用边缘设备上的GPU、TPU（张量处理单元）或专用人工智能加速器（如英伟达 Jetson、谷歌 Coral Edge TPU）等专用硬件，可以显著加快计算速度。边缘计算本身对于在本地以最小延迟处理数据至关重要。
• 高效推理引擎： TensorRT、OpenVINO、ONNX Runtime 等软件库和运行时，以及PyTorch或TensorFlow等框架为训练有素的模型提供了优化的执行路径。推理引擎专为高效运行模型进行预测而设计。

Ultralytics YOLO等模型在设计时充分考虑了效率和准确性，因此非常适合实时物体检测任务。Ultralytics HUB等平台提供了训练、优化（例如，导出为ONNX或 TensorRT 格式）和部署模型的工具，有助于在各种部署方案中实施实时推理解决方案。