实时推理

实时推理是指训练好的机器学习 (ML) 模型接受实时输入数据并几乎即时生成预测的过程。与数据在稍后批量收集和分析的离线处理不同，实时推理是即时发生的，使系统能够快速灵活地对其环境做出反应。这种能力是现代人工智能 (AI) 应用的核心，使设备能够在毫秒内感知、解释和处理数据。

低延迟的重要性

评估实时性能的主要指标是推理延迟。它衡量的是数据输入模型（例如来自摄像机的帧）的时刻与模型产生输出（例如边界框或分类标签）的时刻之间的时间延迟。对于被认为是“实时”的应用，延迟必须足够低，以匹配传入数据流的速度。

例如，在以每秒30帧 (FPS) 运行的视频理解任务中，系统有大约33毫秒的严格时间预算来处理每一帧。如果推理时间更长，系统就会引入延迟，可能导致丢帧或响应延迟。实现这一点通常需要使用GPU或边缘AI专用设备（如NVIDIA Jetson）进行硬件加速。

实时推理与批量推理

区分实时工作流与批处理是有帮助的。虽然两者都涉及生成预测，但它们的目标和架构却大相径庭：

• 实时推理： 优先考虑低延迟。它在单个数据点（或非常小的批次）到达后立即进行处理。这对于 自动驾驶汽车 等交互式应用程序至关重要，例如汽车必须立即 detect 行人才能及时制动。
• 批量推理：优先考虑高吞吐量。它收集大量数据并一次性处理。这适用于非紧急任务，例如生成夜间库存报告或分析历史 大数据 趋势。

实际应用

做出瞬间决策的能力，通过在动态环境中实现自动化，已经改变了各个行业。

• 智能制造： 在 制造业中的AI 中，放置在传送带上方的摄像头使用实时推理来执行自动化质量控制。目标检测 模型可以立即识别高速移动产品中的缺陷或异物。如果 detect 到异常，系统会触发机械臂立即移除该物品，确保只有高质量的商品进入包装。
• 监控与安全： 现代安全系统依赖 计算机视觉 来监控周界。这些摄像头不仅仅是录制视频，它们还运行实时 人员 detect 或 人脸识别，以便在未经授权的访问发生时立即提醒安保人员。
• 机器人技术： 在 机器人领域中的AI 中，机器人使用 姿势估计 在复杂的物理空间中导航。仓库机器人必须持续推理障碍物和人类工人的位置，以安全高效地规划其路径。

优化与部署

为实时应用部署模型通常需要优化，以确保它们在目标硬件上高效运行。诸如模型量化等技术可以降低模型权重的精度（例如，从float32到int8），从而减少内存使用并提高推理速度，同时对准确率的影响最小。

开发人员可以利用Ultralytics Platform来简化这一过程。该平台简化了训练过程，并允许用户将模型导出为优化格式，例如 TensorRT 用于 NVIDIA GPU、OpenVINO 用于 Intel CPU，或 TFLite 用于移动部署。

代码示例

以下 python 代码片段演示了如何使用网络摄像头进行实时推理 ultralytics 库。它使用 YOLO26 Nano 模型，该模型专为在边缘设备上实现高速性能而设计。

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")