Real-time Inference

探索实时推理的力量，实现即时 AI 预测。了解 Ultralytics YOLO26 如何为边缘设备和机器人技术提供低延迟结果。

实时推理是指经过训练的机器学习 (ML) 模型接收实时输入数据并几乎瞬间生成预测的过程。与稍后批量收集和分析数据的离线处理不同，实时推理在运行中进行，使系统能够快速且灵活地对环境做出反应。这种能力是现代人工智能 (AI) 应用的核心，让设备能够在毫秒级时间内感知、解释并根据数据采取行动。

Link to this section低延迟的重要性#

评估实时性能的主要指标是推理延迟。它衡量从数据输入模型（例如来自摄像头的帧）到模型产生输出（例如 BBox 或分类标签）之间的时间延迟。对于被视为“实时”的应用程序，延迟必须足够低，以匹配输入数据流的速度。

例如，在以每秒 30 帧 (FPS) 运行的视频理解任务中，系统处理每一帧的时间预算严格限制在大约 33 毫秒内。如果推理时间过长，系统就会产生滞后，可能导致丢帧或响应延迟。实现这一点通常需要使用 GPU 或专门的 Edge AI 设备（如 NVIDIA Jetson）进行硬件加速。

Link to this section实时推理与批量推理#

区分实时工作流与批量处理非常有帮助。虽然两者都涉及生成预测，但它们的目标和架构有显著差异：

实时推理： 优先考虑低延迟。它在单个数据点（或极小批次）到达时立即处理。这对于交互式应用至关重要，例如自动驾驶车辆，汽车必须瞬间检测到行人才能及时刹车。
批量推理： 优先考虑高吞吐量。它收集大量数据并一次性全部处理。这适用于非紧急任务，例如生成每日库存报告或分析历史大数据趋势。

Link to this section实际应用#

在动态环境中实现自动化，从而通过瞬间决策能力改变了各行各业。

智能制造： 在 AI 制造应用中，安装在传送带上方的摄像头使用实时推理来执行自动化质量控制。目标检测模型可以瞬间识别高速移动产品中的缺陷或异物。如果检测到异常，系统会触发机械臂立即移除该物品，确保只有高质量的商品进入包装流程。
监控与安防： 现代安防系统依赖计算机视觉来监控周边环境。这些摄像头不仅是录制视频，还会运行实时人员检测或人脸识别，在未经授权的访问发生时立即通知安保人员。
机器人技术： 在 AI 机器人应用领域，机器人使用姿态估计在复杂的物理空间中导航。仓储机器人必须持续推断障碍物和工作人员的位置，从而安全高效地规划其路径。

Link to this section优化与部署#

为实时应用部署模型通常需要进行优化，以确保它们在目标硬件上高效运行。模型量化等技术可降低模型权重的精度（例如从 float32 到 int8），从而在对准确率影响最小的情况下减少内存占用并提高推理速度。

开发者可以利用 Ultralytics Platform 来简化此流程。该平台简化了训练过程，并允许用户将模型导出为优化格式，例如用于 NVIDIA GPU 的 TensorRT、用于 Intel CPU 的 OpenVINO，或用于移动端部署的 TFLite。

Link to this section代码示例#

以下 Python 代码片段演示了如何使用 ultralytics 库在摄像头画面上运行实时推理。它使用了专为边缘设备高速性能而设计的 YOLO26 Nano 模型。

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")