CPU

中央处理器（CPU）是计算机的主要组件，充当计算机的“大脑”，负责解释和执行来自硬件和软件的指令。在人工智能（AI）的应用场景中，CPU 在数据处理、系统编排和执行推理方面发挥着基础作用，尤其是在功耗效率至关重要的边缘设备上。虽然 GPU 等专用硬件通常用于承担深度学习模型训练中的繁重计算，但 CPU 对整个机器学习（ML）流程仍然不可或缺。

CPU 在 AI 工作流中的作用#

尽管 GPU 因在训练期间具备强大的并行处理能力而广受关注，但 CPU 仍是计算机视觉（CV）生命周期中许多关键阶段的主力。其架构通常基于 x86（Intel、AMD）或 ARM 设计，针对顺序处理和复杂逻辑控制进行了优化。

• 数据预处理： 神经网络开始学习之前，必须先准备数据。CPU 擅长文件加载、数据清洗以及使用 NumPy 和 OpenCV 等库执行复杂转换等任务。
• 边缘推理： 在实际部署中，在大型服务器上运行模型并不总是可行。CPU 支持在消费级硬件上高效进行模型部署，例如在笔记本电脑或 Raspberry Pi 上运行 Ultralytics YOLO26。
• 后处理： 模型输出原始概率后，CPU 通常负责执行最终逻辑，例如在目标检测中进行非极大值抑制（NMS），以过滤重复预测并优化结果。

CPU 与 GPU、TPU 的对比#

了解硬件生态对于优化机器学习运维（MLOps）至关重要。这些处理器在架构和理想使用场景方面存在显著差异。

• CPU： 专为通用性和复杂逻辑而设计，拥有少量高性能核心，可按顺序处理任务。它最适合用于数据增强、流程管理以及小批量数据的低延迟推理。
• 图形处理器（GPU）： GPU 最初用于图形处理，拥有数千个专为并行处理而设计的小型核心。GPU 是模型训练的标准选择，因为其执行矩阵乘法的速度远快于 CPU。
• 张量处理器（TPU）： 这是由 Google Cloud 专门为张量运算开发的专用集成电路（ASIC）。虽然它对特定工作负载而言效率很高，但缺乏 CPU 的通用灵活性。

实际应用#

当成本、可用性和能耗比大规模原始吞吐量更重要时，CPU 往往是应用的首选硬件。

1. 智能安防摄像头： 在安全报警系统中，摄像头通常会在本地处理视频流。基于 CPU 的目标检测模型可以识别人或车辆并触发警报，而无需将视频发送到云端，从而节省带宽并保护用户隐私。

2. 工业自动化： 在工厂车间，预测性维护系统使用 CPU 监控机械设备的传感器数据。这些系统会实时分析振动或温度峰值，以预测故障，确保制造自动化平稳运行，而无需昂贵的 GPU 集群。

使用 Ultralytics 在 CPU 上运行推理#

开发者经常在 CPU 上测试模型，以验证其与无服务器计算环境或低功耗设备的兼容性。Ultralytics API 允许你轻松指定 CPU，确保应用能够在任何地方运行。

以下示例演示了如何加载轻量级模型并专门在 CPU 上运行推理：

from ultralytics import YOLO

# Load the lightweight YOLO26 nano model
# Smaller models are optimized for faster CPU execution
model = YOLO("yolo26n.pt")

# Run inference on an image, explicitly setting the device to 'cpu'
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")

# Print the detection results (bounding boxes)
print(results[0].boxes.xywh)

为了进一步提升 Intel CPU 上的性能，开发者可以将模型导出为 OpenVINO 格式，该格式会专门针对 x86 架构优化神经网络结构。对于数据集管理和部署编排，Ultralytics Platform 等工具可以简化从标注到边缘执行的整个工作流。