CPU

中央处理器（CPU）是计算机的核心组件，充当其“大脑”，负责解释和执行来自硬件和软件的指令。在人工智能（AI）领域，CPU在数据处理、系统编排和执行推理方面发挥着基础性作用，尤其是在功耗效率至关重要的边缘设备上。尽管GPU等专用硬件通常与深度学习模型训练的繁重任务相关联，但CPU对于整个机器学习（ML）流程仍然不可或缺。

CPU在人工智能工作流中的作用

尽管GPU因其在训练过程中的大规模并行性而备受推崇，但CPU却是计算机视觉（CV）生命周期中许多关键阶段的主力。它的架构通常基于x86（Intel、AMD）或ARM设计，针对顺序处理和复杂逻辑控制进行了优化。

• 数据预处理：在神经网络学习之前，必须准备数据。CPU擅长文件加载、 数据清洗以及使用 NumPy和 OpenCV等库进行复杂转换等任务。
• 边缘推理：在实际部署中，将模型运行在大型服务器上并非总是可行。 CPU支持在消费级硬件上高效部署模型， 例如在笔记本电脑或树莓派上运行Ultralytics 。
• 后处理：在模型输出原始概率后，CPU通常处理最终逻辑，例如目标detect中的NMS，以过滤掉重复预测并优化结果。

CPU 对比 GPU 对比 TPU

理解硬件环境对优化机器学习运维（MLOps）至关重要。这些处理器在架构和理想应用场景方面存在显著差异。

• CPU: 专为多功能性和复杂逻辑设计。它具有少量强大的核心，可顺序处理任务。最适合 数据增强、流水线管理 以及小批量低延迟推理。
• GPU 图形处理器）： 最初用于图形处理，GPU拥有数千个小型核心，专为并行处理设计。 它们已成为模型训练的标准选择， 因为其执行矩阵乘法的速度远快于CPU。
• TPU (tensor处理单元)：Google Cloud专门为 tensor 运算开发的专用电路 (ASIC)。虽然对特定工作负载高效，但它缺乏 CPU 的通用灵活性。

实际应用

对于成本、可用性和能耗比对大规模原始吞吐量的需求更重要的应用，CPU 常常是首选硬件。

1. 智能安防摄像头：在 安防报警系统中，摄像头通常在本地处理视频流。基于 CPU 的 目标检测模型可以识别人员或车辆并触发警报，而无需将视频发送到云端，从而节省带宽并保护用户隐私。
2. 工业自动化：在工厂车间， 预测性维护系统利用CPU实时监测机械设备的传感器数据。这些系统通过分析振动或温度骤升现象，预判设备故障，确保制造自动化流程顺畅运行，且无需依赖GPU 。

CPU 上运行Ultralytics推理

开发人员常在CPU上测试模型，以验证其与无服务器计算环境或低功耗设备的兼容性。Ultralytics 可让您轻松定位CPU，确保应用程序无处不在地运行。

以下示例演示了如何加载轻量级模型，并在CPU进行推理：

from ultralytics import YOLO

# Load the lightweight YOLO26 nano model
# Smaller models are optimized for faster CPU execution
model = YOLO("yolo26n.pt")

# Run inference on an image, explicitly setting the device to 'cpu'
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")

# Print the detection results (bounding boxes)
print(results[0].boxes.xywh)

为了进一步提高 Intel CPU 上的性能，开发者可以将模型导出为 OpenVINO 格式，该格式专门针对 x86 架构优化神经网络 结构。对于数据集管理和这些部署的编排， Ultralytics Platform 等工具简化了从标注到边缘 执行的工作流程。