CPU

中央处理器CPU）是计算机的主要部件，是计算机的控制中心、 执行指令并协调整个系统的数据流。中央处理器通常被称为 CPU 通常被称为设备的 "大脑"，负责处理通用计算任务，如运行操作系统和管理输入/输出操作。 和管理输入/输出操作。在 人工智能（AI）和 机器学习（ML）方面，CPU 起着基础性作用。 基础性作用。虽然它可能无法提供大量模型训练所需的大规模并行性 模型训练所需的大规模并行性，但它对数据预处理至关重要、 在功耗和硬件成本受到限制的边缘设备上，CPU 对数据预处理、系统逻辑管理和执行推理至关重要。 限制因素。

CPU 与GPU 和TPU

了解硬件环境对于优化 机器学习操作 (MLOps) 至关重要。CPU 与 GPU 和 TPU 等加速器在架构和预期用途上有很大不同：

• CPU （中央处理器）： 专为低延迟、顺序处理而设计。它拥有少量功能强大的内核，能够处理复杂的逻辑和分支。 复杂逻辑和分支。这使它成为以下任务的理想选择 数据清理和协调整个 流水线等任务的理想选择。主要架构包括 x86Intel、AMD）和ARM。
• 图形处理器（GPU ）： GPU 最初是为渲染图形而设计的，它利用数千个较小的内核来执行并行处理。 并行处理。这种架构对于 深度学习（DL 深度学习 (DL)中的矩阵运算至关重要，可显著加快 训练大型神经网络。
• TPU （Tensor 处理单元）： 一种 特定应用集成电路（ASIC） Google 开发，专门用于加速框架中的tensor 计算，如 TensorFlow.

在人工智能工作流程中的作用

虽然 GPU 通常是训练的重点，但CPU 在整个人工智能生命周期中仍然不可或缺。

1. 数据预处理：在模型 "看到 "数据之前，必须加载和转换图像或文本。 转换。调整大小、规范化和 数据增强等操作通常由 CPU 使用 NumPy和 OpenCV.高效的CPU 处理可防止GPU 在等待数据时处于闲置状态。
2. 后处理：在模型生成原始预测结果后，CPU 通常会进行最后的 计算。例如，在物体检测中、 CPU 会执行 非最大值抑制（NMS），以 过滤掉重叠的边界框，保留最有把握的检测结果。
3. 边缘推理：在现实世界的许多场景中，部署昂贵的 GPU 是不可行的。 边缘人工智能主要依靠 CPU 在树莓派（Raspberry Pi）等设备或移动设备上运行轻量级 模型。 手机。

实际应用

中央处理器为各种应用提供了便利，在这些应用中，多功能性和能效比原始吞吐量更重要。 吞吐量。

• 智能监控系统：许多安全系统利用 运动检测算法 标准 CPU 上运行的运动检测算法。通过在记录设备上本地处理视频馈送，系统可在检测到活动时触发警报或开始记录。 只有在检测到活动时，系统才能触发警报或开始录像，从而节省存储空间和带宽，而无需专用GPU。
• 工业物联网（IIoT）：在制造业、 预测性维护系统通常在工业控制器的 工业控制器的嵌入式 CPU 上运行。这些系统实时监控传感器数据（振动、温度 使用轻量级回归或分类模型预测机械故障，确保制造自动化顺利运行。 制造自动化顺利运行。

在CPU上运行推理

开发人员经常在缺乏专用硬件的环境中使用CPU 来调试、测试或部署模型。 硬件。框架，如 PyTorch等框架允许用户 明确地以CPU 为目标。此外，将模型转换为 ONNX或使用 OpenVINO 工具包可以显著优化 推理速度。

下面的示例演示了如何强制 Ultralytics YOLO11模型在CPU 上运行推理。这 在标准硬件上进行性能基准测试时特别有用。 标准硬件的性能基准。

from ultralytics import YOLO

# Load the official YOLO11 nano model
model = YOLO("yolo11n.pt")

# Run inference on an image, explicitly setting the device to CPU
# This bypasses any available GPU to simulate an edge deployment environment
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")

# Display the detection results
results[0].show()

使用 device="cpu" 参数确保计算仍在中央处理器上进行、 允许开发人员验证模型与 无服务器计算 环境或低功耗 边缘设备。