CPU

중앙 처리 장치CPU는 컴퓨터의 제어 센터 역할을 하는 주요 구성 요소입니다, 명령을 실행하고 시스템 전반의 데이터 흐름을 조율하는 역할을 합니다. 흔히 기기의 "기기의 '두뇌'라고도 불리는 CPU 운영 체제 실행과 같은 범용 컴퓨팅 작업을 처리하고 입력/출력 작업 관리와 같은 범용 컴퓨팅 작업을 처리합니다. 다음과 같은 맥락에서 인공 지능(AI) 및 머신 러닝(ML)의 맥락에서 CPU 기초적인 역할을 합니다. 무거운 모델 훈련에 필요한 대규모 병렬 처리를 제공하지는 않지만 대규모 병렬 처리를 제공하지는 않지만, 데이터 전처리에는 매우 중요합니다, 시스템 로직을 관리하고 전력 소비와 하드웨어 비용이 제약이 있는 에지 디바이스에서 추론을 실행하는 데 제약이 있는 엣지 디바이스에서 추론을 실행하는 데 중요합니다.

CPU GPU 및 TPU

하드웨어 환경을 이해하는 것은 머신 러닝 운영(MLOps)을 최적화하는 데 있어 최적화하려면 하드웨어 환경을 이해하는 것이 필수적입니다. CPU 아키텍처와 사용 목적에 따라 GPU 및 TPU와 같은 가속기와 크게 다릅니다:

• CPU (중앙 처리 장치): 지연 시간이 짧은 순차적 처리를 위해 설계되었습니다. 복잡한 로직과 브랜칭을 처리할 수 있는 강력한 코어가 복잡한 로직과 브랜칭을 처리할 수 있습니다. 따라서 다음과 같은 작업에 이상적입니다. 데이터 정리 및 전체 파이프라인 오케스트레이션 파이프라인. 주요 아키텍처로는 x86Intel, AMD) 및 ARM이 있습니다.
• GPU (그래픽 처리 장치): 원래 그래픽 렌더링을 위해 만들어진 GPU는 수천 개의 작은 코어를 활용하여 병렬 처리를 수행합니다. 이 아키텍처는 행렬 연산에 필수적이며 행렬 연산에 필수적이며 대규모 신경망 학습을 크게 가속화합니다.
• TPU (Tensor 처리 장치): An 애플리케이션 특정 집적 회로(ASIC) 다음과 같은 프레임워크에서 tensor 계산을 가속화하기 위해 Google 특별히 개발했습니다. TensorFlow.

AI 워크플로우에서의 역할

GPU가 트레이닝의 중심이 되는 경우가 많지만, CPU AI 수명 주기 내내 없어서는 안 될 존재입니다.

1. 데이터 전처리: 모델이 데이터를 '보기' 전에 이미지나 텍스트를 로드하고 변환해야 합니다. 크기 조정, 정규화, 데이터 증강과 같은 작업은 일반적으로 데이터 증강과 같은 작업은 일반적으로 같은 라이브러리를 사용하는 CPU NumPy 와 OpenCV. 효율적인 CPU 처리를 통해 데이터를 기다리는 동안 GPU 유휴 상태가 되는 것을 방지합니다.
2. 후처리: 모델이 원시 예측을 생성한 후 CPU 종종 최종 계산을 수행합니다. 예를 들어, 객체 감지에서는 CPU 비최대 억제(NMS )를 실행하여 겹치는 경계 상자를 걸러내고 가장 확실한 탐지 결과를 유지합니다.
3. 에지 추론: 많은 실제 시나리오에서 고가의 GPU를 배포하는 것은 불가능합니다. 엣지 AI는 라즈베리 파이나 모바일 기기에서 경량 모델을 실행하기 위해 CPU에 크게 의존합니다. 라즈베리 파이나 휴대폰과 같은 디바이스에서 가벼운 전화기

실제 애플리케이션

CPU는 다목적성과 에너지 효율성이 원시 처리량보다 우선시되는 광범위한 애플리케이션을 지원합니다. 처리량.

• 스마트 감시 시스템: 많은 보안 시스템은 동작 감지 알고리즘을 동작 감지 알고리즘을 사용합니다. 녹화 장치에서 로컬로 비디오 피드를 처리함으로써, 시스템이 경고를 트리거하거나 활동이 감지될 때만 활동을 감지할 때만 녹화를 시작하여 전용 GPU 없이도 저장 공간과 대역폭을 절약할 수 있습니다.
• 산업용 IoT(IIoT): 제조업에서 예측 유지보수 시스템은 종종 산업용 컨트롤러의 임베디드 CPU에서 실행되는 경우가 많습니다. 이러한 시스템은 센서 데이터(진동, 온도)를 실시간으로 모니터링하여 경량 회귀 또는 분류 모델을 사용하여 기계 고장을 예측함으로써 제조 자동화를 원활하게 실행합니다.

CPU 추론 실행

개발자는 전문 하드웨어가 없는 환경에서 디버깅, 테스트 또는 모델 배포를 위해 CPU 자주 사용합니다. 하드웨어를 사용합니다. 다음과 같은 프레임워크 PyTorch 와 같은 프레임워크는 사용자가 CPU 명시적으로 타겟팅할 수 있습니다. 또한 모델을 다음과 같은 형식으로 변환할 수 있습니다. ONNX 와 같은 형식으로 변환하거나 OpenVINO 툴킷을 사용하면 인텔 CPU에서 추론 속도를 크게 최적화할 수 있습니다.

다음 예제에서는 Ultralytics YOLO11 모델이 CPU 추론을 실행하도록 하는 방법을 보여줍니다. 이 는 특히 표준 하드웨어의 벤치마킹하는 데 특히 유용합니다.

from ultralytics import YOLO

# Load the official YOLO11 nano model
model = YOLO("yolo11n.pt")

# Run inference on an image, explicitly setting the device to CPU
# This bypasses any available GPU to simulate an edge deployment environment
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")

# Display the detection results
results[0].show()

사용 device="cpu" 인수를 사용하면 계산이 중앙 프로세서에서 유지됩니다, 개발자는 다음과 같은 모델 호환성을 확인할 수 있습니다. 서버리스 컴퓨팅 환경 또는 저전력 엣지 디바이스.