CPU

중앙 처리 장치(CPU)는 하드웨어와 소프트웨어의 명령을 해석하고 실행하는 '두뇌' 역할을 하는 컴퓨터의 핵심 구성 요소입니다. 인공지능(AI) 분야에서 CPU는 데이터 처리, 시스템 오케스트레이션 및 추론 실행에 근본적인 역할을 하며, 특히 전력 효율이 중요한 엣지 디바이스에서 필수적입니다. GPU와 같은 특수 하드웨어가 딥러닝 모델 학습과 같은 무거운 작업에 주로 사용되지만, CPU는 전체 머신 러닝(ML) 파이프라인에서 여전히 없어서는 안 될 요소입니다.

Link to this sectionAI 워크플로에서 CPU의 역할#

GPU가 학습 중 대규모 병렬 처리에 탁월하다면, CPU는 컴퓨터 비전(CV) 라이프사이클의 여러 필수 단계에서 핵심적인 역할을 합니다. 일반적으로 x86(Intel, AMD) 또는 ARM 설계를 기반으로 하는 CPU 아키텍처는 순차 처리와 복잡한 논리 제어에 최적화되어 있습니다.

• 데이터 전처리: 신경망이 학습하기 전에 데이터를 준비해야 합니다. CPU는 파일 로드, 데이터 정제, 그리고 NumPy 및 OpenCV와 같은 라이브러리를 사용한 복잡한 변환 작업에 탁월합니다.
• Edge Inference: For real-world deployment, running models on massive servers isn't always feasible. CPUs allow for efficient model deployment on consumer hardware, such as running Ultralytics YOLO26 on a laptop or a Raspberry Pi.
• 후처리: 모델이 원시 확률 값을 출력한 후, CPU는 보통 객체 탐지에서의 비최대 억제(NMS)와 같은 최종 논리 처리를 담당하여 중복 예측을 필터링하고 결과를 정교화합니다.

Link to this sectionCPU vs. GPU vs. TPU#

하드웨어 환경을 이해하는 것은 머신 러닝 운영(MLOps)을 최적화하는 데 매우 중요합니다. 이러한 프로세서는 아키텍처와 이상적인 사용 사례 면에서 크게 다릅니다.

• CPU: 범용성과 복잡한 논리를 위해 설계되었습니다. 순차적으로 작업을 처리하는 소수의 강력한 코어를 특징으로 합니다. 데이터 증강, 파이프라인 관리 및 소규모 배치에 대한 저지연 추론에 가장 적합합니다.
• GPU(그래픽 처리 장치): 원래 그래픽용으로 설계된 GPU는 병렬 처리를 위해 수천 개의 작은 코어를 갖추고 있습니다. CPU보다 훨씬 빠르게 행렬 곱셈을 수행할 수 있어 모델 학습의 표준으로 자리 잡았습니다.
• TPU(텐서 처리 장치): Google Cloud에서 텐서 연산을 위해 특별히 개발한 특수 회로(ASIC)입니다. 특정 워크로드에 대해서는 매우 효율적이지만, CPU의 범용적인 유연성은 부족합니다.

Link to this section실제 애플리케이션 사례#

CPU는 비용, 가용성 및 에너지 소비가 대규모 원시 처리량보다 더 중요한 애플리케이션에서 주로 선택되는 하드웨어입니다.

1. 스마트 보안 카메라: 보안 경보 시스템에서 카메라는 종종 비디오 피드를 로컬에서 처리합니다. CPU 기반 객체 탐지 모델은 비디오를 클라우드로 전송하지 않고도 사람이나 차량을 식별하고 경고를 트리거하여 대역폭을 절약하고 사용자 개인정보를 보호할 수 있습니다.

2. Industrial Automation: On factory floors, predictive maintenance systems use CPUs to monitor sensor data from machinery. These systems analyze vibrations or temperature spikes in real-time to predict failures, ensuring smooth manufacturing automation without the need for expensive GPU clusters.

Link to this sectionUltralytics를 사용하여 CPU에서 추론 실행하기#

개발자들은 종종 서버리스 컴퓨팅 환경이나 저전력 디바이스와의 호환성을 검증하기 위해 CPU에서 모델을 테스트합니다. Ultralytics API를 사용하면 CPU를 쉽게 타겟팅하여 애플리케이션이 어디서나 실행되도록 할 수 있습니다.

다음 예제는 경량 모델을 로드하고 CPU에서 구체적으로 추론을 실행하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the lightweight YOLO26 nano model
# Smaller models are optimized for faster CPU execution
model = YOLO("yolo26n.pt")

# Run inference on an image, explicitly setting the device to 'cpu'
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")

# Print the detection results (bounding boxes)
print(results[0].boxes.xywh)

Intel CPU에서의 성능을 더욱 향상하기 위해 개발자는 모델을 OpenVINO 형식으로 내보낼 수 있으며, 이는 x86 아키텍처에 맞게 신경망 구조를 최적화합니다. 데이터셋 관리 및 이러한 배포를 오케스트레이션하기 위해 Ultralytics Platform과 같은 도구는 주석 작업부터 엣지 실행까지의 워크플로를 간소화합니다.