CPU

Bộ xử lý trung tâm (CPU) là thành phần chính của máy tính, hoạt động như “bộ não” của máy và chịu trách nhiệm diễn giải, thực thi các lệnh từ phần cứng và phần mềm. Trong lĩnh vực trí tuệ nhân tạo (AI), CPU đóng vai trò nền tảng trong việc xử lý dữ liệu, điều phối hệ thống và thực thi suy luận, đặc biệt trên các thiết bị biên, nơi hiệu quả sử dụng năng lượng là yếu tố quan trọng. Mặc dù phần cứng chuyên dụng như GPU thường gắn liền với các tác vụ nặng trong quá trình huấn luyện các model deep learning, CPU vẫn không thể thiếu đối với toàn bộ pipeline machine learning (ML).

Vai trò của CPU trong quy trình AI#

Mặc dù GPU được đánh giá cao nhờ khả năng xử lý song song quy mô lớn trong quá trình huấn luyện, CPU là bộ phận chủ lực trong nhiều giai đoạn thiết yếu của vòng đời thị giác máy tính (CV). Kiến trúc của CPU, thường dựa trên các thiết kế x86 (Intel, AMD) hoặc ARM, được tối ưu cho việc xử lý tuần tự và điều khiển logic phức tạp.

• Tiền xử lý dữ liệu: Trước khi một neural network có thể học, dữ liệu cần được chuẩn bị. CPU rất phù hợp với các tác vụ như tải tệp, làm sạch dữ liệu và thực hiện các phép biến đổi phức tạp bằng các thư viện như NumPy và OpenCV.
• Suy luận biên: Đối với việc triển khai trong thực tế, chạy model trên các server quy mô lớn không phải lúc nào cũng khả thi. CPU cho phép triển khai model hiệu quả trên phần cứng phổ thông, chẳng hạn như chạy Ultralytics YOLO26 trên laptop hoặc Raspberry Pi.
• Hậu xử lý: Sau khi model xuất ra các xác suất thô, CPU thường xử lý logic cuối cùng, chẳng hạn như loại bỏ phi cực đại (NMS) trong bài toán phát hiện đối tượng, để lọc các dự đoán trùng lặp và tinh chỉnh kết quả.

CPU so với GPU và TPU#

Việc nắm rõ hệ sinh thái phần cứng là yếu tố then chốt để tối ưu hóa vận hành machine learning (MLOps). Các bộ xử lý này khác biệt đáng kể về kiến trúc và các trường hợp sử dụng lý tưởng.

• CPU: Được thiết kế để xử lý linh hoạt và logic phức tạp. CPU có một số ít lõi mạnh, xử lý các tác vụ tuần tự. CPU phù hợp nhất cho tăng cường dữ liệu, quản lý pipeline và suy luận độ trễ thấp trên các batch nhỏ.
• Bộ xử lý đồ họa (GPU): Ban đầu được phát triển cho đồ họa, GPU có hàng nghìn lõi nhỏ hơn, được thiết kế cho xử lý song song. GPU là tiêu chuẩn cho huấn luyện model vì có thể thực hiện phép nhân ma trận nhanh hơn nhiều so với CPU.
• Bộ xử lý tensor (TPU): Một mạch chuyên dụng (ASIC) do Google Cloud phát triển riêng cho các phép toán tensor. Mặc dù rất hiệu quả đối với các workload cụ thể, TPU thiếu tính linh hoạt đa dụng của CPU.

Các ứng dụng trong thực tế#

CPU thường là lựa chọn phần cứng hàng đầu cho các ứng dụng mà chi phí, khả năng sẵn có và mức tiêu thụ năng lượng quan trọng hơn nhu cầu đạt thông lượng thô cực lớn.

1. Camera an ninh thông minh: Trong các hệ thống báo động an ninh, camera thường xử lý luồng video cục bộ. Model phát hiện đối tượng chạy trên CPU có thể nhận diện người hoặc phương tiện và kích hoạt cảnh báo mà không cần gửi video lên cloud, giúp tiết kiệm băng thông và bảo vệ quyền riêng tư của người dùng.

2. Tự động hóa công nghiệp: Trên sàn nhà máy, các hệ thống bảo trì dự đoán sử dụng CPU để giám sát dữ liệu cảm biến từ máy móc. Các hệ thống này phân tích rung động hoặc mức tăng nhiệt độ theo thời gian thực để dự đoán sự cố, đảm bảo tự động hóa sản xuất vận hành trơn tru mà không cần các cụm GPU đắt đỏ.

Chạy suy luận trên CPU với Ultralytics#

Các developer thường kiểm thử model trên CPU để xác minh khả năng tương thích với các môi trường điện toán không máy chủ hoặc thiết bị công suất thấp. API Ultralytics cho phép bạn dễ dàng chọn CPU làm đích, đảm bảo ứng dụng có thể chạy ở mọi nơi.

Ví dụ sau minh họa cách tải một model gọn nhẹ và chạy suy luận cụ thể trên CPU:

from ultralytics import YOLO

# Load the lightweight YOLO26 nano model
# Smaller models are optimized for faster CPU execution
model = YOLO("yolo26n.pt")

# Run inference on an image, explicitly setting the device to 'cpu'
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")

# Print the detection results (bounding boxes)
print(results[0].boxes.xywh)

Để cải thiện hơn nữa hiệu năng trên CPU Intel, developer có thể export model sang định dạng OpenVINO, định dạng này tối ưu cấu trúc neural network riêng cho kiến trúc x86. Để quản lý dataset và điều phối các hoạt động triển khai này, những công cụ như Ultralytics Platform giúp đơn giản hóa workflow từ gán nhãn đến thực thi trên thiết bị biên.