CPU

Central Processing Unit (CPU) là thành phần chính của máy tính, đóng vai trò như "bộ não" chịu trách nhiệm thông dịch và thực thi các chỉ dẫn từ phần cứng và phần mềm. Trong ngữ cảnh trí tuệ nhân tạo (AI), CPU đóng vai trò cơ bản trong xử lý dữ liệu, điều phối hệ thống và thực thi suy luận, đặc biệt là trên các thiết bị biên nơi hiệu quả năng lượng là yếu tố then chốt. Mặc dù các phần cứng chuyên dụng như GPU thường gắn liền với các tác vụ nặng như huấn luyện các mô hình deep learning, CPU vẫn không thể thiếu trong toàn bộ quy trình học máy (ML).

Link to this sectionVai trò của CPU trong các quy trình làm việc AI#

Mặc dù GPU được ưa chuộng nhờ khả năng xử lý song song mạnh mẽ trong quá trình huấn luyện, CPU lại là "con ngựa thồ" cho nhiều giai đoạn thiết yếu của vòng đời thị giác máy tính (CV). Kiến trúc của nó, thường dựa trên thiết kế x86 (Intel, AMD) hoặc ARM, được tối ưu hóa cho xử lý tuần tự và kiểm soát logic phức tạp.

• Tiền xử lý dữ liệu: Trước khi một mạng thần kinh có thể học, dữ liệu cần được chuẩn bị. CPU vượt trội trong các tác vụ như tải tệp, làm sạch dữ liệu và các phép biến đổi phức tạp sử dụng các thư viện như NumPy và OpenCV.
• Suy luận tại biên: Đối với việc triển khai thực tế, chạy các mô hình trên các máy chủ khổng lồ không phải lúc nào cũng khả thi. CPU cho phép triển khai mô hình hiệu quả trên phần cứng phổ thông, chẳng hạn như chạy Ultralytics YOLO26 trên máy tính xách tay hoặc Raspberry Pi.
• Hậu xử lý: Sau khi mô hình xuất ra các xác suất thô, CPU thường xử lý logic cuối cùng, chẳng hạn như Non-Maximum Suppression (NMS) trong phát hiện đối tượng, để lọc bỏ các dự đoán trùng lặp và tinh chỉnh kết quả.

Link to this sectionCPU vs. GPU vs. TPU#

Hiểu rõ về phần cứng là yếu tố quan trọng để tối ưu hóa vận hành học máy (MLOps). Các bộ xử lý này khác biệt đáng kể về kiến trúc và các trường hợp sử dụng lý tưởng.

• CPU: Được thiết kế cho tính linh hoạt và logic phức tạp. Nó có một vài lõi mạnh mẽ xử lý các tác vụ một cách tuần tự. Nó phù hợp nhất cho tăng cường dữ liệu, quản lý quy trình và suy luận độ trễ thấp trên các lô nhỏ.
• GPU (Graphics Processing Unit): Ban đầu dành cho đồ họa, GPU có hàng nghìn lõi nhỏ hơn được thiết kế để xử lý song song. Chúng là tiêu chuẩn cho huấn luyện mô hình vì chúng có thể thực hiện các phép nhân ma trận nhanh hơn nhiều so với CPU.
• TPU (Tensor Processing Unit): Một mạch chuyên dụng (ASIC) được Google Cloud phát triển dành riêng cho toán học tensor. Mặc dù rất hiệu quả cho các khối lượng công việc cụ thể, nó thiếu tính linh hoạt đa năng của một CPU.

Link to this sectionCác ứng dụng trong thực tế#

CPU thường là lựa chọn phần cứng ưu tiên cho các ứng dụng mà chi phí, tính sẵn có và mức tiêu thụ năng lượng quan trọng hơn nhu cầu về thông lượng thô khổng lồ.

1. Camera an ninh thông minh: Trong các hệ thống báo động an ninh, camera thường xử lý nguồn cấp dữ liệu video tại chỗ. Một mô hình phát hiện đối tượng dựa trên CPU có thể nhận dạng người hoặc phương tiện và kích hoạt cảnh báo mà không cần gửi video lên đám mây, giúp tiết kiệm băng thông và bảo vệ quyền riêng tư của người dùng.

2. Industrial Automation: On factory floors, predictive maintenance systems use CPUs to monitor sensor data from machinery. These systems analyze vibrations or temperature spikes in real-time to predict failures, ensuring smooth manufacturing automation without the need for expensive GPU clusters.

Link to this sectionChạy suy luận trên CPU với Ultralytics#

Các nhà phát triển thường thử nghiệm mô hình trên CPU để xác minh tính tương thích với các môi trường serverless computing hoặc các thiết bị công suất thấp. API của Ultralytics cho phép bạn nhắm mục tiêu CPU một cách dễ dàng, đảm bảo ứng dụng của bạn chạy ở bất cứ đâu.

Ví dụ sau đây minh họa cách tải một mô hình nhẹ và chạy suy luận cụ thể trên CPU:

from ultralytics import YOLO

# Load the lightweight YOLO26 nano model
# Smaller models are optimized for faster CPU execution
model = YOLO("yolo26n.pt")

# Run inference on an image, explicitly setting the device to 'cpu'
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")

# Print the detection results (bounding boxes)
print(results[0].boxes.xywh)

Để cải thiện hiệu suất hơn nữa trên các CPU Intel, các nhà phát triển có thể xuất mô hình của họ sang định dạng OpenVINO, giúp tối ưu hóa cấu trúc mạng thần kinh dành riêng cho kiến trúc x86. Để quản lý tập dữ liệu và điều phối các triển khai này, các công cụ như Ultralytics Platform giúp đơn giản hóa quy trình từ chú thích đến thực thi tại biên.