CPU
CPU là bộ xử lý đa dụng của máy tính. Trong AI, CPU tải và chuẩn bị dữ liệu, điều phối bộ tăng tốc và chạy suy luận khi không có GPU.
Bộ xử lý trung tâm (CPU) là bộ xử lý đa dụng chạy hệ điều hành và các chương trình của máy tính. CPU thực thi chỉ dẫn trên một số lượng nhỏ lõi mạnh, mỗi lõi được thiết kế để xử lý nhanh một luồng chỉ dẫn, với cache lớn, dự đoán nhánh và thực thi ngoài thứ tự giúp mã phức tạp có nhiều nhánh chạy nhanh. Trong các hệ thống trí tuệ nhân tạo (AI), CPU tải và giải mã dữ liệu, áp dụng data augmentation, cấp dữ liệu cho GPU và các bộ tăng tốc khác, đồng thời xử lý các bước quanh model, chẳng hạn như thay đổi kích thước ảnh trước khi inference và non-maximum suppression sau phát hiện đối tượng. CPU cũng tự chạy model ở nơi không có bộ tăng tốc hoặc việc dùng bộ tăng tốc không đáng chi phí, từ laptop và cloud function đến Raspberry Pi, khiến độ trễ inference trên CPU trở thành mục tiêu thiết kế quan trọng cho các model AI biên.
Cách CPU chạy mạng nơ-ron#
Mạng nơ-ron dành phần lớn thời gian cho phép nhân ma trận, và CPU tăng tốc việc này theo ba cách. Nhiều lõi, từ 4 lõi trên bo mạch nhỏ đến hơn 100 lõi trên chip máy chủ, xử lý song song các phần khác nhau của batch hoặc layer. Bên trong mỗi lõi, các đơn vị SIMD (một chỉ lệnh, nhiều dữ liệu) áp dụng một chỉ lệnh lên nhiều số cùng lúc: AVX2 và AVX-512 trên chip x86 của Intel và AMD, và NEON trên chip Arm như chip trong điện thoại, máy Mac dùng Apple silicon và bo mạch Raspberry Pi; các chip máy chủ Arm mới hơn có phần mở rộng SVE rộng hơn. Những chip mới đây bổ sung các đơn vị ma trận, chẳng hạn Advanced Matrix Extensions (AMX) của Intel trên bộ xử lý máy chủ Xeon từ năm 2023 và Scalable Matrix Extension (SME) của Arm, thực hiện phép nhân các tile nhỏ gồm giá trị BF16 hoặc INT8 trong mỗi chỉ lệnh.
Thông lượng CPU vẫn thấp hơn nhiều so với GPU, vì CPU dành diện tích chip cho cache và logic điều khiển nhằm tăng hiệu năng đơn luồng, thay vì cho hàng nghìn đơn vị số học; CPU cũng đọc trọng số từ bộ nhớ hệ thống thông thường với băng thông bộ nhớ chỉ bằng một phần băng thông của GPU. Inference engine giúp thu hẹp một phần khoảng cách này: ONNX Runtime, OpenVINO của Intel và NCNN của Tencent gộp các layer, chọn kernel nhanh nhất cho tập lệnh được phát hiện và chạy model được lượng tử hóa INT8, vốn chỉ cần di chuyển một phần tư lượng dữ liệu so với trọng số FP32. Việc chọn engine và độ chính xác cho triển khai trên CPU thường phụ thuộc vào phần cứng:
Ultralytics thiết kế YOLO26 cho loại phần cứng này; YOLO26n chạy nhanh hơn YOLO11n đến 43% trong inference ONNX trên CPU trên CPU Intel Xeon, còn export OpenVINO tăng tốc inference trên CPU lên đến 3 lần. Đoạn mã này chạy YOLO26 trên CPU, sau đó export sang OpenVINO và chạy model đã export:
from ultralytics import YOLO
# Chạy model phát hiện YOLO26 nhỏ nhất trên CPU, ngay cả khi có GPU
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")
print(results[0].speed) # mili giây cho tiền xử lý, inference và hậu xử lý
# Xuất sang định dạng của OpenVINO rồi chạy model đã xuất trên cùng CPU
path = model.export(format="openvino")
ov_model = YOLO(path)
results = ov_model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")
print(results[0].speed)Mỗi dictionary speed chia thời gian xử lý một ảnh thành tiền xử lý, inference và hậu xử lý, vì vậy hai dòng kết quả in ra so sánh thời gian inference của PyTorch và OpenVINO trên máy chạy mã.
CPU, GPU, TPU và NPU#
- CPU: Một số lõi mạnh để xử lý mã đa dụng có nhiều nhánh. Mọi máy tính đều có CPU; CPU có thể chạy mọi model mà không cần phần cứng bổ sung, nhưng thông lượng thấp hơn các bộ tăng tốc bên dưới.
- GPU: Hàng nghìn lõi đơn giản hơn cùng Tensor Core chuyên xử lý phép toán ma trận và bộ nhớ băng thông cao. GPU là phần cứng tiêu chuẩn để huấn luyện và inference thông lượng cao.
- TPU: Chip chuyên dụng theo ứng dụng của Google, xây dựng quanh các đơn vị nhân ma trận kích thước lớn, có trên Google Cloud và dưới dạng Edge TPU trong các module inference nhỏ.
- NPU: Bộ tăng tốc mạng nơ-ron công suất thấp bên trong chip điện thoại, laptop và thiết bị nhúng. Chip Intel Core Ultra, AMD Ryzen AI, Qualcomm Snapdragon và Apple M-series kết hợp lõi CPU, GPU và NPU trong cùng một bộ xử lý.
Ứng dụng thực tế#
- Pipeline dữ liệu huấn luyện: Trong khi GPU huấn luyện, các tiến trình worker CPU đọc ảnh từ đĩa, giải mã, thay đổi kích thước và augmentation ảnh, rồi tập hợp thành batch. Không đủ lõi CPU sẽ khiến GPU đắt tiền phải chờ dữ liệu.
- Camera thông minh và thiết bị biên: Chuông cửa, cảm biến bán lẻ và camera công nghiệp chạy các model phát hiện nhỏ trên bộ xử lý riêng, nhờ đó video được giữ trên thiết bị và chỉ có cảnh báo được gửi ra ngoài.
- Inference serverless và trên cloud: Cloud function và endpoint có lưu lượng thấp thường chạy trên các instance chỉ có CPU, khởi động nhanh và có chi phí thấp hơn việc dành riêng GPU.
- Model ngôn ngữ lớn chạy cục bộ: Các dự án như llama.cpp chạy model GGUF đã lượng tử hóa trên CPU laptop; tốc độ sinh chủ yếu bị giới hạn bởi tốc độ bộ nhớ cung cấp trọng số cho từng token.
