Neural Processing Unit (NPU)

Neural Processing Unit (NPU) là một mạch phần cứng chuyên dụng được thiết kế đặc biệt để tăng tốc thực thi các thuật toán trí tuệ nhân tạo và học máy. Không giống như các bộ vi xử lý đa năng, NPU được chế tạo với kiến trúc xử lý gốc các phép toán ma trận phức tạp và song song vốn là trọng tâm của các mô hình deep learning. Bằng cách thực hiện các phép tính này với hiệu suất cực cao, NPU giúp giảm đáng kể mức tiêu thụ năng lượng đồng thời cải thiện đáng kể inference latency. Điều này biến chúng thành thành phần thiết yếu của điện thoại thông minh, máy tính xách tay và các thiết bị IoT chuyên dụng hiện đại, nơi việc triển khai các mô hình phức tạp một cách hiệu quả mà không làm cạn kiệt pin nhanh chóng là điều quan trọng.

Link to this sectionNPU so với các bộ vi xử lý khác#

Để hiểu giá trị của NPU, việc phân biệt nó với các bộ tăng tốc phần cứng phổ biến khác trong lĩnh vực AI là rất hữu ích:

• Central Processing Unit (CPU): "Bộ não" đa năng của máy tính. Mặc dù có khả năng chạy code học máy, CPU xử lý các tác vụ theo trình tự, khiến chúng trở nên chậm chạp và kém hiệu quả đối với các phép nhân ma trận nặng nề cần thiết cho các mô hình thị giác hiện đại.
• Graphics Processing Unit (GPU): Được thiết kế để xử lý song song, GPU cực kỳ hiệu quả trong việc xử lý khối lượng công việc deep learning khổng lồ. Tuy nhiên, chúng tiêu thụ nhiều năng lượng và tỏa nhiệt đáng kể, khiến chúng phù hợp hơn với việc huấn luyện trên cloud so với edge computing dùng pin.
• Tensor Processing Unit (TPU): Một mạch tích hợp dành riêng cho ứng dụng do Google phát triển cho học máy. Mặc dù có khái niệm tương tự như NPU, TPU thường gắn liền với các cụm máy chủ cloud computing khổng lồ, trong khi NPU thường được tích hợp trực tiếp vào các System-on-Chip (SoC) của người tiêu dùng.

Link to this sectionCác ứng dụng thực tế của NPU#

Sự trỗi dậy của NPU đã mở ra khả năng chạy artificial intelligence (AI) trực tiếp trên thiết bị của người dùng mà không cần phụ thuộc vào kết nối cloud liên tục.

• Smartphones And Mobile Vision: Các thiết bị di động hiện đại tận dụng mạnh mẽ các NPU tích hợp, chẳng hạn như Apple Neural Engine hoặc Qualcomm Hexagon NPU, để hỗ trợ nhiếp ảnh tính toán, nhận diện khuôn mặt thời gian thực và dịch văn bản cục bộ. Bằng cách xử lý dữ liệu hình ảnh trên thiết bị, chúng giúp tiết kiệm pin và đảm bảo data privacy.
• AI-Enabled Laptops: Các bộ vi xử lý PC tiên tiến hiện nay tích hợp NPU để quản lý các tác vụ nền như làm mờ hậu cảnh và điều chỉnh ánh mắt trong khi video conferencing mà không gây quá tải cho CPU chính, cho phép người dùng thực hiện đa nhiệm một cách mượt mà.
• Edge AI Deployments: Camera giám sát thông minh và robot sử dụng các NPU chuyên dụng, như Google Coral Edge TPU hoặc các phần cứng Intel hardware, để thực hiện object detection tức thời ngay tại nguồn. Điều này loại bỏ tình trạng tắc nghẽn băng thông và cho phép đưa ra quyết định trong tích tắc.

Link to this sectionSử dụng NPU với Ultralytics YOLO#

Đối với các nhà phát triển muốn tận dụng NPU, việc triển khai các mô hình thị giác máy tính đã trở nên vô cùng đơn giản. Sử dụng mô hình Ultralytics YOLO26 mạnh mẽ, bạn có thể xuất mạng đã huấn luyện của mình sang các định dạng được tối ưu hóa cho nhiều bộ tăng tốc phần cứng khác nhau. Để tinh giản toàn bộ vòng đời này, Ultralytics Platform cung cấp các công cụ mạnh mẽ để quản lý tập dữ liệu trên cloud, tự động hóa gán nhãn và triển khai các mô hình đã tối ưu hóa đến hầu như bất kỳ môi trường model deployment nào.

Khi làm việc cục bộ, bạn có thể sử dụng các tích hợp framework như ONNX Runtime, PyTorch ExecuTorch, hoặc TensorFlow Lite để nhắm mục tiêu vào NPU. Dưới đây là ví dụ Python nhanh minh họa cách xuất mô hình YOLO sang OpenVINO format, giúp chuyển giao liền mạch khối lượng công việc tính toán cho các Intel NPU để tăng tốc real-time inference.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")