Bộ xử lý thần kinh (NPU)

Bộ xử lý thần kinh (NPU) là một mạch phần cứng chuyên dụng được thiết kế đặc biệt để tăng tốc quá trình thực thi các thuật toán trí tuệ nhân tạo và học máy. Không giống như các bộ xử lý đa năng, NPU được thiết kế với kiến ​​trúc xử lý tự nhiên các phép toán ma trận song song phức tạp, vốn là trọng tâm của các mô hình học sâu . Bằng cách thực hiện các phép tính này với hiệu quả cực cao, NPU giảm đáng kể mức tiêu thụ điện năng đồng thời cải thiện đáng kể độ trễ suy luận . Điều này làm cho chúng trở thành một thành phần thiết yếu của điện thoại di động, máy tính xách tay hiện đại và các thiết bị IoT chuyên dụng, nơi việc triển khai các mô hình phức tạp một cách hiệu quả mà không làm hao pin nhanh chóng là rất quan trọng.

So sánh NPU với các bộ xử lý khác

Để hiểu được giá trị của NPU, cần phân biệt nó với các bộ tăng tốc phần cứng phổ biến khác trong lĩnh vực trí tuệ nhân tạo:

• Bộ xử lý trung tâm ( CPU ) : "Bộ não" đa năng của máy tính. Mặc dù có khả năng chạy mã máy học, CPU xử lý các tác vụ theo trình tự, khiến chúng chậm và kém hiệu quả đối với các phép nhân ma trận phức tạp cần thiết cho các mô hình thị giác hiện đại.
• Bộ xử lý đồ họa ( GPU ) : Được thiết kế cho xử lý song song, GPU đặc biệt hiệu quả trong việc xử lý khối lượng công việc học sâu khổng lồ. Tuy nhiên, chúng tiêu thụ nhiều điện năng và tạo ra lượng nhiệt đáng kể, khiến chúng phù hợp hơn cho việc huấn luyện trên đám mây so với điện toán biên chạy bằng pin.
• Bộ xử lý Tensor ( TPU ) : Một mạch tích hợp chuyên dụng được phát triển bởi Google Dành cho học máy. Mặc dù tương tự về mặt khái niệm với NPU, TPU thường được liên kết với các dàn máy chủ điện toán đám mây khổng lồ, trong khi NPU thường được tích hợp trực tiếp vào các hệ thống trên chip (SoC) dành cho người tiêu dùng.

Ứng dụng thực tiễn của NPU

Sự ra đời của NPU đã mở ra khả năng chạy trí tuệ nhân tạo (AI) trực tiếp trên thiết bị của người dùng mà không cần phụ thuộc vào kết nối đám mây liên tục.

• Điện thoại thông minh và thị giác di động : Các thiết bị di động hiện đại tận dụng tối đa các bộ xử lý thần kinh (NPU) bên trong, chẳng hạn như Apple Neural Engine hoặc Qualcomm Hexagon NPU , để hỗ trợ xử lý ảnh điện toán, nhận diện khuôn mặt thời gian thực và dịch văn bản cục bộ. Bằng cách xử lý dữ liệu hình ảnh trên thiết bị, chúng giúp tiết kiệm pin và đảm bảo quyền riêng tư dữ liệu .
• Máy tính xách tay hỗ trợ AI : Bộ xử lý PC tiên tiến hiện nay tích hợp NPU để quản lý các tác vụ nền như làm mờ nền và điều chỉnh hướng nhìn trong khi hội nghị video mà không gây quá tải cho bộ xử lý chính. CPU , cho phép người dùng thực hiện nhiều tác vụ cùng lúc một cách mượt mà.
• Triển khai AI tại biên : Camera giám sát thông minh và robot sử dụng các bộ xử lý thần kinh chuyên dụng, chẳng hạn như... Google Viền san hô TPU hoặc phần cứng Intel tích hợp, để thực hiện phát hiện đối tượng tức thời trực tiếp tại nguồn. Điều này loại bỏ các nút thắt về băng thông và cho phép đưa ra quyết định trong tích tắc.

Sử dụng NPU với Ultralytics YOLO

Đối với các nhà phát triển muốn tận dụng NPU, việc triển khai các mô hình thị giác máy tính đã trở nên vô cùng đơn giản. Sử dụng mô hình Ultralytics YOLO26 mạnh mẽ, bạn có thể xuất mạng đã được huấn luyện của mình sang các định dạng được tối ưu hóa cho nhiều bộ tăng tốc phần cứng khác nhau. Để đơn giản hóa toàn bộ vòng đời này, Nền tảng Ultralytics cung cấp các công cụ mạnh mẽ để quản lý tập dữ liệu trên đám mây, chú thích tự động và triển khai các mô hình được tối ưu hóa đến hầu hết mọi môi trường triển khai mô hình .

Khi làm việc cục bộ, bạn có thể sử dụng các tích hợp khung như ONNX Runtime , PyTorch ExecuTorch hoặc TensorFlow Lite để nhắm mục tiêu vào NPU. Dưới đây là một ví dụ nhanh. Python Ví dụ minh họa cách xuất khẩu một YOLO chuyển đổi mô hình sang định dạng OpenVINO , cho phép phân bổ khối lượng công việc tính toán một cách liền mạch. Intel Bộ xử lý thần kinh (NPU) giúp tăng tốc suy luận thời gian thực .

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")