Neural Processing Unit (NPU)

Eine Neural Processing Unit (NPU) ist eine spezialisierte Hardware-Schaltung, die speziell dafür entwickelt wurde, die Ausführung von Algorithmen für künstliche Intelligenz und maschinelles Lernen zu beschleunigen. Im Gegensatz zu Allzweckprozessoren sind NPUs mit einer Architektur ausgestattet, die nativ die komplexen, parallelen Matrixoperationen bewältigt, die für Deep Learning-Modelle zentral sind. Indem ein NPU diese Berechnungen extrem effizient ausführt, reduziert es drastisch den Stromverbrauch und verbessert gleichzeitig die Inference Latency erheblich. Dies macht sie zu einer wesentlichen Komponente moderner Mobiltelefone, Laptops und spezialisierter IoT-Geräte, bei denen es entscheidend ist, komplexe Modelle effizient einzusetzen, ohne den Akku schnell zu entladen.

Link to this sectionNPU im Vergleich zu anderen Prozessoren#

Um den Wert einer NPU zu verstehen, hilft es, sie von anderen gängigen Hardware-Beschleunigern in der Welt der KI zu unterscheiden:

• Central Processing Unit (CPU): Das Allzweck-"Gehirn" eines Computers. Obwohl CPUs in der Lage sind, Code für maschinelles Lernen auszuführen, bewältigen sie Aufgaben sequenziell, was sie langsam und ineffizient für die schweren Matrixmultiplikationen macht, die moderne Vision-Modelle erfordern.
• Graphics Processing Unit (GPU): GPUs wurden für parallele Verarbeitung entwickelt und sind außergewöhnlich gut darin, massive Deep-Learning-Workloads zu bewältigen. Sie verbrauchen jedoch viel Strom und erzeugen erhebliche Hitze, weshalb sie eher für das Training in der Cloud geeignet sind als für Edge Computing mit Batteriebetrieb.
• Tensor Processing Unit (TPU): Ein anwendungsspezifischer integrierter Schaltkreis, der von Google für maschinelles Lernen entwickelt wurde. Obwohl sie dem Konzept nach einer NPU ähnlich sind, werden TPUs im Allgemeinen mit massiven Server-Racks für Cloud Computing assoziiert, während NPUs typischerweise direkt in Consumer-System-on-Chips (SoCs) integriert sind.

Link to this sectionPraktische Anwendungen von NPUs#

Der Aufstieg der NPU hat die Möglichkeit eröffnet, künstliche Intelligenz (AI) direkt auf Benutzergeräten auszuführen, ohne auf eine ständige Cloud-Verbindung angewiesen zu sein.

• Smartphones und Mobile Vision: Moderne mobile Geräte nutzen stark interne NPUs, wie die Apple Neural Engine oder die Qualcomm Hexagon NPU, um Computerfotografie, Echtzeit-Gesichtserkennung und lokale Textübersetzung zu ermöglichen. Durch die Verarbeitung von Bilddaten direkt auf dem Gerät schonen sie die Akkulaufzeit und gewährleisten den Datenschutz.
• KI-fähige Laptops: Fortschrittliche PC-Prozessoren verfügen heute über integrierte NPUs, um Hintergrundaufgaben wie Hintergrundunschärfe und Blickkorrektur während Videokonferenzen zu verwalten, ohne die Haupt-CPU zu belasten, was den Benutzern ein reibungsloses Multitasking ermöglicht.
• Edge AI Deployments: Intelligente Überwachungskameras und Robotik nutzen spezialisierte NPUs, wie die Google Coral Edge TPU oder eingebettete Intel-Hardware, um direkt an der Quelle eine sofortige Objekterkennung durchzuführen. Dies beseitigt Bandbreitenengpässe und ermöglicht Entscheidungsfindungen in Sekundenbruchteilen.

Link to this sectionVerwendung von NPUs mit Ultralytics YOLO#

Für Entwickler, die NPUs nutzen möchten, ist der Einsatz von Computer-Vision-Modellen unglaublich einfach geworden. Mit dem leistungsstarken Ultralytics YOLO26-Modell kannst du dein trainiertes Netzwerk in Formate exportieren, die für verschiedene Hardware-Beschleuniger optimiert sind. Um diesen gesamten Lebenszyklus zu rationalisieren, bietet die Ultralytics Platform robuste Tools für das Cloud-Dataset-Management, automatisierte Annotation und die Bereitstellung optimierter Modelle in praktisch jeder Modellbereitstellungsumgebung.

Wenn du lokal arbeitest, kannst du Framework-Integrationen wie ONNX Runtime, PyTorch ExecuTorch oder TensorFlow Lite verwenden, um die NPU anzusprechen. Unten findest du ein kurzes Python-Beispiel, das zeigt, wie man ein YOLO-Modell in das OpenVINO-Format exportiert, welches Rechenlasten nahtlos an Intel-NPUs für beschleunigte Echtzeit-Inferenz delegiert.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")