Neural Processing Unit (NPU)

Eine neuronale Verarbeitungseinheit (NPU) ist eine spezialisierte Hardwareschaltung, die speziell dafür entwickelt wurde, die Ausführung von Algorithmen der künstlichen Intelligenz und des maschinellen Lernens zu beschleunigen. Im Gegensatz zu Prozessoren für allgemeine Anwendungen sind NPUs mit einer Architektur ausgestattet, die die komplexen, parallelen Matrixoperationen, auf denen Deep-Learning-Modelle basieren, nativ verarbeitet. Durch die äußerst effiziente Ausführung dieser Berechnungen reduziert eine NPU den Stromverbrauch drastisch und verbessert gleichzeitig die Inferenzlatenz erheblich. Dadurch wird sie zu einem wesentlichen Bestandteil moderner Mobiltelefone, Laptops und spezialisierter IoT-Geräte, bei denen die effiziente Bereitstellung komplexer Modelle ohne eine schnelle Entladung des Akkus entscheidend ist.

NPU im Vergleich zu anderen Prozessoren#

Um den Nutzen einer NPU zu verstehen, ist es hilfreich, sie von anderen gängigen Hardwarebeschleunigern im Bereich der künstlichen Intelligenz zu unterscheiden:

• Zentrale Verarbeitungseinheit (CPU): Das für allgemeine Aufgaben ausgelegte „Gehirn“ eines Computers. Obwohl CPUs Code für maschinelles Lernen ausführen können, verarbeiten sie Aufgaben sequenziell und sind daher bei den umfangreichen Matrixmultiplikationen, die moderne Bildverarbeitungsmodelle erfordern, langsam und ineffizient.
• Grafikprozessor (GPU): GPUs sind für die parallele Verarbeitung ausgelegt und bewältigen umfangreiche Deep-Learning-Arbeitslasten hervorragend. Sie verbrauchen jedoch viel Strom und erzeugen erhebliche Wärme, weshalb sie sich besser für das Training in der Cloud als für Edge Computing mit akkubetriebenen Geräten eignen.
• Tensorverarbeitungseinheit (TPU): Eine anwendungsspezifische integrierte Schaltung, die von Google für maschinelles Lernen entwickelt wurde. Obwohl TPUs konzeptionell NPUs ähneln, werden sie im Allgemeinen mit großen Serverracks für das Cloud Computing in Verbindung gebracht, während NPUs typischerweise direkt in Systeme auf einem Chip (SoCs) für Endverbraucher integriert sind.

Praxisanwendungen von NPUs#

Das Aufkommen der NPU hat die Möglichkeit eröffnet, künstliche Intelligenz (AI) direkt auf den Geräten der Nutzer auszuführen, ohne auf eine ständige Verbindung zur Cloud angewiesen zu sein.

• Smartphones und mobile Bildverarbeitung: Moderne Mobilgeräte nutzen interne NPUs wie die Apple Neural Engine oder die Qualcomm Hexagon NPU intensiv für computergestützte Fotografie, Gesichtserkennung in Echtzeit und die lokale Übersetzung von Texten. Durch die Verarbeitung von Bilddaten auf dem Gerät schonen sie den Akku und gewährleisten den Datenschutz.
• Laptops mit KI-Unterstützung: Moderne PC-Prozessoren verfügen inzwischen über integrierte NPUs, die Hintergrundaufgaben wie die Hintergrundunschärfe und die Blickkorrektur während Videokonferenzen übernehmen, ohne die Haupt-CPU zu belasten. Dadurch können Nutzer problemlos mehrere Aufgaben gleichzeitig ausführen.
• Bereitstellungen von Edge-KI: Intelligente Überwachungskameras und Robotiksysteme nutzen spezialisierte NPUs wie die Google Coral Edge TPU oder integrierte Hardware von Intel, um die Objekterkennung direkt an der Quelle unverzüglich durchzuführen. Dadurch werden Bandbreitenengpässe beseitigt und Entscheidungen in Sekundenbruchteilen ermöglicht.

NPUs mit Ultralytics YOLO verwenden#

Für Entwickler, die NPUs nutzen möchten, ist die Bereitstellung von Bildverarbeitungsmodellen bemerkenswert unkompliziert geworden. Mit dem leistungsstarken Modell Ultralytics YOLO26 kannst du dein trainiertes Netzwerk in Formate exportieren, die für verschiedene Hardwarebeschleuniger optimiert sind. Um den gesamten Lebenszyklus zu vereinfachen, bietet die Ultralytics Platform leistungsfähige Werkzeuge für die Verwaltung von Cloud-Datensätzen, die automatisierte Annotation und die Bereitstellung optimierter Modelle in praktisch jeder Umgebung für die Modellbereitstellung.

Bei der lokalen Arbeit kannst du Framework-Integrationen wie ONNX Runtime, PyTorch ExecuTorch oder TensorFlow Lite verwenden, um die NPU anzusteuern. Das folgende kurze Python-Beispiel zeigt, wie du ein YOLO-Modell in das OpenVINO-Format exportierst, das Rechenlasten nahtlos an Intel-NPUs delegiert und so eine beschleunigte Echtzeitinferenz ermöglicht.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")