Neuronale Verarbeitungseinheit (NPU)

Eine Neural Processing Unit (NPU) ist eine spezielle Hardwareschaltung, die speziell zur Beschleunigung der Ausführung von Algorithmen für künstliche Intelligenz und maschinelles Lernen entwickelt wurde. Im Gegensatz zu Allzweckprozessoren sind NPUs mit einer Architektur ausgestattet, die die komplexen, parallelen Matrixoperationen, die für Deep-Learning-Modelle von zentraler Bedeutung sind, nativ verarbeitet. Durch die extrem effiziente Ausführung dieser Berechnungen senkt eine NPU den Stromverbrauch drastisch und verbessert gleichzeitig die Inferenzlatenz erheblich. Dies macht sie zu einer unverzichtbaren Komponente moderner Mobiltelefone, Laptops und spezialisierter IoT-Geräte, bei denen der effiziente Einsatz komplexer Modelle ohne raschen Batterieverbrauch entscheidend ist.

NPU im Vergleich zu anderen Prozessoren

Um den Nutzen einer NPU zu verstehen, ist es hilfreich, sie von anderen gängigen Hardwarebeschleunigern in der KI-Landschaft abzugrenzen:

• Zentraleinheit (CPU): Das universelle „Gehirn“ eines Computers. CPUs sind zwar in der Lage, Code für maschinelles Lernen auszuführen, bearbeiten Aufgaben jedoch sequenziell, was sie für die aufwendigen Matrixmultiplikationen, die moderne Bildverarbeitungsmodelle erfordern, langsam und ineffizient macht.
• Grafikprozessor (GPU): GPUs sind für die parallele Verarbeitung ausgelegt und eignen sich hervorragend für die Bewältigung umfangreicher Deep-Learning-Aufgaben. Allerdings verbrauchen sie viel Strom und erzeugen erhebliche Wärme, weshalb sie sich besser für das Training in der Cloud eignen als für batteriebetriebenes Edge-Computing.
• Tensor Unit (TPU): Eine von Google maschinelles Lernen entwickelte anwendungsspezifische integrierte Schaltung. Obwohl sie vom Konzept her einer NPU ähnelt, werden TPUs in der Regel mit riesigen Cloud-Computing-Server-Racks in Verbindung gebracht, während NPUs typischerweise direkt in System-on-Chips (SoCs) für Endverbraucher integriert sind.

Praktische Anwendungen von NPUs

Der Aufstieg der NPU hat es ermöglicht, künstliche Intelligenz (KI) direkt auf Benutzergeräten auszuführen, ohne auf eine ständige Cloud-Verbindung angewiesen zu sein.

• Smartphones und Mobile Vision: Moderne Mobilgeräte nutzen in hohem Maße interne NPUs wie die Apple Neural Engine oder die Qualcomm Hexagon NPU, um computergestützte Fotografie, Echtzeit-Gesichtserkennung und lokale Textübersetzung zu ermöglichen. Durch die Verarbeitung der Bilddaten auf dem Gerät schonen sie die Akkulaufzeit und gewährleisten den Datenschutz.
• KI-fähige Laptops: Moderne PC-Prozessoren verfügen mittlerweile über integrierte NPUs, um Hintergrundaufgaben wie Hintergrundunschärfe und Blickkorrektur während Videokonferenzen zu bewältigen, ohne die CPU zu belasten, sodass Nutzer reibungslos multitasken können.
• Edge-KI-Implementierungen: Intelligente Überwachungskameras und Robotik nutzen spezielle NPUs wie die Google Edge TPU eingebettete Intel , um eine sofortige Objekterkennung direkt an der Quelle durchzuführen. Dies beseitigt Bandbreitenengpässe und ermöglicht Entscheidungen in Sekundenbruchteilen.

Verwendung von NPUs mit Ultralytics YOLO

Für Entwickler, die NPUs nutzen möchten, ist die Bereitstellung von Computer-Vision-Modellen mittlerweile unglaublich einfach geworden. Mit dem leistungsstarken Ultralytics können Sie Ihr trainiertes Netzwerk in Formate exportieren, die für verschiedene Hardwarebeschleuniger optimiert sind. Um diesen gesamten Lebenszyklus zu optimieren, bietet die Ultralytics leistungsstarke Tools für die Verwaltung von Cloud- Datensätzen, die automatisierte Annotation sowie die Bereitstellung optimierter Modelle in praktisch jeder Modellbereitstellungsumgebung.

Bei der lokalen Arbeit können Sie Framework-Integrationen wie ONNX , PyTorch oder TensorFlow nutzen, um die NPU anzusteuern. Nachfolgend finden Sie ein kurzes Python zeigt, wie ein YOLO in das OpenVINO exportiert wird, wodurch Rechenaufgaben nahtlos an Intel delegiert werden, um eine beschleunigte Echtzeit-Inferenz zu ermöglichen.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")