Edge AI

Edge AI bezeichnet die Ausführung von Modellen für künstliche Intelligenz (AI) auf oder in der Nähe der Geräte, die Daten erzeugen, etwa Smartphones, Kameras, Fahrzeuge, Roboter und Werks-Gateways. Die Daten werden also nicht an ein entferntes Rechenzentrum gesendet. Werden Kamerabilder oder Audioaufnahmen direkt am Aufnahmeort verarbeitet, entfällt die Netzwerkverzögerung, sodass Entscheidungen innerhalb von Millisekunden vorliegen. Das Gerät funktioniert auch ohne Verbindung weiter, sensible Eingaben bleiben aus Gründen des Datenschutzes lokal, und Rohvideos müssen nicht in die Cloud übertragen werden, was Bandbreite spart. Der Nachteil sind knappe Speicher-, Rechen- und Energieressourcen sowie der Aufwand, Modelle auf einer Geräteflotte zu aktualisieren.

So funktioniert Edge-KI#

Modelle werden üblicherweise in der Cloud trainiert und anschließend so verkleinert und beschleunigt, dass sie auf dem Zielgerät ausgeführt werden können. Modellquantisierung auf FP16 oder INT8, Modellpruning und Wissensdestillation verkleinern Modelle. Beim Export werden sie in das Format umgewandelt, das die Inferenz-Engine auf dem Gerät ausführt, beispielsweise TensorRT auf NVIDIA-Hardware, LiteRT auf Android, Core ML auf Apple-Geräten oder NCNN auf ARM-CPUs. Das Gerät führt die Inferenz anschließend lokal aus und sendet nur relevante Informationen weiter, etwa eine Warnung, eine Zählung oder einen kurzen Clip. Die hochgeladenen Daten fließen auch in den Verbesserungsprozess ein: schwierige Beispiele aus dem Einsatz werden gelabelt, das Modell wird erneut trainiert und die neue Version drahtlos auf die Geräte übertragen.

Hardware für Edge AI#

• Neural Processing Units (NPUs): Dedizierte Beschleuniger, die in den meisten aktuellen Smartphone- und Laptop-Chips verbaut sind, etwa Apples Neural Engine und Qualcomms Hexagon NPU. Sie führen quantisierte Modelle innerhalb des Energieverbrauchsbudgets eines Smartphones aus.
• NVIDIA Jetson: Eingebettete Module, die eine ARM-CPU mit einer NVIDIA-GPU kombinieren und sich für Roboter, Drohnen und intelligente Kameras eignen, die eine GPU-ähnliche Rechenleistung benötigen.
• Raspberry Pi: Preisgünstige Einplatinencomputer, die kleine Modelle auf ihrer ARM-CPU oder auf zusätzlichen Beschleunigerplatinen ausführen.
• Mikrocontroller: Die kleinste Leistungsklasse, in der Modelle mit wenigen hundert Kilobyte Speicherbedarf bei einer Leistungsaufnahme von Milliwatt ausgeführt werden.

Ein Modell am Netzwerkrand bereitstellen#

Jede Geräteklasse profitiert von einem anderen Exportformat. Auf dem Raspberry Pi ist NCNN das schnellste der von Ultralytics für Ultralytics YOLO26 getesteten Formate. Ein einmaliger Export und das Laden des exportierten Ordners genügen, um denselben Detektor mit dieser Engine auszuführen:

from ultralytics import YOLO

# Das kleinste YOLO26-Modell zur Objekterkennung laden
model = YOLO("yolo26n.pt")

# Nach NCNN exportieren, einem Inferenz-Framework, das für ARM-CPUs optimiert ist
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# Mit dem exportierten Modell eine Inferenz ausführen, wie auf dem Gerät
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

Das gespeicherte Bild zeigt die von der NCNN-Engine berechneten Erkennungen. Anwendungen auf dem Gerät werden häufig in Docker-Containern bereitgestellt, damit dasselbe Image auf einer Flotte identischer Platinen ausgeführt werden kann.

Edge AI im Vergleich zu verwandten Begriffen#

• Edge Computing: Der umfassendere Ansatz, beliebige Daten in der Nähe ihrer Quelle zu verarbeiten, etwa durch das Filtern von Sensormesswerten oder das Zwischenspeichern von Inhalten. Bei Edge AI besteht die Arbeitslast des Edge Computing aus einem Modell für maschinelles Lernen.
• TinyML: Die kleinste Leistungsklasse von Edge AI, bei der Mikrocontroller mit wenigen Kilobyte Speicher zum Einsatz kommen.
• Federiertes Lernen: Trainiert ein gemeinsames Modell auf vielen Geräten, indem Gewichtsaktualisierungen statt Rohdaten übertragen werden. Edge AI bezeichnet üblicherweise die Inferenz, während federiertes Lernen das Training auf dieselben Geräte bringt.

Anwendungen von Edge AI#

• Autonome Fahrzeuge: Autos und Lieferroboter erkennen Fußgänger, Fahrzeuge und Fahrspuren direkt an Bord, denn eine verzögerte oder unterbrochene Verbindung darf das Bremsen nicht verzögern.
• Intelligente Kameras: Kameras im Einzelhandel, im Verkehr und für die Sicherheit erkennen Objekte lokal und senden Zählungen oder Warnungen statt kontinuierlicher Videodaten.
• Industrielle Inspektion: Kameras an Fertigungslinien sortieren fehlerhafte Teile innerhalb von Millisekunden aus, und Vibrationssensoren an Maschinen erkennen Anomalien, bevor sie Ausfallzeiten verursachen.
• Smartphones: Smartphones verarbeiten Fotos, transkribieren Sprache und führen kleine Sprachmodelle direkt auf dem Gerät aus, etwa das Modell mit rund 3 Milliarden Parametern, das Apple Intelligence auf Apple-Geräten ausführt und das Apps über Apples Foundation Models-Framework nutzen können.