Edge Computing

Edge Computing bezeichnet die Verarbeitung und Speicherung von Daten nahe dem Ort, an dem sie erzeugt oder genutzt werden: auf Geräten, lokalen Servern und Gateways oder in kleinen Rechenzentren am Rand von Telekommunikationsnetzen, statt alle Daten an eine weit entfernte Cloud-Region zu senden. Die Verarbeitung nahe der Quelle verkürzt Reaktionszeiten, senkt die für den Transport von Rohdaten benötigte Bandbreite, hält sensible Daten vor Ort und sorgt dafür, dass Systeme auch bei Netzwerkausfällen weiterarbeiten. Die Idee entwickelte sich Ende der 1990er-Jahre aus Content Delivery Networks, die Webseiten in Nutzernähe zwischenspeicherten. 2009 schlugen Forscher unter der Leitung von Mahadev Satyanarayanan nahe gelegene „Cloudlets“ für Mobilgeräte vor. Cisco führte 2012 den Begriff Fog Computing ein, und die europäische Normungsorganisation ETSI begann 2014 mit der Standardisierung von Multi-Access Edge Computing für Mobilfunknetze. Das Ausführen von Machine-Learning-Modellen auf dieser Infrastruktur heißt Edge-KI.

Edge-Ebenen#

„Edge“ umfasst mehrere Ebenen zwischen einem Sensor und der Cloud:

• Geräte-Edge: Kameras, Smartphones, Drohnen, Roboter und Fahrzeuge, die Daten mit ihren eigenen Prozessoren verarbeiten, oft mit integrierten Beschleunigern.
• Lokale Edge: Gateways und kompakte Server in einer Fabrik, einem Geschäft, Krankenhaus oder landwirtschaftlichen Betrieb, die Daten zahlreicher Geräte zusammenführen, etwa ein GPU-Server, der Dutzende Kamerastreams analysiert.
• Netzwerk-Edge: Server in Mobilfunk-Basisstationen oder regionalen Netzknoten, nur wenige Millisekunden von mobilen Nutzern entfernt. Sie führen Arbeitslasten für Geräte aus, die zu klein sind, um diese lokal zu verarbeiten.
• Cloud: Zentrale Regionen, in denen Modelle trainiert, langfristige Daten gespeichert und Flotten von Edge-Geräten verwaltet werden.

Warum Daten am Edge verarbeitet werden#

Der erste Grund ist die Latenz. Licht breitet sich in Glasfasern mit etwa 200 Kilometern pro Millisekunde aus. Ein 1.000 km entferntes Rechenzentrum verursacht daher mindestens 10 ms Hin- und Rücklaufzeit, bevor Routing, Warteschlangen oder Verarbeitung berücksichtigt werden. Autonome Fahrzeuge und Roboter, die innerhalb von Millisekunden reagieren müssen, führen die Echtzeitinferenz daher an Bord aus. Der zweite Grund ist die Bandbreite: Ein einzelner 1080p-H.264-Kamerastream benötigt einige Megabit pro Sekunde. Ein Standort mit 100 Kameras würde somit kontinuierlich Hunderte Megabit übertragen, während ein als JSON gesendetes Erkennungsereignis nur wenige Kilobyte groß ist. Die Verarbeitung vor Ort hält außerdem unverarbeitete Bilder von Menschen lokal. So verlassen nur Zählungen, Warnmeldungen oder anonymisierte Ergebnisse das Gebäude, was die Einhaltung von Datenschutz-Vorgaben vereinfacht. Zudem bleiben Systeme bei Netzwerkausfällen auf landwirtschaftlichen Betrieben, Schiffen, in Bergwerken und an entlegener Infrastruktur in Betrieb.

In der Praxis bilden Edge und Cloud einen Kreislauf. Geräte verarbeiten jedes Bild lokal und senden nur Ereignisse und ausgewählte Beispiele weiter. Die Cloud nutzt diese Beispiele, um Modelle neu zu trainieren und verbesserte Versionen zurückzuspielen:

Dieses Muster kommt bei der Qualitätsprüfung in Produktionslinien zum Einsatz, wo ein fehlerhaftes Teil aussortiert werden muss, bevor das nächste eintrifft, bei der Überwachung von Nutzpflanzen und Vieh auf Feldern mit schwacher Netzabdeckung sowie bei Verkehrsmanagement-Systemen, die Ampeln anhand von Kreuzungskameras steuern.

Edge Computing im Vergleich zu verwandten Begriffen#

Cloud Computing bündelt elastische Kapazitäten in großen Rechenzentren; Edge Computing verlagert die Verarbeitung von dort nach außen. Die meisten Systeme nutzen daher beides. Edge-KI ist der Teilbereich von Edge Computing, bei dem KI-Modelle ausgeführt werden. Fog Computing, ein von Cisco geprägter Begriff, bezeichnet die Ebene aus Gateways und lokalen Servern zwischen Geräten und Cloud und ist weitgehend ein Synonym für die lokalen und Netzwerk-Ebenen. Das Internet der Dinge (IoT) ist das Netzwerk verbundener Sensoren und Geräte; Edge Computing ist der Ort, an dem ein großer Teil der von ihnen erzeugten Daten verarbeitet wird.

Modelle auf Edge-Geräten bereitstellen#

Edge-Hardware verfügt nur über einen Bruchteil des Speichers, der Rechenleistung und des Energiebudgets einer GPU im Rechenzentrum: von Mikrocontrollern mit einem Verbrauch von Milliwatt bis zu NVIDIA Jetson-Modulen und Raspberry Pi-Boards. Modelle werden durch Modellquantisierung auf 8-Bit-Ganzzahlen, Pruning und Wissensdestillation kleiner und schneller. Anschließend werden sie für die Laufzeitumgebung und den Beschleuniger des Zielgeräts kompiliert, etwa TensorRT für NVIDIA-GPUs, OpenVINO für Intel-CPUs und NPUs, LiteRT für Android oder Core ML für Apple-Geräte. Der Exportmodus von Ultralytics YOLO erzeugt diese Formate aus einem einzigen trainierten Modell. Dieses Beispiel exportiert YOLO26 in NCNN, Tencents Inferenz-Framework für Mobilgeräte und ARM-CPUs, und führt das exportierte Modell aus:

from ultralytics import YOLO

# Export YOLO26n to NCNN, a lightweight runtime for ARM CPUs and mobile devices
model = YOLO("yolo26n.pt")
ncnn_path = model.export(format="ncnn")  # writes the yolo26n_ncnn_model folder

# Load the exported model and run it on this machine's CPU
ncnn_model = YOLO(ncnn_path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
print(f"Inference: {results[0].speed['inference']:.1f} ms")

Beim Export wird ein Ordner yolo26n_ncnn_model erstellt. Er enthält model.ncnn.param für die Netzwerkstruktur, model.ncnn.bin für die Gewichte und metadata.yaml für Klassennamen und Eingabegröße. Die ausgegebene Zeit ist die Inferenzlatenz pro Bild auf dem ausführenden Rechner. Dieser Wert entscheidet darüber, ob ein Modell in das Bildratenbudget einer Edge-Anwendung passt.