Edge AI

Edge AI bezeichnet die Bereitstellung von künstlicher Intelligenz (AI)-Algorithmen und -Modellen direkt auf lokalen Hardwaregeräten – etwa Smartphones, IoT-Sensoren, Drohnen und vernetzten Fahrzeugen – statt auf zentrale Cloud-Computing-Zentren zu setzen. Dieser dezentrale Ansatz ermöglicht die Verarbeitung von Daten direkt am Ort ihrer Entstehung und reduziert dadurch die Latenz beim Hin- und Herübertragen von Informationen zu entfernten Servern erheblich. Durch die lokale Ausführung von Aufgaben des maschinellen Lernens (ML) können Geräte sofortige Entscheidungen treffen, zuverlässig ohne Internetverbindung arbeiten und den Datenschutz verbessern, da vertrauliche Informationen auf dem Gerät selbst verbleiben.

So funktioniert Edge AI#

Im Mittelpunkt von Edge AI steht die Ausführung einer Inferenz-Engine auf einem eingebetteten System. Da Edge-Geräte im Vergleich zu Cloud-Servern typischerweise über eine begrenzte Akkulaufzeit und Rechenleistung verfügen, müssen die KI-Modelle besonders effizient sein. Entwickler setzen häufig Techniken wie Modellquantisierung oder Modellbeschneidung ein, um große neuronale Netze zu komprimieren, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Für die effiziente Verarbeitung dieser Aufgaben werden häufig spezielle Hardwarebeschleuniger eingesetzt. Beispiele sind die NVIDIA-Jetson-Plattform für die Robotik und die Google Coral Edge TPU für Inferenz mit geringem Energieverbrauch. Auch Software-Frameworks spielen eine wichtige Rolle: Tools wie TensorRT und TFLite optimieren Modelle speziell für diese ressourcenbeschränkten Umgebungen und ermöglichen so eine schnelle Echtzeitinferenz.

Edge AI im Vergleich zu Edge Computing#

Obwohl die Begriffe häufig synonym verwendet werden, ist es hilfreich, zwischen ihnen zu unterscheiden:

• Edge Computing: Damit werden die umfassendere physische Infrastruktur und Netzwerktopologie beschrieben, bei denen die Datenverarbeitung in der Nähe der Datenquelle stattfindet. Es bezeichnet das „Wo“ der Gleichung.
• Edge AI: Damit sind speziell die intelligenten Anwendungen gemeint, die auf dieser Infrastruktur ausgeführt werden. Es bezeichnet das „Was“. Eine Sicherheitskamera ist beispielsweise ein Edge-Computing-Gerät. Wenn sie jedoch Computer Vision (CV) verwendet, um eine bestimmte Person zu erkennen, führt sie Edge AI aus.

Anwendungen in der Praxis#

Edge AI verändert Branchen, indem es autonome Entscheidungen in kritischen Situationen ermöglicht:

• Autonome Fahrzeuge: Selbstfahrende Autos erzeugen täglich Terabytes an Daten. Aufgrund der Signallatenz können sie sich bei der Erkennung von Fußgängern oder Hindernissen nicht auf die Cloud verlassen. Stattdessen nutzen sie Edge AI an Bord für die sofortige Objekterkennung, um die Sicherheit der Fahrgäste zu gewährleisten.
• Intelligente Fertigung: Im Bereich Industrial IoT (IIoT) nutzen Sensoren in Produktionshallen Edge AI für die vorausschauende Wartung. Durch die lokale Analyse von Vibrations- und Temperaturdaten kann das System Anomalien erkennen und den Ausfall von Anlagen in Echtzeit vorhersagen, wodurch kostspielige Stillstandszeiten verhindert werden.
• Gesundheitswesen: Tragbare medizinische Geräte mit Vision AI können medizinische Bilder oder Vitalwerte von Patienten direkt am Behandlungsort analysieren und so in abgelegenen Gebieten mit schlechter Konnektivität sofortige diagnostische Unterstützung leisten.

Modelle am Netzwerkrand bereitstellen#

Die Bereitstellung eines Modells am Edge umfasst typischerweise das Training in einer Umgebung mit hoher Rechenleistung und anschließend den Export in ein mit Edge-Geräten kompatibles Format, beispielsweise ONNX oder OpenVINO. Die Ultralytics-Plattform vereinfacht diesen Workflow und ermöglicht es Benutzern, Modelle für verschiedene Edge-Zielplattformen zu trainieren und automatisch zu exportieren.

Das folgende Beispiel zeigt, wie ein schlankes YOLO26-Modell, das speziell für Effizienz entwickelt wurde, in ein für die Bereitstellung auf mobilen Geräten und am Edge geeignetes Format exportiert wird.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Bei anspruchsvollen Edge-Bereitstellungen werden häufig Containerisierung-Technologien wie Docker verwendet, um Anwendungen zu bündeln und ihren konsistenten Betrieb auf unterschiedlichen Gerätearchitekturen sicherzustellen – von Raspberry Pi-Einheiten bis hin zu industriellen Gateways.