Edge AI

Edge AI bezieht sich auf die Bereitstellung von künstlicher Intelligenz (AI) Algorithmen und Modellen direkt auf lokalen Hardwaregeräten – wie Smartphones, IoT-Sensoren, Drohnen und vernetzten Fahrzeugen – anstatt sich auf zentralisierte Cloud-Computing-Zentren zu verlassen. Dieser dezentrale Ansatz ermöglicht die Datenverarbeitung direkt am Entstehungsort, was die Latenz beim Senden von Informationen zu und von entfernten Servern erheblich reduziert. Durch die lokale Ausführung von Machine Learning (ML)-Aufgaben können Geräte sofortige Entscheidungen treffen, zuverlässig ohne Internetverbindung arbeiten und die Datenschutz verbessern, indem sensible Informationen auf dem Gerät selbst verbleiben.

Link to this sectionSo funktioniert Edge AI#

Der Kern von Edge AI besteht darin, eine Inference Engine auf einem eingebetteten System auszuführen. Da Edge-Geräte im Vergleich zu Cloud-Servern normalerweise über eine begrenzte Batterielebensdauer und Rechenleistung verfügen, müssen die AI-Modelle äußerst effizient sein. Entwickler setzen häufig Techniken wie Modellquantisierung oder Modell-Pruning ein, um große neuronale Netze zu komprimieren, ohne dabei nennenswert an Genauigkeit einzubüßen.

Spezialisierte Hardwarebeschleuniger werden häufig verwendet, um diese Workloads effizient zu bewältigen. Beispiele hierfür sind die NVIDIA Jetson-Plattform für Robotik und der Google Coral Edge TPU für stromsparende Inferenz. Software-Frameworks spielen ebenfalls eine entscheidende Rolle; Tools wie TensorRT und TFLite optimieren Modelle speziell für diese eingeschränkten Umgebungen und gewährleisten eine schnelle Echtzeit-Inferenz.

Link to this sectionEdge AI vs. Edge Computing#

Obwohl die Begriffe oft synonym verwendet werden, ist es hilfreich, zwischen ihnen zu unterscheiden:

• Edge Computing: Dies beschreibt die breitere physische Infrastruktur und Netzwerktopologie, bei der die Datenverarbeitung in der Nähe der Datenquelle stattfindet. Es ist das „Wo“ der Gleichung.
• Edge AI: Dies bezieht sich speziell auf die intelligenten Anwendungen, die auf dieser Infrastruktur laufen. Es ist das „Was“. Zum Beispiel fungiert eine Sicherheitskamera als Edge-Computing-Gerät, aber wenn sie Computer Vision (CV) verwendet, um eine bestimmte Person zu erkennen, führt sie Edge AI aus.

Link to this sectionPraxisanwendungen#

Edge AI verändert Industrien, indem es autonome Entscheidungsfindung in kritischen Szenarien ermöglicht:

• Autonome Fahrzeuge: Selbstfahrende Autos generieren täglich Terabytes an Daten. Sie können sich bei der Identifizierung von Fußgängern oder Hindernissen aufgrund von Signallatenz nicht auf die Cloud verlassen. Stattdessen nutzen sie Edge AI an Bord für sofortige Objekterkennung, um die Sicherheit der Passagiere zu gewährleisten.
• Smarte Fertigung: Im Industrial IoT (IIoT) nutzen Sensoren in Fabrikhallen Edge AI für vorausschauende Wartung. Durch die lokale Analyse von Vibrations- und Temperaturdaten kann das System Anomalien erkennen und Geräteausfälle in Echtzeit vorhersagen, wodurch kostspielige Ausfallzeiten vermieden werden.
• Gesundheitswesen: Tragbare medizinische Geräte, die mit Vision AI ausgestattet sind, können medizinische Bilder oder Vitalparameter von Patienten direkt am Behandlungsort analysieren und so sofortige diagnostische Unterstützung in abgelegenen Gebieten mit schlechter Konnektivität bieten.

Link to this sectionBereitstellung von Modellen auf die Edge#

Die Bereitstellung eines Modells am Edge umfasst typischerweise das Training in einer rechenstarken Umgebung und den anschließenden Export in ein Format, das mit Edge-Geräten kompatibel ist, wie ONNX oder OpenVINO. Die Ultralytics Platform vereinfacht diesen Workflow und ermöglicht es Benutzern, Modelle für verschiedene Edge-Ziele zu trainieren und automatisch zu exportieren.

The following example demonstrates how to export a lightweight YOLO26 model—specifically designed for efficiency—to a format suitable for mobile and edge deployment.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Advanced edge deployments often utilize containerization technologies like Docker to package applications, ensuring they run consistently across different device architectures, from Raspberry Pi units to industrial gateways.