Bereitstellung von Computer-Vision-Anwendungen auf Edge-AI-Geräten

Dank jüngster Fortschritte im Bereich computer vision und künstlicher Intelligenz (KI) treibt das, was einst nur ein Forschungsgebiet war, heute wirkungsvolle Anwendungen in einer Vielzahl von Branchen voran. Von selbstfahrenden Autos bis hin zu medizinischer Bildgebung und Sicherheit lösen Computer-Vision-Systeme reale Probleme im großen Maßstab.

Viele dieser Anwendungen erfordern die Analyse von Bildern und Videos in Echtzeit, und die Nutzung von Cloud-Computing ist aufgrund von Latenzen, Kosten und Datenschutzbedenken nicht immer praktikabel. Edge AI ist in diesen Situationen eine hervorragende Lösung. Indem Vision-KI-Modelle direkt auf Edge-Geräten ausgeführt werden, können Unternehmen Daten schneller, kostengünstiger und sicherer verarbeiten, wodurch KI in Echtzeit zugänglicher wird.

Während der YOLO Vision 2024 (YV24), der jährlichen Hybridveranstaltung von Ultralytics, war eines der zentralen Themen die Demokratisierung von vision AI durch nutzerfreundlichere und effizientere Bereitstellung. Guy Dahan, Senior Solutions Architect bei NVIDIA, sprach darüber, wie NVIDIAs Hard- und Softwarelösungen – darunter Edge-Computing-Geräte, Inference-Server, Optimierungs-Frameworks und KI-Deployment-SDKs – Entwicklern helfen, KI am Edge zu optimieren.

In diesem Artikel untersuchen wir die wichtigsten Erkenntnisse aus Guy Dahans YV24-Keynote und wie die neuesten Innovationen von NVIDIA die Bereitstellung von Vision AI schneller und skalierbarer machen.

Was ist Edge AI?#

Guy Dahan begann seinen Vortrag mit der Begeisterung darüber, virtuell an der YV24 teilzunehmen, und seinem Interesse am Ultralytics Python-Paket und den Ultralytics YOLO models: „Ich nutze Ultralytics seit dem Tag des Releases. Ich mag Ultralytics wirklich sehr – ich habe schon davor YOLOv5 genutzt und bin ein echter Fan dieses Pakets.“

Dann führte er das Konzept der Edge AI ein und erklärte, dass es darum geht, KI-Berechnungen direkt auf Geräten wie Kameras, Drohnen oder Industriemaschinen auszuführen, anstatt Daten zur Verarbeitung an entfernte Cloud-Server zu senden.

Anstatt darauf zu warten, dass Bilder oder Videos hochgeladen, analysiert und dann mit Ergebnissen zurückgesendet werden, ermöglicht Edge AI die sofortige Analyse der Daten direkt auf dem Gerät. Dies macht Vision-KI-Systeme schneller, effizienter und weniger abhängig von einer Internetverbindung. Edge AI ist besonders nützlich für Anwendungen, die Entscheidungen in Echtzeit erfordern, wie zum Beispiel selbstfahrende Autos, Sicherheitskameras und intelligente Fabriken.

Hauptvorteile von Edge AI#

Nach der Einführung von Edge AI hob Guy Dahan die wesentlichen Vorteile hervor, wobei er sich auf Effizienz, Kosteneinsparungen und Datensicherheit konzentrierte. Er erklärte, dass einer der größten Vorteile die geringe Latenz ist – da KI-Modelle Daten direkt auf dem Gerät verarbeiten, müssen keine Informationen in die Cloud gesendet werden, um auf eine Antwort zu warten.

Edge AI trägt auch dazu bei, Kosten zu senken und sensible Daten zu schützen. Das Senden großer Datenmengen in die Cloud, insbesondere Videostreams, kann teuer sein. Die lokale Verarbeitung reduziert hingegen die Bandbreiten- und Speicherkosten.

Ein weiterer wesentlicher Vorteil ist der data privacy, da Informationen auf dem Gerät verbleiben, anstatt an einen externen Server übertragen zu werden. Dies ist besonders wichtig für Anwendungen im Gesundheitswesen, im Finanzwesen und im Sicherheitsbereich, wo die lokale und sichere Aufbewahrung von Daten oberste Priorität hat.

Abb. 1. Guy Dahan präsentiert remote auf der YV24 über die Vorteile von Edge AI.

Auf diesen Vorteilen aufbauend kommentierte Guy Dahan die wachsende Akzeptanz von Edge AI. Er bemerkte, dass sich die Nutzung seit der Einführung von Jetson durch NVIDIA im Jahr 2014 verzehnfacht habe. Heute arbeiten über 1,2 Millionen Entwickler mit Jetson-Geräten.

Ein Überblick über NVIDIA Jetson: ein Edge-AI-Gerät#

Guy Dahan konzentrierte sich anschließend auf NVIDIA Jetson devices, eine Familie von KI-Edge-Computing-Geräten, die auf hohe Leistung bei geringem Stromverbrauch ausgelegt sind. Jetson-Geräte sind ideal für Computer-Vision-Anwendungen in Sektoren wie Robotik, Landwirtschaft, Gesundheitswesen und industrielle Automatisierung. „Jetsons sind Edge-AI-Geräte, die speziell für KI maßgeschneidert sind. Ich möchte hinzufügen, dass sie ursprünglich hauptsächlich für Computer Vision entwickelt wurden“, fügte Guy Dahan hinzu.

Jetson-Geräte sind in drei Stufen erhältlich, die jeweils auf unterschiedliche Bedürfnisse zugeschnitten sind:

• Einstiegsmodell: Diese Geräte bieten 20 – 40 Trillion Operations Per Second (TOPS) KI-Leistung bei einem Stromverbrauch von 10 – 15 W, was sie zu einer erschwinglichen Wahl für Edge-Anwendungen macht.
• Mainstream: Bietet ein ausgewogenes Verhältnis zwischen Leistung und Effizienz, mit 70 – 200 TOPS bei einem Stromverbrauch von 20 – 40 W, geeignet für KI-Workloads der mittleren Kategorie.
• Hochleistung: Liefert bis zu 275 TOPS bei einem Stromverbrauch von 60 – 75 W und ist für anspruchsvolle KI-Anwendungen wie Robotik und Automatisierung konzipiert.

Außerdem sprach Guy Dahan über den kommenden Jetson AGX Thor, der dieses Jahr auf den Markt kommt, und sagte, dass er die achtfache GPU-Leistung (Graphics Processing Unit), die doppelte Speicherkapazität und eine verbesserte CPU-Leistung (Central Processing Unit) bieten wird. Er wurde speziell für humanoide Robotik und fortschrittliche Edge-AI-Anwendungen entwickelt.

Herausforderungen bei der Bereitstellung von Computer-Vision-Modellen#

Guy Dahan wechselte dann zur Diskussion über die Softwareseite von Edge AI und erklärte, dass die effiziente Bereitstellung von Modellen selbst mit leistungsstarker Hardware eine Herausforderung darstellen kann.

Eine der größten Hürden ist die Kompatibilität, da KI-Entwickler häufig mit verschiedenen AI frameworks wie PyTorch und TensorFlow arbeiten. Der Wechsel zwischen diesen Frameworks kann schwierig sein und erfordert von Entwicklern die Neuerstellung von Umgebungen, um sicherzustellen, dass alles ordnungsgemäß läuft.

Skalierbarkeit ist eine weitere zentrale Herausforderung. KI-Modelle erfordern erhebliche Rechenleistung, und wie Dahan sagte: „Es gab noch nie ein KI-Unternehmen, das weniger Rechenleistung wollte.“ Die Skalierung von KI-Anwendungen auf mehrere Geräte kann schnell teuer werden, weshalb Optimierung unerlässlich ist.

Zudem sind KI-Pipelines komplex und beinhalten oft verschiedene Datentypen, Echtzeitverarbeitung sowie Systemintegration. Entwickler stecken viel Mühe hinein, um sicherzustellen, dass ihre Modelle nahtlos mit bestehenden Software-Ökosystemen interagieren. Die Bewältigung dieser Herausforderungen ist ein entscheidender Teil davon, AI deployments effizienter und skalierbarer zu machen.

Abb. 2. Herausforderungen bei der Bereitstellung von Modellen.

Vereinfachung der Bereitstellung mit dem NVIDIA Triton Inference Server#

Als Nächstes widmete sich Guy Dahan NVIDIAs Triton Inference Server. Er wies darauf hin, dass viele Unternehmen und Start-ups mit der KI-Entwicklung beginnen, ohne ihre Modelle vollständig zu optimieren. Die Neugestaltung einer gesamten KI-Pipeline von Grund auf kann störend und zeitaufwändig sein, was eine effiziente Skalierung erschwert.

Anstatt eine komplette Systemüberholung zu erfordern, ermöglicht Triton Entwicklern, ihre KI-Workflows schrittweise zu verfeinern und zu optimieren und effizientere Komponenten zu integrieren, ohne das bestehende Setup zu zerstören. Mit Unterstützung für mehrere KI-Frameworks, einschließlich TensorFlow, PyTorch, ONNX und TensorRT, ermöglicht Triton eine nahtlose Bereitstellung über Cloud-Umgebungen, Rechenzentren und Edge-Geräte hinweg mit minimalen Anpassungen.

Abb. 3. Ein Überblick über den Triton Inference Server von NVIDIA.

Hier sind einige der wichtigsten Vorteile des Triton Inference Servers von NVIDIA:

• Automatisches Batching: Triton fasst mehrere KI-Anfragen zusammen, bevor sie verarbeitet werden, was Verzögerungen (Latenz) reduziert und die Inferenzgeschwindigkeit (die Zeit, die ein KI-Modell benötigt, um Ergebnisse zu generieren) verbessert.
• Kubernetes-Integration: Triton ist Cloud-nativ, was bedeutet, dass es nahtlos mit Kubernetes zusammenarbeitet (einem System, das bei der Verwaltung und Skalierung von KI-Anwendungen über mehrere Computer oder Cloud-Server hinweg hilft).
• Open Source und anpassbar: Entwickler können Triton an ihre spezifischen Bedürfnisse anpassen, was Flexibilität für eine Vielzahl von KI-Anwendungen gewährleistet.

Maximierung der KI-Leistung mit NVIDIA TensorRT#

Angenommen, du suchst nach noch mehr Beschleunigung: NVIDIA TensorRT ist eine interessante Option zur Optimierung deiner KI-Modelle. Guy Dahan erläuterte, dass TensorRT ein für NVIDIA-GPUs entwickelter Hochleistungs-Deep-Learning-Optimierer ist. Modelle aus TensorFlow, PyTorch, ONNX und MXNet können mit TensorRT in hocheffiziente, auf GPUs ausführbare Dateien konvertiert werden.

Was TensorRT so zuverlässig macht, sind seine hardwarespezifischen Optimierungen. Ein für Jetson-Geräte optimiertes Modell läuft auf anderen GPUs nicht so effizient, da TensorRT die Leistung basierend auf der Zielhardware optimiert. Ein fein abgestimmtes Computer-Vision-Modell kann im Vergleich zu nicht optimierten Modellen eine bis zu 36-mal höhere Inferenzgeschwindigkeit erreichen.

Guy Dahan wies auch auf die Unterstützung von TensorRT durch Ultralytics hin und sprach darüber, wie sie die Bereitstellung von KI-Modellen schneller und effizienter macht. Ultralytics YOLO-Modelle können direkt in das TensorRT-Format exported werden, sodass Entwickler sie für NVIDIA-GPUs optimieren können, ohne Änderungen vornehmen zu müssen.

DeepStream 7.0: ein Toolkit für Streaming-Analysen#

Zum Abschluss des Vortrags präsentierte Guy Dahan DeepStream 7.0 – ein KI-Framework für die Echtzeitverarbeitung von Video-, Audio- und Sensordaten unter Verwendung von NVIDIA-GPUs. Es wurde zur Unterstützung von Hochgeschwindigkeits-Computer-Vision-Anwendungen entwickelt und ermöglicht Objekterkennung, Tracking und Analysen in autonomen Systemen, im Sicherheitsbereich, in der industriellen Automatisierung und in Smart Cities. Durch die Ausführung von KI direkt auf Edge-Geräten macht DeepStream Cloud-Abhängigkeiten überflüssig, reduziert die Latenz und steigert die Effizienz.

Abb. 4. Erkundung von DeepStream 7.0 auf der YV24 mit Guy Dahan.

DeepStream kann speziell die KI-gestützte Videoverarbeitung von Anfang bis Ende übernehmen. Es unterstützt End-to-End-Workflows, von der Videodekodierung und Vorverarbeitung bis hin zur KI-Inferenz und Nachverarbeitung.

Kürzlich hat DeepStream mehrere Updates eingeführt, um die KI-Bereitstellung zu verbessern und sie zugänglicher und skalierbarer zu machen. Neue Tools vereinfachen die Entwicklung, verbessern das Tracking mehrerer Kameras und optimieren KI-Pipelines für eine bessere Leistung.

Entwickler verfügen jetzt über erweiterte Unterstützung für Windows-Umgebungen, verbesserte Sensor-Fusions-Funktionen für die Integration von Daten aus mehreren Quellen und Zugang zu vorgefertigten Referenzanwendungen zur Beschleunigung der Bereitstellung. Diese Verbesserungen machen DeepStream zu einer flexibleren und effizienteren Lösung für Echtzeit-KI-Anwendungen und helfen Entwicklern, intelligente Videoanalysen problemlos zu skalieren.

Wichtige Erkenntnisse#

Wie Guy Dahans Keynote auf der YV24 verdeutlichte, definiert Edge AI Computer-Vision-Anwendungen neu. Mit Fortschritten in Hardware und Software wird die Echtzeitverarbeitung schneller, effizienter und kostengünstiger.

Da immer mehr Branchen Edge AI übernehmen, wird die Bewältigung von Herausforderungen wie Fragmentierung und Bereitstellungskomplexität entscheidend sein, um das volle Potenzial auszuschöpfen. Die Nutzung dieser Innovationen wird intelligentere, reaktionsfähigere KI-Anwendungen vorantreiben und die Zukunft der Computer Vision gestalten.

Werde Teil von our growing community! Erkunde our GitHub repository, um mehr über KI zu erfahren, und schaue dir our licensing options an, um deine Vision-KI-Projekte zu starten. Neugierig auf Innovationen wie AI in healthcare und computer vision in manufacturing? Besuche unsere Lösungsseiten, um mehr zu erfahren!