Bereitstellung von Computer-Vision-Anwendungen auf Edge-AI-Geräten

Dank jüngster Fortschritte im Bereich Computer Vision und künstlicher Intelligenz (KI) ist das, was einst nur Forschungsgebiet war, heute ein Treiber für wirkungsvolle Anwendungen in einer Vielzahl von Branchen. Von selbstfahrenden Autos bis hin zu medizinischer Bildgebung und Sicherheit lösen Computer-Vision-Systeme echte Probleme in großem Maßstab.

Viele dieser Anwendungen erfordern die Analyse von Bildern und Videos in Echtzeit, und die Abhängigkeit von Cloud-Computing ist aufgrund von Latenzzeiten, Kosten und Datenschutzbedenken nicht immer praktikabel. Edge AI ist in diesen Situationen eine hervorragende Lösung. Durch das Ausführen von Vision-KI-Modellen direkt auf Edge-Geräten können Unternehmen Daten schneller, kostengünstiger und sicherer verarbeiten, wodurch Echtzeit-KI zugänglicher wird.

Während der YOLO Vision 2024 (YV24), der jährlichen hybriden Veranstaltung von Ultralytics, war eines der zentralen Themen die Demokratisierung von Vision AI durch benutzerfreundlichere und effizientere Bereitstellung. Guy Dahan, Senior Solutions Architect bei NVIDIA, erörterte, wie die Hardware- und Softwarelösungen von NVIDIA, einschließlich Edge-Computing-Geräten, Inferenzservern, Optimierungs-Frameworks und KI-Bereitstellungs-SDKs, Entwicklern helfen, KI am Edge zu optimieren.

In diesem Artikel untersuchen wir die wichtigsten Erkenntnisse aus Guy Dahans YV24-Keynote und wie die neuesten Innovationen von NVIDIA die Bereitstellung von Vision AI schneller und skalierbarer machen.

Link to this sectionWas ist Edge AI?#

Guy Dahan begann seinen Vortrag mit seiner Begeisterung für die virtuelle Teilnahme an der YV24 und seinem Interesse am Ultralytics Python-Paket sowie den Ultralytics YOLO-Modellen und sagte: „Ich verwende Ultralytics seit dem Tag, an dem es herauskam. Ich mag Ultralytics wirklich sehr – ich habe sogar schon davor YOLOv5 benutzt und bin ein echter Fan dieses Pakets.“

Dann führte er das Konzept der Edge AI ein und erklärte, dass es darum geht, KI-Berechnungen direkt auf Geräten wie Kameras, Drohnen oder Industriemaschinen auszuführen, anstatt Daten zur Verarbeitung an entfernte Cloud-Server zu senden.

Anstatt darauf zu warten, dass Bilder oder Videos hochgeladen, analysiert und dann mit Ergebnissen zurückgesendet werden, ermöglicht Edge AI die sofortige Analyse der Daten direkt auf dem Gerät. Dies macht Vision-KI-Systeme schneller, effizienter und weniger abhängig von einer Internetverbindung. Edge AI ist besonders nützlich für Anwendungen, die Entscheidungen in Echtzeit erfordern, wie zum Beispiel selbstfahrende Autos, Sicherheitskameras und intelligente Fabriken.

Link to this sectionHauptvorteile von Edge AI#

Nach der Einführung von Edge AI hob Guy Dahan die wesentlichen Vorteile hervor, wobei er sich auf Effizienz, Kosteneinsparungen und Datensicherheit konzentrierte. Er erklärte, dass einer der größten Vorteile die geringe Latenz ist – da KI-Modelle Daten direkt auf dem Gerät verarbeiten, müssen keine Informationen in die Cloud gesendet werden, um auf eine Antwort zu warten.

Edge AI trägt auch dazu bei, Kosten zu senken und sensible Daten zu schützen. Das Senden großer Datenmengen in die Cloud, insbesondere Videostreams, kann teuer sein. Die lokale Verarbeitung reduziert hingegen die Bandbreiten- und Speicherkosten.

Ein weiterer wesentlicher Vorteil ist Datenschutz, da Informationen auf dem Gerät verbleiben, anstatt an einen externen Server übertragen zu werden. Dies ist besonders wichtig für Anwendungen im Gesundheitswesen, Finanzwesen und Sicherheitsbereich, wo die lokale und sichere Aufbewahrung von Daten oberste Priorität hat.

Abb. 1. Guy Dahan präsentiert remote auf der YV24 über die Vorteile von Edge AI.

Auf diesen Vorteilen aufbauend kommentierte Guy Dahan die wachsende Akzeptanz von Edge AI. Er bemerkte, dass sich die Nutzung seit der Einführung von Jetson durch NVIDIA im Jahr 2014 verzehnfacht habe. Heute arbeiten über 1,2 Millionen Entwickler mit Jetson-Geräten.

Link to this sectionEin Überblick über NVIDIA Jetson: ein Edge-AI-Gerät#

Guy Dahan konzentrierte sich dann auf NVIDIA Jetson-Geräte, eine Familie von Edge-Computing-Geräten für KI, die für hohe Leistung bei geringem Stromverbrauch entwickelt wurden. Jetson-Geräte sind ideal für Computer-Vision-Anwendungen in Sektoren wie Robotik, Landwirtschaft, Gesundheitswesen und industrielle Automatisierung. „Jetsons sind Edge-AI-Geräte, die speziell auf KI zugeschnitten sind. Ich könnte sogar hinzufügen, dass sie ursprünglich hauptsächlich für Computer Vision entwickelt wurden“, fügte Guy Dahan hinzu.

Jetson-Geräte sind in drei Stufen erhältlich, die jeweils auf unterschiedliche Bedürfnisse zugeschnitten sind:

• Einstiegsmodell: Diese Geräte bieten 20 – 40 Trillion Operations Per Second (TOPS) KI-Leistung bei einem Stromverbrauch von 10 – 15 W, was sie zu einer erschwinglichen Wahl für Edge-Anwendungen macht.
• Mainstream: Bietet ein ausgewogenes Verhältnis zwischen Leistung und Effizienz, mit 70 – 200 TOPS bei einem Stromverbrauch von 20 – 40 W, geeignet für KI-Workloads der mittleren Kategorie.
• Hochleistung: Liefert bis zu 275 TOPS bei einem Stromverbrauch von 60 – 75 W und ist für anspruchsvolle KI-Anwendungen wie Robotik und Automatisierung konzipiert.

Außerdem sprach Guy Dahan über den kommenden Jetson AGX Thor, der dieses Jahr auf den Markt kommt, und sagte, dass er die achtfache GPU-Leistung (Graphics Processing Unit), die doppelte Speicherkapazität und eine verbesserte CPU-Leistung (Central Processing Unit) bieten wird. Er wurde speziell für humanoide Robotik und fortschrittliche Edge-AI-Anwendungen entwickelt.

Link to this sectionHerausforderungen bei der Bereitstellung von Computer-Vision-Modellen#

Guy Dahan wechselte dann zur Diskussion über die Softwareseite von Edge AI und erklärte, dass die effiziente Bereitstellung von Modellen selbst mit leistungsstarker Hardware eine Herausforderung darstellen kann.

Eine der größten Hürden ist die Kompatibilität, da KI-Entwickler oft mit verschiedenen KI-Frameworks wie PyTorch und TensorFlow arbeiten. Der Wechsel zwischen diesen Frameworks kann schwierig sein und erfordert, dass Entwickler Umgebungen neu erstellen müssen, um sicherzustellen, dass alles korrekt läuft.

Skalierbarkeit ist eine weitere zentrale Herausforderung. KI-Modelle erfordern erhebliche Rechenleistung, und wie Dahan sagte: „Es gab noch nie ein KI-Unternehmen, das weniger Rechenleistung wollte.“ Die Skalierung von KI-Anwendungen auf mehrere Geräte kann schnell teuer werden, weshalb Optimierung unerlässlich ist.

Außerdem sind KI-Pipelines komplex und umfassen oft verschiedene Datentypen, Echtzeitverarbeitung und Systemintegration. Entwickler investieren viel Mühe, um sicherzustellen, dass ihre Modelle nahtlos mit bestehenden Software-Ökosystemen interagieren. Die Überwindung dieser Herausforderungen ist ein entscheidender Teil, um KI-Bereitstellungen effizienter und skalierbarer zu machen.

Abb. 2. Herausforderungen bei der Bereitstellung von Modellen.

Link to this sectionVereinfachung der Bereitstellung mit dem NVIDIA Triton Inference Server#

Als Nächstes wandte sich Guy Dahan dem Triton Inference Server von NVIDIA zu. Er wies darauf hin, dass viele Unternehmen und Startups mit der KI-Entwicklung beginnen, ohne ihre Modelle vollständig zu optimieren. Das Neugestalten einer gesamten KI-Pipeline von Grund auf kann störend und zeitaufwändig sein, was eine effiziente Skalierung erschwert.

Anstatt eine komplette Systemüberholung zu erfordern, ermöglicht Triton Entwicklern, ihre KI-Workflows schrittweise zu verfeinern und zu optimieren und effizientere Komponenten zu integrieren, ohne das bestehende Setup zu zerstören. Mit Unterstützung für mehrere KI-Frameworks, einschließlich TensorFlow, PyTorch, ONNX und TensorRT, ermöglicht Triton eine nahtlose Bereitstellung über Cloud-Umgebungen, Rechenzentren und Edge-Geräte hinweg mit minimalen Anpassungen.

Abb. 3. Ein Überblick über den Triton Inference Server von NVIDIA.

Hier sind einige der wichtigsten Vorteile des Triton Inference Servers von NVIDIA:

• Automatisches Batching: Triton fasst mehrere KI-Anfragen zusammen, bevor sie verarbeitet werden, was Verzögerungen (Latenz) reduziert und die Inferenzgeschwindigkeit (die Zeit, die ein KI-Modell benötigt, um Ergebnisse zu generieren) verbessert.
• Kubernetes-Integration: Triton ist Cloud-nativ, was bedeutet, dass es nahtlos mit Kubernetes zusammenarbeitet (einem System, das bei der Verwaltung und Skalierung von KI-Anwendungen über mehrere Computer oder Cloud-Server hinweg hilft).
• Open Source und anpassbar: Entwickler können Triton an ihre spezifischen Bedürfnisse anpassen, was Flexibilität für eine Vielzahl von KI-Anwendungen gewährleistet.

Link to this sectionMaximierung der KI-Leistung mit NVIDIA TensorRT#

Angenommen, du suchst nach noch mehr Beschleunigung; NVIDIA TensorRT ist eine interessante Option zur Optimierung deiner KI-Modelle. Guy Dahan erläuterte, dass TensorRT ein Hochleistungs-Deep-Learning-Optimierer ist, der für NVIDIA-GPUs entwickelt wurde. Modelle von TensorFlow, PyTorch, ONNX und MXNet können mit TensorRT in hocheffiziente, GPU-ausführbare Dateien konvertiert werden.

Was TensorRT so zuverlässig macht, sind seine hardwarespezifischen Optimierungen. Ein für Jetson-Geräte optimiertes Modell läuft auf anderen GPUs nicht so effizient, da TensorRT die Leistung basierend auf der Zielhardware optimiert. Ein fein abgestimmtes Computer-Vision-Modell kann im Vergleich zu nicht optimierten Modellen eine bis zu 36-mal höhere Inferenzgeschwindigkeit erreichen.

Guy Dahan wies auch auf die Unterstützung von Ultralytics für TensorRT hin und sprach darüber, wie sie die Bereitstellung von KI-Modellen schneller und effizienter macht. Ultralytics YOLO-Modelle können direkt in das TensorRT-Format exportiert werden, sodass Entwickler sie für NVIDIA-GPUs optimieren können, ohne Änderungen vornehmen zu müssen.

Link to this sectionDeepStream 7.0: ein Toolkit für Streaming-Analysen#

Zum Abschluss des Vortrags stellte Guy Dahan DeepStream 7.0 vor – ein KI-Framework, das für die Echtzeitverarbeitung von Video-, Audio- und Sensordaten mittels NVIDIA-GPUs entwickelt wurde. Es wurde zur Unterstützung von Hochgeschwindigkeits-Computer-Vision-Anwendungen entwickelt und ermöglicht Objekterkennung, Tracking und Analysen in autonomen Systemen, Sicherheit, industrieller Automatisierung und Smart Cities. Durch die Ausführung von KI direkt auf Edge-Geräten eliminiert DeepStream die Cloud-Abhängigkeit, was die Latenz reduziert und die Effizienz verbessert.

Abb. 4. Erkundung von DeepStream 7.0 auf der YV24 mit Guy Dahan.

DeepStream kann speziell die KI-gestützte Videoverarbeitung von Anfang bis Ende übernehmen. Es unterstützt End-to-End-Workflows, von der Videodekodierung und Vorverarbeitung bis hin zur KI-Inferenz und Nachverarbeitung.

Kürzlich hat DeepStream mehrere Updates eingeführt, um die KI-Bereitstellung zu verbessern und sie zugänglicher und skalierbarer zu machen. Neue Tools vereinfachen die Entwicklung, verbessern das Tracking mehrerer Kameras und optimieren KI-Pipelines für eine bessere Leistung.

Entwickler verfügen jetzt über erweiterte Unterstützung für Windows-Umgebungen, verbesserte Sensor-Fusions-Funktionen für die Integration von Daten aus mehreren Quellen und Zugang zu vorgefertigten Referenzanwendungen zur Beschleunigung der Bereitstellung. Diese Verbesserungen machen DeepStream zu einer flexibleren und effizienteren Lösung für Echtzeit-KI-Anwendungen und helfen Entwicklern, intelligente Videoanalysen problemlos zu skalieren.

Link to this sectionWichtige Erkenntnisse#

Wie Guy Dahans Keynote auf der YV24 verdeutlichte, definiert Edge AI Computer-Vision-Anwendungen neu. Mit Fortschritten in Hardware und Software wird die Echtzeitverarbeitung schneller, effizienter und kostengünstiger.

Da immer mehr Branchen Edge AI übernehmen, wird die Bewältigung von Herausforderungen wie Fragmentierung und Bereitstellungskomplexität entscheidend sein, um das volle Potenzial auszuschöpfen. Die Nutzung dieser Innovationen wird intelligentere, reaktionsfähigere KI-Anwendungen vorantreiben und die Zukunft der Computer Vision gestalten.

Werde Teil unserer wachsenden Community! Erkunde unser GitHub-Repository, um mehr über KI zu erfahren, und sieh dir unsere Lizenzoptionen an, um deine Vision-KI-Projekte zu starten. Neugierig auf Innovationen wie KI im Gesundheitswesen und Computer Vision in der Fertigung? Besuche unsere Lösungsseiten, um mehr zu erfahren!