Computer-Vision-Anwendungen auf Edge-AI-Geräten bereitstellen

Dank der jüngsten Fortschritte im Bereich Computer Vision und der künstlichen Intelligenz (AI) ist das, was einst nur ein Forschungsgebiet war, heute die Grundlage für wirkungsvolle Anwendungen in zahlreichen Branchen. Von selbstfahrenden Autos über medizinische Bildgebung bis hin zur Sicherheit lösen Computer-Vision-Systeme reale Probleme in großem Maßstab.

Bei vielen dieser Anwendungen müssen Bilder und Videos in Echtzeit analysiert werden. Die Nutzung von Cloud Computing ist aufgrund von Latenz, Kosten und Datenschutzbedenken jedoch nicht immer praktikabel. Edge AI ist in solchen Situationen eine hervorragende Lösung. Indem Unternehmen Modelle für Vision AI direkt auf Edge-Geräten ausführen, können sie Daten schneller, kostengünstiger und sicherer verarbeiten und Echtzeit-KI zugänglicher machen.

Bei YOLO Vision 2024 (YV24), der jährlichen hybriden Veranstaltung von Ultralytics, war die Demokratisierung von Vision AI durch eine benutzerfreundlichere und effizientere Bereitstellung eines der zentralen Themen. Guy Dahan, Senior Solutions Architect bei NVIDIA, erläuterte, wie die Hardware- und Softwarelösungen von NVIDIA – darunter Geräte für Edge Computing, Inferenzserver, Optimierungs-Frameworks und SDKs für die Bereitstellung von KI – Entwickler dabei unterstützen, KI am Netzwerkrand zu optimieren.

In diesem Artikel sehen wir uns die wichtigsten Erkenntnisse aus der Keynote von Guy Dahan bei YV24 und an, wie die neuesten Innovationen von NVIDIA die Bereitstellung von Vision AI schneller und besser skalierbar machen.

Was ist Edge AI?#

Guy Dahan begann seinen Vortrag mit der Begeisterung darüber, virtuell an YV24 teilzunehmen, und seinem Interesse am Ultralytics-Python-Paket und an den YOLO-Modellen von Ultralytics. Dabei sagte er: „Ich verwende Ultralytics seit dem Tag, an dem es veröffentlicht wurde. Ich mag Ultralytics wirklich – schon davor habe ich YOLOv5 verwendet, und ich bin ein großer Fan dieses Pakets.“

Anschließend stellte er das Konzept von Edge AI vor und erklärte, dass dabei KI-Berechnungen direkt auf Geräten wie Kameras, Drohnen oder Industriemaschinen ausgeführt werden, anstatt Daten zur Verarbeitung an weit entfernte Cloud-Server zu senden.

Anstatt darauf zu warten, dass Bilder oder Videos hochgeladen, analysiert und anschließend mit den Ergebnissen zurückgesendet werden, ermöglicht Edge AI die sofortige Analyse der Daten direkt auf dem Gerät. Dadurch werden Vision-AI-Systeme schneller, effizienter und weniger abhängig von der Internetverbindung. Edge AI eignet sich besonders für Anwendungen zur Entscheidungsfindung in Echtzeit, etwa selbstfahrende Autos, Sicherheitskameras und intelligente Fabriken.

Die wichtigsten Vorteile von Edge AI#

Nach der Einführung von Edge AI hob Guy Dahan die wichtigsten Vorteile hervor und konzentrierte sich dabei auf Effizienz, Kosteneinsparungen und Datensicherheit. Er erklärte, dass einer der größten Vorteile die geringe Latenz ist: Da KI-Modelle Daten direkt auf dem Gerät verarbeiten, müssen Informationen nicht an die Cloud gesendet und Antworten abgewartet werden.

Edge AI trägt außerdem dazu bei, Kosten zu senken und sensible Daten zu schützen. Das Senden großer Datenmengen, insbesondere von Videostreams, an die Cloud kann teuer sein. Durch die lokale Verarbeitung lassen sich jedoch Bandbreiten- und Speicherkosten reduzieren.

Ein weiterer wichtiger Vorteil ist der Datenschutz, da die Informationen auf dem Gerät bleiben, anstatt an einen externen Server übertragen zu werden. Dies ist besonders für Anwendungen im Gesundheitswesen, im Finanzwesen und im Sicherheitsbereich wichtig, bei denen die lokale und sichere Aufbewahrung von Daten höchste Priorität hat.

Abb. 1. Guy Dahan präsentiert bei YV24 remote die Vorteile von Edge AI.

Aufbauend auf diesen Vorteilen äußerte sich Guy Dahan zur zunehmenden Verbreitung von Edge AI. Er merkte an, dass sich die Nutzung seit der Einführung von Jetson durch NVIDIA im Jahr 2014 verzehnfacht hat. Heute arbeiten mehr als 1,2 Millionen Entwickler mit Jetson-Geräten.

Ein Überblick über NVIDIA Jetson: ein Edge-AI-Gerät#

Anschließend widmete sich Guy Dahan den NVIDIA-Jetson-Geräten, einer Familie von Edge-Computing-Geräten für KI, die hohe Leistung bei geringem Stromverbrauch bieten. Jetson-Geräte eignen sich ideal für Computer-Vision-Anwendungen in Bereichen wie Robotik, Landwirtschaft, Gesundheitswesen und industrielle Automatisierung. „Jetsons sind Edge-AI-Geräte, die speziell für KI entwickelt wurden. Ich würde sogar sagen, dass sie ursprünglich vor allem für Computer Vision konzipiert wurden“, fügte Guy Dahan hinzu.

Jetson-Geräte gibt es in drei Leistungsklassen, die jeweils für unterschiedliche Anforderungen geeignet sind:

• Einsteigerklasse: Diese Geräte bieten eine KI-Leistung von 20–40 Billionen Operationen pro Sekunde (TOPS) bei einem Stromverbrauch von 10–15 W und sind damit eine kostengünstige Wahl für Edge-Anwendungen.
• Mittelklasse: Sie bieten ein ausgewogenes Verhältnis zwischen Leistung und Effizienz mit 70–200 TOPS bei einem Stromverbrauch von 20–40 W und eignen sich für KI-Workloads im mittleren Leistungsbereich.
• Hochleistungsklasse: Sie liefern bis zu 275 TOPS bei einem Stromverbrauch von 60–75 W und sind für anspruchsvolle KI-Anwendungen wie Robotik und Automatisierung ausgelegt.

Außerdem berichtete Guy Dahan über den noch in diesem Jahr erscheinenden Jetson AGX Thor. Dieser soll die achtfache GPU-Leistung (GPU), die doppelte Speicherkapazität und eine verbesserte CPU-Leistung (CPU) bieten. Er wurde speziell für humanoide Robotik und fortschrittliche Edge-AI-Anwendungen entwickelt.

Herausforderungen bei der Bereitstellung von Computer-Vision-Modellen#

Anschließend wechselte Guy Dahan zur Softwareseite von Edge AI und erklärte, dass die effiziente Bereitstellung von Modellen selbst mit leistungsstarker Hardware eine Herausforderung darstellen kann.

Eine der größten Hürden ist die Kompatibilität, da KI-Entwickler häufig mit verschiedenen KI-Frameworks wie PyTorch und TensorFlow arbeiten. Der Wechsel zwischen diesen Frameworks kann schwierig sein, da Entwickler Umgebungen neu erstellen müssen, um den korrekten Betrieb aller Komponenten sicherzustellen.

Die Skalierbarkeit ist eine weitere wichtige Herausforderung. KI-Modelle benötigen erhebliche Rechenleistung. Wie Dahan es ausdrückte: „Es gab noch nie ein KI-Unternehmen, das weniger Rechenleistung wollte.“ Die Ausweitung von KI-Anwendungen auf mehrere Geräte kann schnell teuer werden, weshalb Optimierung unverzichtbar ist.

Außerdem sind KI-Pipelines komplex und umfassen häufig unterschiedliche Datentypen, Echtzeitverarbeitung und Systemintegration. Entwickler investieren viel Aufwand darin, sicherzustellen, dass ihre Modelle nahtlos mit bestehenden Softwareökosystemen interagieren. Die Bewältigung dieser Herausforderungen ist ein entscheidender Schritt, um KI-Bereitstellungen effizienter und besser skalierbar zu machen.

Abb. 2. Herausforderungen bei der Modellbereitstellung.

Vereinfachte Bereitstellung mit dem NVIDIA Triton Inference Server#

Als Nächstes widmete sich Guy Dahan dem NVIDIA Triton Inference Server. Er wies darauf hin, dass viele Unternehmen und Start-ups mit der KI-Entwicklung beginnen, ohne ihre Modelle vollständig zu optimieren. Die Neugestaltung einer gesamten KI-Pipeline von Grund auf kann störend und zeitaufwendig sein und eine effiziente Skalierung erschweren.

Anstatt eine vollständige Überarbeitung des Systems zu verlangen, ermöglicht Triton Entwicklern, ihre KI-Workflows schrittweise zu verfeinern und zu optimieren und dabei effizientere Komponenten zu integrieren, ohne die bestehende Einrichtung zu beeinträchtigen. Dank der Unterstützung mehrerer KI-Frameworks, darunter TensorFlow, PyTorch, ONNX und TensorRT, ermöglicht Triton die nahtlose Bereitstellung in Cloud-Umgebungen, Rechenzentren und auf Edge-Geräten mit minimalen Anpassungen.

Abb. 3. Ein Überblick über den NVIDIA Triton Inference Server.

Hier sind einige der wichtigsten Vorteile des NVIDIA Triton Inference Servers:

• Automatisches Batching: Triton bündelt mehrere KI-Anfragen, bevor es sie verarbeitet. Dadurch werden Verzögerungen (Latenz) reduziert und die Inferenzgeschwindigkeit verbessert (die Zeit, die ein KI-Modell zum Erzeugen von Ergebnissen benötigt).
• Kubernetes-Integration: Triton ist cloudnativ und funktioniert daher nahtlos mit Kubernetes (einem System zur Verwaltung und Skalierung von KI-Anwendungen auf mehreren Computern oder Cloud-Servern).
• Open Source und anpassbar: Entwickler können Triton an ihre spezifischen Anforderungen anpassen und so Flexibilität für eine große Bandbreite von KI-Anwendungen gewährleisten.

Maximierung der KI-Leistung mit NVIDIA TensorRT#

Wenn du eine noch stärkere Beschleunigung suchst, ist NVIDIA TensorRT eine interessante Option zur Optimierung deiner KI-Modelle. Guy Dahan erläuterte, dass TensorRT ein für NVIDIA-GPUs entwickelter Deep-Learning-Optimierer mit hoher Leistung ist. Modelle aus TensorFlow, PyTorch, ONNX und MXNet können mit TensorRT in hocheffiziente, auf der GPU ausführbare Dateien umgewandelt werden.

Die hardwareabhängigen Optimierungen machen TensorRT besonders zuverlässig. Ein für Jetson-Geräte optimiertes Modell läuft auf anderen GPUs nicht ebenso effizient, da TensorRT die Leistung anhand der Zielhardware feinabstimmt. Ein feinabgestimmtes Computer-Vision-Modell kann die Inferenzgeschwindigkeit im Vergleich zu nicht optimierten Modellen um bis zu das 36-Fache steigern.

Guy Dahan wies außerdem auf die Unterstützung von TensorRT durch Ultralytics hin und erläuterte, wie sie die Bereitstellung von KI-Modellen schneller und effizienter macht. Ultralytics YOLO-Modelle können direkt in das TensorRT-Format exportiert werden, sodass Entwickler sie für NVIDIA-GPUs optimieren können, ohne Änderungen vornehmen zu müssen.

DeepStream 7.0: ein Toolkit für Streaming-Analysen#

Zum Abschluss seines Vortrags präsentierte Guy Dahan DeepStream 7.0 – ein KI-Framework für die Echtzeitverarbeitung von Video-, Audio- und Sensordaten mit NVIDIA-GPUs. Es wurde für schnelle Computer-Vision-Anwendungen entwickelt und ermöglicht Objekterkennung, Tracking und Analysen in autonomen Systemen, im Sicherheitsbereich, in der industriellen Automatisierung und in intelligenten Städten. Durch die direkte Ausführung von KI auf Edge-Geräten beseitigt DeepStream die Abhängigkeit von der Cloud, reduziert die Latenz und verbessert die Effizienz.

Abb. 4. DeepStream 7.0 bei YV24 mit Guy Dahan erkunden.

DeepStream kann die KI-gestützte Videoverarbeitung vollständig abdecken. Es unterstützt durchgängige Workflows – von der Videodekodierung und Vorverarbeitung bis hin zur KI-Inferenz und Nachverarbeitung.

DeepStream wurde kürzlich um mehrere Aktualisierungen erweitert, um die Bereitstellung von KI zu verbessern und sie zugänglicher und besser skalierbar zu machen. Neue Tools vereinfachen die Entwicklung, verbessern das Tracking mit mehreren Kameras und optimieren KI-Pipelines für eine bessere Leistung.

Entwickler profitieren nun von einer erweiterten Unterstützung für Windows-Umgebungen, verbesserten Funktionen zur Sensorfusion für die Integration von Daten aus mehreren Quellen und vorgefertigten Referenzanwendungen, die die Bereitstellung beschleunigen. Diese Verbesserungen machen DeepStream zu einer flexibleren und effizienteren Lösung für KI-Anwendungen in Echtzeit und helfen Entwicklern, intelligente Videoanalysen mühelos zu skalieren.

Wichtige Erkenntnisse#

Wie Guy Dahan in seiner Keynote bei YV24 veranschaulichte, definiert Edge AI Computer-Vision-Anwendungen neu. Dank der Fortschritte bei Hardware und Software wird die Echtzeitverarbeitung schneller, effizienter und kostengünstiger.

Da immer mehr Branchen Edge AI einsetzen, wird die Bewältigung von Herausforderungen wie Fragmentierung und komplexer Bereitstellung entscheidend sein, um das volle Potenzial dieser Technologie auszuschöpfen. Die Nutzung dieser Innovationen wird intelligentere und reaktionsfähigere KI-Anwendungen vorantreiben und die Zukunft von Computer Vision prägen.

Werde Teil unserer wachsenden Community! Sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren, und entdecke unsere Lizenzoptionen, um deine Vision-AI-Projekte zu starten. Interessierst du dich für Innovationen wie KI im Gesundheitswesen und Computer Vision in der Fertigung? Besuche unsere Lösungsseiten, um mehr zu erfahren!