Einsatz von Computer-Vision-Anwendungen auf Edge-AI-Geräten

Was ist Edge AI?

Guy Dahan begann seinen Vortrag, indem er seine Begeisterung für die Teilnahme an YV24 und sein Interesse an dem Ultralytics Python-Paket und den Ultralytics YOLO-Modellen zum Ausdruck brachte: "Ich benutze Ultralytics seit dem Tag, an dem es herauskam. Ich mag Ultralytics wirklich - ich habe YOLOv5 schon vorher benutzt und bin ein echter Enthusiast dieses Pakets."

Dann stellte er das Konzept der Edge-KI vor und erklärte, dass dabei KI-Berechnungen direkt auf Geräten wie Kameras, Drohnen oder Industriemaschinen ausgeführt werden, anstatt Daten zur Verarbeitung an entfernte Cloud-Server zu senden. 

Anstatt darauf zu warten, dass Bilder oder Videos hochgeladen, analysiert und dann mit den Ergebnissen zurückgeschickt werden, ermöglicht Edge AI die sofortige Analyse der Daten auf dem Gerät selbst. Dadurch werden Vision-KI-Systeme schneller, effizienter und weniger abhängig von der Internetverbindung. Edge AI ist besonders nützlich für Anwendungen zur Entscheidungsfindung in Echtzeit, z. B. für selbstfahrende Autos, Sicherheitskameras und intelligente Fabriken. 

Die wichtigsten Vorteile von Edge AI

Nach der Vorstellung von Edge AI hob Guy Dahan die wichtigsten Vorteile hervor und konzentrierte sich dabei auf Effizienz, Kosteneinsparungen und Datensicherheit. Er erklärte, dass einer der größten Vorteile die geringe Latenz ist - da KI-Modelle Daten direkt auf dem Gerät verarbeiten, müssen keine Informationen an die Cloud gesendet und auf eine Antwort gewartet werden. 

Edge AI hilft auch, Kosten zu senken und sensible Daten zu schützen. Das Senden großer Datenmengen in die Cloud, insbesondere von Videostreams, kann teuer sein. Die lokale Verarbeitung hingegen reduziert die Bandbreiten- und Speicherkosten. 

Ein weiterer wichtiger Vorteil ist der Datenschutz, da die Informationen auf dem Gerät verbleiben und nicht an einen externen Server übertragen werden. Dies ist besonders wichtig für Anwendungen in den Bereichen Gesundheit, Finanzen und Sicherheit, bei denen es von höchster Priorität ist, dass die Daten lokal und sicher bleiben.

‍

Aufbauend auf diesen Vorteilen kommentierte Guy Dahan die wachsende Akzeptanz von Edge AI. Er stellte fest, dass sich die Nutzung seit der Einführung von Jetson durch NVIDIA im Jahr 2014 verzehnfacht hat. Heute arbeiten über 1,2 Millionen Entwickler mit Jetson-Geräten. 

Ein Überblick über NVIDIA Jetson: ein Edge-KI-Gerät

Guy Dahan konzentrierte sich dann auf die NVIDIA Jetson-Geräte, eine Familie von KI-Edge-Computing-Geräten, die hohe Leistung bei geringem Stromverbrauch bieten. Jetson-Geräte sind ideal für Computer-Vision-Anwendungen in Bereichen wie Robotik, Landwirtschaft, Gesundheitswesen und industrielle Automatisierung. "Jetsons sind Edge-KI-Geräte, die speziell auf KI zugeschnitten sind. Ich könnte sogar hinzufügen, dass sie ursprünglich vor allem für Computer Vision entwickelt wurden", fügte Guy Dahan hinzu.

Jetson-Geräte gibt es in drei Stufen, die jeweils für unterschiedliche Anforderungen geeignet sind:

• Einstiegsklasse: Diese Geräte bieten eine KI-Leistung von 20 bis 40 Billionen Operationen pro Sekunde (TOPS) bei einem Stromverbrauch von 10 bis 15 W, was sie zu einer erschwinglichen Wahl für Edge-Anwendungen macht.
  ‍
• Mainstream: Ausgewogene Leistung und Effizienz, bietet 70 - 200 TOPS bei 20 - 40W Stromverbrauch, geeignet für mittlere KI-Workloads.
  ‍
• Hohe Leistung: Liefert bis zu 275 TOPS bei einem Stromverbrauch von 60 - 75 W, entwickelt für anspruchsvolle KI-Anwendungen wie Robotik und Automatisierung.

Guy Dahan sprach auch über den kommenden Jetson AGX Thor, der noch in diesem Jahr auf den Markt kommen wird, und sagte, dass er die achtfache GPU-Leistung (Graphics Processing Unit), die doppelte Speicherkapazität und eine verbesserte CPU-Leistung (Central Processing Unit) bieten wird. Er wurde speziell für die humanoide Robotik und fortschrittliche Edge AI-Anwendungen entwickelt.

Herausforderungen im Zusammenhang mit dem Einsatz von Computer-Vision-Modellen

Guy Dahan ging dann auf die Softwareseite der Edge-KI ein und erklärte, dass selbst mit leistungsstarker Hardware die effiziente Bereitstellung von Modellen eine Herausforderung sein kann. 

Eine der größten Hürden ist die Kompatibilität, da KI-Entwickler oft mit verschiedenen KI-Frameworks wie PyTorch und TensorFlow arbeiten. Der Wechsel zwischen diesen Frameworks kann sich als schwierig erweisen, da die Entwickler ihre Umgebungen neu erstellen müssen, um sicherzustellen, dass alles korrekt läuft.

Skalierbarkeit ist eine weitere zentrale Herausforderung. KI-Modelle erfordern eine erhebliche Rechenleistung, und wie Dahan es ausdrückt: "Es hat noch nie ein KI-Unternehmen gegeben, das weniger Rechenleistung benötigt hat." Die Ausweitung von KI-Anwendungen auf mehrere Geräte kann schnell teuer werden, weshalb eine Optimierung unerlässlich ist.

Außerdem sind KI-Pipelines komplex und umfassen oft verschiedene Arten von Daten, Echtzeitverarbeitung und Systemintegration. Entwickler verwenden viel Mühe darauf, sicherzustellen, dass ihre Modelle nahtlos mit bestehenden Software-Ökosystemen interagieren. Die Bewältigung dieser Herausforderungen ist ein entscheidender Faktor, um KI-Implementierungen effizienter und skalierbarer zu machen.

‍

Vereinfachte Bereitstellung mit NVIDIAs Triton Inference Server

Als nächstes widmete Guy Dahan seine Aufmerksamkeit dem Triton Inference Server von NVIDIA. Er wies darauf hin, dass viele Unternehmen und Start-ups mit der KI-Entwicklung beginnen, ohne ihre Modelle vollständig zu optimieren. Die Neugestaltung einer gesamten KI-Pipeline von Grund auf kann störend und zeitaufwendig sein, was eine effiziente Skalierung erschwert. 

Statt einer kompletten Systemüberholung ermöglicht Triton Entwicklern, ihre KI-Workflows schrittweise zu verfeinern und zu optimieren und effizientere Komponenten zu integrieren, ohne ihr bestehendes Setup zu verändern. Durch die Unterstützung mehrerer KI-Frameworks, darunter TensorFlow, PyTorch, ONNX und TensorRT, ermöglicht Triton eine nahtlose Bereitstellung in Cloud-Umgebungen, Rechenzentren und Edge-Geräten mit minimalen Anpassungen.

‍

Hier sind einige der wichtigsten Vorteile von NVIDIAs Triton Inference Server:

• Automatische Stapelverarbeitung: Triton fasst mehrere KI-Anfragen zusammen, bevor sie verarbeitet werden. Dadurch werden Verzögerungen (Latenz) reduziert und die Inferenzgeschwindigkeit (die Zeit, die ein KI-Modell benötigt, um Ergebnisse zu erzeugen) verbessert.
  ‍
• Kubernetes-Integration: Triton ist Cloud-nativ, d. h. es funktioniert nahtlos mit Kubernetes (einem System, das die Verwaltung und Skalierung von KI-Anwendungen über mehrere Computer oder Cloud-Server hinweg unterstützt).
  ‍
• Open-Source und anpassbar: Entwickler können Triton an ihre spezifischen Anforderungen anpassen und so die Flexibilität für eine Vielzahl von KI-Anwendungen sicherstellen.

Maximierung der KI-Leistung mit NVIDIA TensorRT

Angenommen, Sie suchen nach noch mehr Beschleunigung; NVIDIA TensorRT ist eine interessante Option zur Optimierung Ihrer KI-Modelle. Guy Dahan erläuterte, dass TensorRT ein hochleistungsfähiger Deep-Learning-Optimierer ist, der für NVIDIA-GPUs entwickelt wurde. Modelle aus TensorFlow, PyTorch, ONNX und MXNet können mit TensorRT in hocheffiziente, GPU-ausführbare Dateien konvertiert werden.

Was TensorRT so zuverlässig macht, sind seine hardwarespezifischen Optimierungen. Ein für Jetson-Geräte optimiertes Modell wird auf anderen GPUs nicht so effizient arbeiten, weil TensorRT die Leistung auf der Grundlage der Zielhardware fein abstimmt. Ein feinabgestimmtes Computer Vision Modell kann zu einer bis zu 36-fachen Steigerung der Inferenzgeschwindigkeit im Vergleich zu nicht optimierten Modellen führen.

Guy Dahan wies auch auf die Unterstützung von Ultralytics für TensorRT hin und erläuterte, wie diese die Bereitstellung von KI-Modellen schneller und effizienter macht. Ultralytics YOLO-Modelle können direkt in das TensorRT-Format exportiert werden, so dass Entwickler sie für NVIDIA-GPUs optimieren können, ohne irgendwelche Änderungen vornehmen zu müssen. 

DeepStream 7.0: ein Toolkit für die Streaming-Analyse

Zum Abschluss seines Vortrags stellte Guy Dahan DeepStream 7.0 vor - ein KI-Framework, das für die Echtzeitverarbeitung von Video-, Audio- und Sensordaten mit NVIDIA-GPUs entwickelt wurde. Es wurde zur Unterstützung von High-Speed-Computer-Vision-Anwendungen entwickelt und ermöglicht Objekterkennung, -verfolgung und -analyse in autonomen Systemen, Sicherheit, Industrieautomatisierung und intelligenten Städten. Da DeepStream KI direkt auf Edge-Geräten ausführt, entfällt die Abhängigkeit von der Cloud, wodurch Latenzzeiten reduziert und die Effizienz verbessert werden.

‍

DeepStream kann insbesondere die KI-gestützte Videoverarbeitung von Anfang bis Ende übernehmen. Es unterstützt End-to-End-Workflows, von der Videodekodierung und Vorverarbeitung bis zur KI-Inferenz und Nachverarbeitung. 

Kürzlich hat DeepStream mehrere Updates eingeführt, um die KI-Bereitstellung zu verbessern und sie zugänglicher und skalierbarer zu machen. Neue Tools vereinfachen die Entwicklung, verbessern das Tracking mit mehreren Kameras und optimieren KI-Pipelines für eine bessere Leistung. 

Entwickler haben jetzt eine erweiterte Unterstützung für Windows-Umgebungen, verbesserte Sensorfusionsfunktionen für die Integration von Daten aus verschiedenen Quellen und Zugang zu vorgefertigten Referenzanwendungen, um die Bereitstellung zu beschleunigen. Diese Verbesserungen machen DeepStream zu einer flexibleren und effizienteren Lösung für Echtzeit-KI-Anwendungen und helfen Entwicklern, intelligente Videoanalysen problemlos zu skalieren.

Die wichtigsten Erkenntnisse

Wie Guy Dahan in seiner Keynote auf der YV24 darlegte, definiert Edge AI die Anwendungen der Computer Vision neu. Mit Fortschritten bei Hardware und Software wird die Echtzeitverarbeitung immer schneller, effizienter und kostengünstiger.

Da immer mehr Branchen Edge-KI einsetzen, ist die Bewältigung von Herausforderungen wie Fragmentierung und Komplexität der Bereitstellung der Schlüssel zur Erschließung des vollen Potenzials. Die Umsetzung dieser Innovationen wird zu intelligenteren, reaktionsschnelleren KI-Anwendungen führen und die Zukunft der Computer Vision prägen.

Werden Sie ein Teil unserer wachsenden Community! Erkunden Sie unser GitHub-Repository, um mehr über KI zu erfahren, und sehen Sie sich unsere Lizenzierungsoptionen an, um Ihre Vision-KI-Projekte zu starten. Sind Sie neugierig auf Innovationen wie KI im Gesundheitswesen und Computer Vision in der Fertigung? Besuchen Sie unsere Lösungsseiten, um mehr zu erfahren!