Einblicke aus der Praxis: Ultralytics YOLOv8 auf eingebetteten Geräten bereitstellen

Show and Tell: Ultralytics YOLOv8 auf eingebetteten Geräten bereitstellen#

Bei der YOLO Vision 2023 (YV23) erläuterte Lakshantha Dissanayake, wie Modelle von Ultralytics YOLOv8 auf eingebetteten Geräten bereitgestellt werden können, insbesondere auf NVIDIA Jetson und MCU-Plattformen. Hier sind die wichtigsten Punkte seines Vortrags auf dem Google for Startups Campus in Madrid.

Lerne Lakshantha Dissanayake kennen#

Lakshantha Dissanayake, Application Engineer bei Seeed Studio, arbeitet an den AIoT-Initiativen des Unternehmens. In seinem Vortrag unterstrich er Seeed Studios Engagement für Partnerschaften mit Entwicklern, ISVs und SIs. Dabei lag der Schwerpunkt darauf, Technologie zugänglicher zu machen.

Die Entwicklung des Edge Computing#

Der Wechsel zum Edge Computing kennzeichnet einen Wandel hin zu dezentraler Datenverarbeitung. Die Ausführung von Arbeitslasten auf Edge-Geräten ermöglicht die Verarbeitung in Echtzeit, verringert die Latenz und macht Systeme in verschiedenen Branchen reaktionsschneller.

In seinem Vortrag erörterte Lakshantha die Herausforderungen und die Entwicklung von Edge-Geräten sowie ihre Rolle dabei, Technologie zugänglicher zu machen. Er ging auf die Feinheiten der Leistungsoptimierung am Edge ein, insbesondere bei Videoanalyseanwendungen.

Herausforderungen bei der Bereitstellung bewältigen#

Zahlreiche neue GPU-Geräte kommen auf den Markt, doch ihre Preise sind recht hoch. Eingebettete Geräte wie die Jetson-Reihe bieten dagegen verschiedene Funktionen für die Bereitstellung, mit denen Endnutzer die benötigten Analysen leichter durchführen können. Wenn du erfahren möchtest, wie du mit Seeed Studio Jetson-Geräten loslegen kannst, lies unseren Beitrag über die Aufrüstung beliebiger Kameras mit Ultralytics YOLOv8 und Edge-Geräten von Seeed Studio.

Lakshantha ging auf die Herausforderungen bei der Bereitstellung von Ultralytics YOLOv8 auf Edge-Geräten ein und stellte praktische Lösungen vor. Der Vortrag führte Schritt für Schritt durch den Prozess – vom Aufspielen des Betriebssystems (OS) bis zur Einrichtung der Umgebung – und machte die Bereitstellung so für Entwickler zugänglicher.

TensorRT und DeepStream#

TensorRT ist eine leistungsstarke Inferenz-Engine für eingebettete Geräte von NVIDIA. Sie kann das Modell Ultralytics YOLOv8 quantisieren und optimieren und so seine Leistung auf Edge-Geräten verbessern.

Lakshantha zeigte außerdem, wie TensorRT die Inferenzleistung verbessert und wie DeepStream die Effizienz von Anwendungen mit mehreren Streams steigert. Praktische Vorführungen zeigten, wie diese Tools YOLO-Modelle effizient auf eingebetteten Geräten ausführen.

Vorstellung der MCU-Plattform#

Ein weiterer Höhepunkt war Lakshanthas Live-Demonstration, bei der er YOLO-Modelle mithilfe des SenseCraft Model Assistant auf der MCU-Plattform bereitstellte. Die Vorführung gab dem Publikum einen Einblick in die Zukunft der Edge-KI.

Zum Abschluss#

Heute liegt ein großer Teil des Fokus auf eingebetteten Geräten, bei denen Kunden nach kostengünstigen Lösungen mit möglichst geringem Wartungsaufwand suchen. Eingebettete Geräte von Seeed Studio verfügen über eine Vorstartfunktion, die Entwicklern und Endnutzern die Arbeit erleichtert.

Insgesamt behandelte die Sitzung die technischen Details der Bereitstellung am Edge und hob den Gemeinschaftsgeist in der KI-Community hervor.

Sieh dir den vollständigen Vortrag zur Bereitstellung von Ultralytics YOLOv8 auf eingebetteten Geräten an.