Ultralytics YOLO-Modelle mit der TensorRT-Integration optimieren

Stell dir ein selbstfahrendes Auto vor, das durch eine belebte Straße fährt und nur wenige Millisekunden Zeit hat, um einen Fußgänger zu erkennen, der vom Bordstein tritt. Gleichzeitig muss es möglicherweise ein teilweise von einem Baum verdecktes Stoppschild erkennen oder schnell auf ein nahegelegenes Fahrzeug reagieren, das auf seine Spur ausschert. In solchen Situationen sind Geschwindigkeit und Reaktionen in Echtzeit entscheidend.

Hier spielt künstliche Intelligenz (AI), insbesondere Computer Vision, eine wichtige Rolle. Computer Vision ist ein Teilgebiet der künstlichen Intelligenz, das Maschinen hilft, visuelle Daten zu interpretieren. Damit Computer-Vision-Lösungen in realen Umgebungen zuverlässig funktionieren, müssen sie Informationen oft schnell verarbeiten, mehrere Aufgaben gleichzeitig bewältigen und den Speicher effizient nutzen.

Eine Möglichkeit, dies zu erreichen, ist die Hardwarebeschleunigung mithilfe spezialisierter Geräte wie Grafikprozessoren (GPUs), auf denen Modelle schneller ausgeführt werden können. NVIDIA GPUs sind für solche Aufgaben besonders bekannt, da sie eine geringe Latenz und einen hohen Durchsatz ermöglichen.

Die unveränderte Ausführung eines Modells auf einer GPU garantiert jedoch nicht immer eine optimale Leistung. Modelle für Computer Vision müssen in der Regel optimiert werden, um die Möglichkeiten der Hardware vollständig auszuschöpfen. Um die volle Leistung auf einer bestimmten Hardware zu erreichen, müssen wir das Modell so kompilieren, dass es den spezifischen Befehlssatz der Hardware verwendet.

TensorRT ist beispielsweise ein von NVIDIA entwickeltes Exportformat und eine Optimierungsbibliothek zur Leistungssteigerung auf leistungsfähigen Maschinen. Es verwendet fortschrittliche Verfahren, um die Inferenzzeit deutlich zu verkürzen und gleichzeitig die Genauigkeit beizubehalten.

Abb. 1. NVIDIA TensorRT ermöglicht die optimale Ausführung von Modellen auf verschiedenen NVIDIA-Geräten.

In diesem Artikel sehen wir uns die von Ultralytics unterstützte TensorRT-Integration an und zeigen dir, wie du dein YOLO11-Modell für eine schnellere und effizientere Bereitstellung auf NVIDIA-Hardware exportierst. Legen wir los!

Überblick über TensorRT#

TensorRT ist ein von NVIDIA entwickeltes Toolkit, mit dem AI-Modelle schneller und effizienter auf NVIDIA GPUs ausgeführt werden können. Es wurde für reale Anwendungen entwickelt, bei denen Geschwindigkeit und Leistung besonders wichtig sind, etwa für selbstfahrende Autos sowie für die Qualitätskontrolle in der Fertigung und der Pharmaindustrie.

TensorRT umfasst Werkzeuge wie Compiler und Modelloptimierer, die im Hintergrund dafür sorgen können, dass deine Modelle mit geringer Latenz ausgeführt werden und einen höheren Durchsatz bewältigen.

Die von Ultralytics unterstützte TensorRT-Integration optimiert dein YOLO-Modell, damit es mithilfe von Verfahren wie der Reduzierung der Präzision effizienter auf GPUs ausgeführt wird. Dabei werden Formate mit weniger Bits verwendet, beispielsweise 16-Bit-Gleitkommazahlen (FP16) oder 8-Bit-Ganzzahlen (INT8), um Modelldaten darzustellen. Das verringert den Speicherbedarf und beschleunigt die Berechnung bei minimalen Auswirkungen auf die Genauigkeit.

Außerdem werden kompatible neuronale Netzwerkschichten in optimierten TensorRT-Modellen zusammengeführt, um den Speicherbedarf zu reduzieren und dadurch eine schnellere und effizientere Inferenz zu ermöglichen.

Abb. 2. Einblick in die Schichtfusionstechnik von TensorRT.

Wichtige Funktionen des TensorRT-Exportformats#

Bevor wir besprechen, wie du Ultralytics YOLO11 mithilfe der TensorRT-Integration exportieren kannst, sehen wir uns einige wichtige Funktionen des TensorRT-Modellformats an:

• Einfache Framework-Integration: TensorRT unterstützt die direkte Integration in beliebte AI-Frameworks wie PyTorch, Hugging Face und ONNX und bietet eine bis zu sechsmal höhere Leistung. Außerdem wird MATLAB unterstützt, wodurch die Entwicklung schneller AI-Engines auf Plattformen wie Jetson, NVIDIA DRIVE und in Rechenzentren möglich ist.

• Skalierbare Bereitstellung mit Triton: Im TensorRT-Format optimierte Modelle können mithilfe des NVIDIA Triton Inference Server in großem Maßstab bereitgestellt werden. Dieser steigert die Effizienz durch Funktionen wie Eingabestapelverarbeitung, gleichzeitige Modellausführung, Unterstützung von Modellensembles und Audio-/Videostreaming in Echtzeit.

• Flexibel auf verschiedenen Geräten: Von kleinen Edge-Geräten bis hin zu leistungsfähigen Servern funktioniert TensorRT im gesamten NVIDIA-Ökosystem und unterstützt Werkzeuge wie DeepStream für Video, Riva für Sprachverarbeitung und weitere Werkzeuge für Cybersicherheit, Empfehlungssysteme und mehr.

Wie funktioniert die TensorRT-Integration?#

Der Export von Ultralytics YOLO-Modellen wie Ultralytics YOLO11 in das TensorRT-Modellformat ist einfach. Sehen wir uns die einzelnen Schritte an.

Installiere zunächst das Ultralytics Python-Paket mit einem Paketmanager wie „pip“. Führe dazu in der Eingabeaufforderung oder im Terminal den Befehl „pip install ultralytics“ aus.

Nach der erfolgreichen Installation des Ultralytics Python-Pakets kannst du Modelle für verschiedene Computer-Vision-Aufgaben wie Objekterkennung, Klassifizierung und Instanzsegmentierung trainieren, testen, feinabstimmen, exportieren und bereitstellen. Falls bei der Installation des Pakets Schwierigkeiten auftreten, findest du im Leitfaden zu häufigen Problemen Lösungen und Tipps.

Für den nächsten Schritt benötigst du ein NVIDIA-Gerät. Verwende den folgenden Codeausschnitt, um YOLO11 zu laden und in das TensorRT-Modellformat zu exportieren. Dabei wird eine vortrainierte Nano-Variante des YOLO11-Modells (yolo11n.pt) geladen und als TensorRT-Engine-Datei (yolo11n.engine) exportiert, sodass sie für die Bereitstellung auf NVIDIA-Geräten bereit ist.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="engine")

Nachdem du dein Modell in das TensorRT-Format konvertiert hast, kannst du es für verschiedene Anwendungen bereitstellen.

Das folgende Beispiel zeigt, wie du das exportierte YOLO11-Modell (yolo11n.engine) lädst und damit eine Inferenz ausführst. Bei der Inferenz wird das trainierte Modell verwendet, um Vorhersagen für neue Daten zu erstellen. In diesem Fall verwenden wir ein Eingabebild eines Hundes, um das Modell zu testen.

tensorrt_model = YOLO("yolo11n.engine")
results = tensorrt_model("https://images.pexels.com/photos/1254140/pexels-photo-1254140.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Wenn du diesen Code ausführst, wird das folgende Ausgabebild im Ordner runs/detect/predict gespeichert.

Abb. 3. Ergebnis der Ausführung einer Inferenz mit dem exportierten Ultralytics YOLO11-Modell im TensorRT-Format.

Wann du die TensorRT-Integration einsetzen solltest#

Das Ultralytics Python-Paket unterstützt verschiedene Integrationen, mit denen YOLO-Modelle exportiert und in Formate wie TorchScript, CoreML, ONNX und TensorRT umgewandelt werden können. Wann solltest du dich also für die TensorRT-Integration entscheiden?

Hier sind einige Faktoren, durch die sich das TensorRT-Modellformat von anderen Optionen für den Export und die Integration unterscheidet:

• Kleinere Modellgröße: Der Export eines YOLO-Modells in das TensorRT-Format mit INT8-Präzision kann die Modellgröße deutlich reduzieren. Die Quantisierung von FP32 auf INT8 kann die Modellgröße um das Vierfache verringern. Dadurch werden schnellere Downloads, ein geringerer Speicherbedarf und ein kleinerer Speicherverbrauch während der Bereitstellung ermöglicht.

• Geringerer Energieverbrauch: Die INT8-Quantisierung reduziert nicht nur die Modellgröße, sondern auch den Energieverbrauch. Operationen mit reduzierter Präzision für in das INT8-Format exportierte YOLO-Modelle können weniger Energie verbrauchen als bei FP32-Modellen. Das ist besonders vorteilhaft für batteriebetriebene Geräte wie Drohnen, Smartphones oder Edge-Geräte.

• Höhere Geschwindigkeit: Die Kombination aus der effizienten Architektur von YOLO und der INT8-Optimierung von TensorRT kann die Inferenzgeschwindigkeit erhöhen.

Anwendungen von Ultralytics YOLO11 und dem TensorRT-Modellformat#

In das TensorRT-Format exportierte Ultralytics YOLO-Modelle können in einer Vielzahl realer Szenarien eingesetzt werden. Diese optimierten Modelle sind besonders nützlich, wenn eine schnelle und effiziente AI-Leistung entscheidend ist. Sehen wir uns einige interessante Einsatzmöglichkeiten an.

Intelligente Kassen in Einzelhandelsgeschäften#

Viele Aufgaben in Einzelhandelsgeschäften, etwa das Scannen von Barcodes, das Wiegen von Produkten oder das Verpacken von Artikeln, werden noch immer manuell von Mitarbeitenden erledigt. Die ausschließliche Abhängigkeit von Mitarbeitenden kann jedoch Abläufe verlangsamen und zu Frustration bei Kundinnen und Kunden führen, insbesondere an der Kasse. Lange Warteschlangen sind sowohl für die Kundschaft als auch für die Geschäftsinhaber unpraktisch. Intelligente Selbstbedienungskassen sind eine hervorragende Lösung für dieses Problem.

Diese Kassen verwenden Computer Vision und GPUs, um den Ablauf zu beschleunigen und Wartezeiten zu verkürzen. Computer Vision ermöglicht es diesen Systemen, ihre Umgebung mithilfe von Aufgaben wie der Objekterkennung wahrzunehmen und zu verstehen. Fortschrittliche Modelle wie Ultralytics YOLO11 können, wenn sie mit Werkzeugen wie TensorRT optimiert werden, deutlich schneller auf GPU-Geräten ausgeführt werden.

Diese exportierten Modelle eignen sich gut für intelligente Lösungen im Einzelhandel mit kompakten, aber leistungsfähigen Geräten wie dem NVIDIA Jetson Nano, der speziell für Edge-AI-Anwendungen entwickelt wurde.

Abb. 4. Beispiel für eine intelligente Kasse.

Automatisierte Fehlererkennung in der Fertigung#

Ein Computer-Vision-Modell wie Ultralytics YOLO11 kann speziell trainiert werden, um fehlerhafte Produkte in der Fertigungsindustrie zu erkennen. Nach dem Training kann das Modell in das TensorRT-Format exportiert und in Anlagen mit leistungsfähigen AI-Systemen eingesetzt werden.

Während sich Produkte über Förderbänder bewegen, nehmen Kameras Bilder auf. Das im TensorRT-Format ausgeführte Ultralytics YOLO11-Modell analysiert diese in Echtzeit, um Fehler zu erkennen. Dadurch können Unternehmen Probleme schnell und präzise feststellen, Fehler reduzieren und die Effizienz steigern.

Auch Branchen wie die Pharmaindustrie setzen solche Systeme ein, um Fehler an medizinischen Verpackungen zu erkennen. Der weltweite Markt für intelligente Fehlererkennungssysteme soll bis 2026 auf 5 Milliarden US-Dollar anwachsen.

Abb. 5. Verwendung von YOLO zur Fehlererkennung in der Pharmaindustrie.

Wichtige Hinweise zur Verwendung von TensorRT#

Die TensorRT-Integration bietet viele Vorteile, etwa höhere Inferenzgeschwindigkeiten und eine geringere Latenz. Dennoch solltest du einige Einschränkungen beachten:

• Leichter Genauigkeitsverlust: Wenn du dein Modell in das TensorRT-Format exportierst, ist das exportierte Modell möglicherweise nicht so genau wie das ursprüngliche. Leistungsmetriken wie Präzision, Trefferquote und die Fähigkeit des Modells, Objekte zu erkennen (mAP-Werte), können leicht zurückgehen. Dies lässt sich durch die Verwendung eines repräsentativen Datensatzes während der Quantisierung abmildern.

• Höhere Komplexität bei der Fehlersuche: Die von TensorRT vorgenommenen Optimierungen können das Nachverfolgen von Fehlern oder das Verstehen unerwarteten Verhaltens erschweren, insbesondere beim Vergleich der Ergebnisse mit dem ursprünglichen Modell.

• Abhängigkeit von der Stapelgröße: Die Leistungsgewinne von TensorRT fallen bei größeren Stapelgrößen stärker aus. Bei Anwendungen, die einzelne Bilder oder kleine Stapel verarbeiten, sind die Leistungssteigerungen möglicherweise weniger deutlich.

Wichtige Erkenntnisse#

Durch den Export von Ultralytics YOLO-Modellen in das TensorRT-Format werden sie deutlich schneller und effizienter ausgeführt. Dadurch eignen sie sich ideal für Echtzeitaufgaben wie die Fehlererkennung in Fabriken, den Betrieb intelligenter Kassensysteme oder die Überwachung belebter Stadtgebiete.

Diese Optimierung verbessert die Leistung der Modelle auf NVIDIA GPUs, indem sie Vorhersagen beschleunigt und den Speicher- sowie Energieverbrauch reduziert. Trotz einiger Einschränkungen macht die Leistungssteigerung die TensorRT-Integration zu einer ausgezeichneten Wahl für alle, die schnelle Computer-Vision-Systeme auf NVIDIA-Hardware entwickeln.

Möchtest du mehr über AI erfahren? Sieh dir unser GitHub-Repository an, vernetze dich mit unserer Community und informiere dich über unsere Lizenzoptionen, um dein Computer-Vision-Projekt zu starten. Erfahre auf unseren Lösungsseiten mehr über Innovationen wie AI in der Fertigung und Computer Vision in der Logistikbranche.