Ultralytics YOLO-Modelle mit der TensorRT-Integration optimieren

Stell dir ein autonomes Auto vor, das durch eine belebte Straße fährt und nur wenige Millisekunden Zeit hat, um eine Person zu erkennen, die gerade den Bordstein betritt. Gleichzeitig muss es möglicherweise ein teilweise von einem Baum verdecktes Stoppschild erkennen oder schnell auf ein nahegelegenes Fahrzeug reagieren, das in seine Spur ausschert. In solchen Situationen sind Geschwindigkeit und Reaktionen in Echtzeit entscheidend.

Hier spielt künstliche Intelligenz (AI), insbesondere die Computer Vision, eine wichtige Rolle. Computer Vision ist ein Teilgebiet der KI, das Maschinen dabei hilft, visuelle Daten zu interpretieren. Damit Lösungen für Computer Vision in realen Umgebungen zuverlässig funktionieren, müssen sie Informationen oft schnell verarbeiten, mehrere Aufgaben gleichzeitig bewältigen und den Speicher effizient nutzen.

Eine Möglichkeit, dies zu erreichen, ist die Hardwarebeschleunigung. Dabei kommen spezielle Geräte wie Grafikprozessoren (GPUs) zum Einsatz, um Modelle schneller auszuführen. NVIDIA-GPUs sind für solche Aufgaben besonders bekannt, da sie eine niedrige Latenz und einen hohen Durchsatz bieten.

Allerdings ist die Ausführung eines Modells auf einer GPU allein keine Garantie für optimale Leistung. Modelle für KI-gestützte Bildverarbeitung müssen in der Regel optimiert werden, damit sie die Möglichkeiten der Hardware voll ausschöpfen. Um die volle Leistung auf bestimmter Hardware zu erzielen, müssen wir das Modell so kompilieren, dass es den jeweiligen Befehlssatz der Hardware nutzt.

TensorRT ist beispielsweise ein Exportformat und eine Optimierungsbibliothek, die NVIDIA entwickelt hat, um die Leistung auf NVIDIA-GPUs zu verbessern. Mit fortschrittlichen Verfahren verkürzt TensorRT die Inferenzzeit erheblich, ohne die Genauigkeit zu beeinträchtigen.

Abb. 1: NVIDIA TensorRT ermöglicht den optimalen Betrieb von Modellen auf verschiedenen NVIDIA-Geräten.

In diesem Artikel sehen wir uns die von Ultralytics unterstützte TensorRT-Integration an und zeigen dir, wie du dein YOLO11-Modell für einen schnelleren und effizienteren Einsatz auf NVIDIA-Hardware exportierst. Los geht’s!

Überblick über TensorRT#

TensorRT ist ein von NVIDIA entwickeltes Toolkit, mit dem KI-Modelle schneller und effizienter auf NVIDIA-GPUs laufen. Es ist für praktische Anwendungen konzipiert, bei denen Geschwindigkeit und Leistung besonders wichtig sind, etwa für selbstfahrende Autos sowie die Qualitätskontrolle in der Fertigung und Pharmaindustrie.

TensorRT umfasst Werkzeuge wie Compiler und Modelloptimierer, die im Hintergrund dafür sorgen, dass deine Modelle mit niedriger Latenz laufen und einen höheren Durchsatz bewältigen können.

Die von Ultralytics unterstützte TensorRT-Integration optimiert dein YOLO-Modell, damit es mithilfe von Verfahren wie der Reduzierung der Präzision effizienter auf GPUs läuft. Dabei werden niedrigere Bitbreiten wie 16-Bit-Gleitkommazahlen (FP16) oder 8-Bit-Ganzzahlen (INT8) zur Darstellung der Modelldaten verwendet. Das verringert den Speicherbedarf und beschleunigt die Berechnungen, während die Genauigkeit nur minimal beeinträchtigt wird.

Außerdem werden kompatible neuronale Netzwerkschichten in optimierten TensorRT-Modellen zusammengeführt. Das verringert den Speicherbedarf und ermöglicht eine schnellere und effizientere Inferenz.

Abb. 2 Einblick in die Schichtfusionstechnik von TensorRT.

Wichtige Merkmale des TensorRT-Exportformats#

Bevor wir erläutern, wie du Ultralytics YOLO11 mithilfe der TensorRT-Integration exportierst, sehen wir uns einige wichtige Merkmale des TensorRT-Modellformats an:

• Einfache Framework-Integration: TensorRT lässt sich direkt in verbreitete KI-Frameworks wie PyTorch, Hugging Face und ONNX integrieren und bietet eine bis zu sechsmal höhere Leistung. TensorRT unterstützt außerdem MATLAB, sodass sich Hochgeschwindigkeits-KI-Engines für Plattformen wie Jetson, NVIDIA DRIVE und Rechenzentren entwickeln lassen.
• Skalierbarer Einsatz mit Triton: Modelle im TensorRT-Format lassen sich mithilfe des NVIDIA Triton Inference Server in großem Maßstab einsetzen. Funktionen wie die Stapelverarbeitung von Eingaben, die gleichzeitige Ausführung mehrerer Modelle, die Unterstützung von Modellensembles und das Audio-/Video-Streaming in Echtzeit steigern die Effizienz.
• Flexibel auf verschiedenen Geräten: TensorRT funktioniert im gesamten NVIDIA-Ökosystem, von kleinen Edge-Geräten bis hin zu leistungsstarken Servern. Unterstützt werden unter anderem DeepStream für Video, Riva für Sprach-KI sowie weitere Werkzeuge für Cybersicherheit, Empfehlungen und mehr.

Wie funktioniert die TensorRT-Integration?#

Der Export von Ultralytics-YOLO-Modellen wie Ultralytics YOLO11 in das TensorRT-Modellformat ist einfach. Gehen wir die einzelnen Schritte durch.

Für den Einstieg kannst du das Ultralytics-Python-Paket mit einem Paketmanager wie pip installieren. Führe dazu den Befehl pip install ultralytics in deiner Eingabeaufforderung oder deinem Terminal aus.

Nach erfolgreicher Installation des Ultralytics-Python-Pakets kannst du Modelle für verschiedene Aufgaben der Computer Vision trainieren, testen, feinabstimmen, exportieren und einsetzen, etwa für die Objekterkennung, Klassifizierung und Instanzsegmentierung. Sollten bei der Paketinstallation Schwierigkeiten auftreten, findest du in der Anleitung zu häufigen Problemen Lösungen und Tipps.

Für den nächsten Schritt benötigst du ein NVIDIA-Gerät. Lade YOLO11 mit dem folgenden Codeausschnitt und exportiere es in das TensorRT-Modellformat. Dabei wird eine vortrainierte Nano-Variante des YOLO11-Modells (yolo11n.pt) geladen und als TensorRT-Engine-Datei (yolo11n.engine) exportiert. Anschließend kann sie auf NVIDIA-Geräten eingesetzt werden.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="engine")

Nachdem du dein Modell in das TensorRT-Format umgewandelt hast, kannst du es für verschiedene Anwendungen einsetzen.

Das folgende Beispiel zeigt, wie du das exportierte YOLO11-Modell (yolo11n.engine) lädst und damit eine Inferenz ausführst. Bei der Inferenz verwendet ein trainiertes Modell neue Daten, um Vorhersagen zu treffen. In diesem Fall testen wir das Modell mit einem Eingabebild eines Hundes.

tensorrt_model = YOLO("yolo11n.engine")
results = tensorrt_model("https://images.pexels.com/photos/1254140/pexels-photo-1254140.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Wenn du diesen Code ausführst, wird das folgende Ausgabebild im Ordner runs/detect/predict gespeichert.

Abb. 3. Ergebnis einer Inferenz mit dem exportierten Ultralytics-YOLO11-Modell im TensorRT-Format.

Wann lohnt sich die TensorRT-Integration?#

Das Ultralytics-Python-Paket unterstützt verschiedene Integrationen, mit denen du YOLO-Modelle in Formate wie TorchScript, CoreML, ONNX und TensorRT exportieren kannst. Wann solltest du also die TensorRT-Integration wählen?

Hier sind einige Faktoren, durch die sich das TensorRT-Modellformat von anderen Exportintegrationen unterscheidet:

• Kleinere Modellgröße: Wenn du ein YOLO-Modell mit INT8-Präzision (quantize=8) in das TensorRT-Format exportierst, kannst du die Modellgröße erheblich verringern. Die Quantisierung von FP32 auf INT8 kann die Modellgröße um den Faktor 4 reduzieren. Dadurch verkürzen sich Downloadzeiten, der Speicherbedarf sinkt und das Modell benötigt bei der Bereitstellung weniger Arbeitsspeicher.
• Geringerer Stromverbrauch: Die INT8-Quantisierung verringert nicht nur die Modellgröße, sondern auch den Stromverbrauch. Berechnungen mit reduzierter Präzision bei exportierten YOLO-Modellen im INT8-Format verbrauchen weniger Energie als bei FP32-Modellen. Das ist besonders vorteilhaft für akkubetriebene Geräte wie Drohnen, Smartphones oder Edge-Geräte.
• Höhere Geschwindigkeit: Die effiziente YOLO-Architektur lässt sich mit der INT8-Optimierung von TensorRT kombinieren, um die Inferenz zu beschleunigen.

Anwendungsbereiche von Ultralytics YOLO11 und dem TensorRT-Modellformat#

Ultralytics-YOLO-Modelle, die in das TensorRT-Format exportiert wurden, lassen sich in vielen praktischen Anwendungsbereichen einsetzen. Diese optimierten Modelle sind besonders nützlich, wenn schnelle und effiziente KI-Leistung entscheidend ist. Sehen wir uns einige interessante Einsatzmöglichkeiten an.

Intelligente Kassen in Einzelhandelsgeschäften#

Viele Aufgaben in Einzelhandelsgeschäften, etwa das Scannen von Barcodes, das Wiegen von Produkten oder das Verpacken von Waren, werden noch immer manuell von Beschäftigten erledigt. Der ausschließliche Einsatz von Personal kann jedoch Abläufe verlangsamen und bei Kunden für Frust sorgen, insbesondere an der Kasse. Lange Warteschlangen sind sowohl für Kunden als auch für Ladenbesitzer unangenehm. Intelligente Selbstbedienungskassen sind eine gute Lösung für dieses Problem.

Diese Kassen beschleunigen den Ablauf mithilfe von Computer Vision und GPUs und verkürzen so die Wartezeiten. Computer Vision ermöglicht es diesen Systemen, ihre Umgebung mithilfe von Aufgaben wie der Objekterkennung wahrzunehmen und zu verstehen. Fortschrittliche Modelle wie Ultralytics YOLO11 laufen auf GPU-Geräten deutlich schneller, wenn sie mit Werkzeugen wie TensorRT optimiert werden.

Diese exportierten Modelle eignen sich gut für intelligente Einzelhandelslösungen mit kompakten, aber leistungsstarken Geräten wie dem NVIDIA Jetson Nano, der speziell für Edge-KI-Anwendungen entwickelt wurde.

Abb. 4 Beispiel für eine intelligente Kasse.

Automatisierte Fehlererkennung in der Fertigung#

Ein Computer-Vision-Modell wie Ultralytics YOLO11 kann gezielt darauf trainiert werden, fehlerhafte Produkte in der Fertigung zu erkennen. Nach dem Training lässt sich das Modell in das TensorRT-Format exportieren und in Produktionsstätten mit leistungsstarken KI-Systemen einsetzen.

Während die Produkte über Förderbänder laufen, nehmen Kameras Bilder auf. Das im TensorRT-Format ausgeführte Ultralytics-YOLO11-Modell analysiert die Bilder in Echtzeit und erkennt Fehler. So können Unternehmen Probleme schnell und zuverlässig feststellen, Fehler reduzieren und die Effizienz steigern.

Auch in Branchen wie der Pharmaindustrie werden solche Systeme zur Erkennung von Mängeln an medizinischen Verpackungen eingesetzt. Der weltweite Markt für intelligente Fehlererkennungssysteme soll bis 2026 auf 5 Milliarden US-Dollar anwachsen.

Abb. 5 Mit YOLO Fehler in der Pharmaindustrie erkennen.

Was du bei der Verwendung von TensorRT beachten solltest#

Die TensorRT-Integration bietet zwar viele Vorteile wie schnellere Inferenz und geringere Latenz, doch solltest du auch einige Einschränkungen beachten:

• Leichter Genauigkeitsverlust: Wenn du dein Modell in das TensorRT-Format exportierst, ist das exportierte Modell möglicherweise nicht so genau wie das Original. Leistungskennzahlen wie Präzision, Trefferquote und die Fähigkeit des Modells, Objekte zu erkennen (mAP-Werte), können leicht sinken. Dies lässt sich abmildern, indem du bei der INT8-Quantisierung einen repräsentativen Kalibrierungsdatensatz verwendest (Argument data).
• Aufwendigere Fehlersuche: Die von TensorRT vorgenommenen Optimierungen können es erschweren, Fehler nachzuverfolgen oder unerwartetes Verhalten zu verstehen, insbesondere beim Vergleich mit dem ursprünglichen Modell.
• Abhängigkeit von der Batchgröße: Die Leistungssteigerungen durch TensorRT fallen bei größeren Batchgrößen deutlicher aus. Bei Anwendungen, die einzelne Bilder oder kleine Batches verarbeiten, sind die Verbesserungen möglicherweise weniger erheblich.

Die wichtigsten Erkenntnisse#

Durch den Export von Ultralytics YOLO-Modellen ins TensorRT-Format laufen sie deutlich schneller und effizienter. Dadurch eignen sie sich ideal für Echtzeitanwendungen wie die Fehlererkennung in Fabriken, den Betrieb intelligenter Selbstbedienungskassen oder die Überwachung belebter Stadtgebiete.

Diese Optimierung verbessert die Leistung der Modelle auf NVIDIA-GPUs, indem sie Vorhersagen beschleunigt und den Speicher- und Stromverbrauch senkt. Trotz einiger Einschränkungen ist die Leistungssteigerung ein guter Grund, TensorRT für den Aufbau schneller Computer-Vision-Systeme auf NVIDIA-Hardware zu integrieren.

Möchtest du mehr über KI erfahren? Sieh dir unser GitHub-Repository an, tausche dich mit unserer Community aus und informiere dich über unsere Lizenzoptionen, um dein Computer-Vision-Projekt zu starten. Erfahre auf unseren Lösungsseiten mehr über Innovationen wie KI in der Fertigung und Computer Vision in der Logistikbranche.