Optimierung von Ultralytics YOLO-Modellen mit der TensorRT-Integration

Stell dir ein selbstfahrendes Auto vor, das durch eine belebte Straße fährt und nur Millisekunden Zeit hat, um einen Fußgänger zu erkennen, der vom Bordstein tritt. Gleichzeitig muss es vielleicht ein Stoppschild erkennen, das teilweise von einem Baum verdeckt ist, oder schnell auf ein nahegelegenes Fahrzeug reagieren, das in die eigene Spur einschert. In solchen Situationen sind Geschwindigkeit und Echtzeit-Reaktionen entscheidend.

Hier spielen Künstliche Intelligenz (KI), insbesondere computer vision – ein Zweig der KI, der Maschinen hilft, visuelle Daten zu interpretieren –, eine Schlüsselrolle. Damit Computer-Vision-Lösungen in realen Umgebungen zuverlässig funktionieren, müssen sie oft Informationen schnell verarbeiten, mehrere Aufgaben gleichzeitig bewältigen und den Arbeitsspeicher effizient nutzen.

Ein Weg, dies zu erreichen, ist Hardwarebeschleunigung durch den Einsatz spezialisierter Geräte wie graphics processing units (GPUs), um Modelle schneller auszuführen. NVIDIA GPUs sind besonders für solche Aufgaben bekannt, da sie niedrige Latenzen und einen hohen Durchsatz ermöglichen.

Das Ausführen eines Modells auf einer GPU im unveränderten Zustand garantiert jedoch nicht immer eine optimale Leistung. Vision AI Modelle erfordern in der Regel eine Optimierung, um die Fähigkeiten der Hardware voll auszuschöpfen. Um die volle Leistung mit spezifischer Hardware zu erreichen, müssen wir das Modell so kompilieren, dass es den spezifischen Befehlssatz der Hardware verwendet.

TensorRT ist beispielsweise ein Exportformat und eine Optimierungsbibliothek, die von NVIDIA entwickelt wurde, um die Leistung auf High-End-Maschinen zu verbessern. Es nutzt fortschrittliche Techniken, um die Inferenzzeit bei gleichbleibender Genauigkeit erheblich zu reduzieren.

Fig 1. NVIDIA TensorRT ermöglicht es Modellen, auf verschiedenen NVIDIA Geräten optimal zu laufen.

In diesem Artikel schauen wir uns die von Ultralytics unterstützte TensorRT integration an und gehen Schritt für Schritt durch, wie du dein YOLO11 Modell für ein schnelleres, effizienteres Deployment auf NVIDIA Hardware exportierst. Legen wir los!

Ein Überblick über TensorRT#

TensorRT ist ein von NVIDIA entwickeltes Toolkit, das KI Modellen hilft, schneller und effizienter auf NVIDIA GPUs zu laufen. Es ist für reale Anwendungen konzipiert, bei denen es auf Geschwindigkeit und Leistung ankommt, wie zum Beispiel bei selbstfahrenden Autos sowie in der Qualitätskontrolle in der Fertigung und Pharmazie.

TensorRT enthält Tools wie Compiler und Modelloptimierer, die im Hintergrund dafür sorgen, dass deine Modelle mit niedriger Latenz laufen und einen höheren Durchsatz bewältigen können.

Die von Ultralytics unterstützte TensorRT integration optimiert dein YOLO Modell so, dass es effizienter auf GPUs läuft. Dabei werden Methoden wie die Reduzierung der precision eingesetzt. Dies bedeutet die Verwendung von Formaten mit geringerer Bitbreite, wie 16-Bit-Gleitkommazahlen (FP16) oder 8-Bit-Ganzzahlen (INT8), zur Darstellung von Modelldaten, wodurch der Speicherbedarf sinkt und Berechnungen bei minimalen Einbußen bei der Genauigkeit beschleunigt werden.

Zudem werden kompatible neuronale Netzwerkschichten in optimierten TensorRT Modellen verschmolzen (Fused), um den Speicherverbrauch zu senken, was zu einer schnelleren und effizienteren Inferenz führt.

Fig 2. Ein Blick auf die Layer-Fusion-Technik von TensorRT.

Hauptmerkmale des TensorRT Exportformats#

Bevor wir besprechen, wie du Ultralytics YOLO11 über die TensorRT-Integration exportieren kannst, schauen wir uns einige Hauptmerkmale des TensorRT-Modellformats an:

• Einfache Framework-Integration: TensorRT unterstützt die direkte Einbindung gängiger KI Frameworks wie PyTorch, Hugging Face und ONNX und bietet eine bis zu 6-fach schnellere Performance. Es unterstützt außerdem MATLAB und ermöglicht die Entwicklung von Hochgeschwindigkeits-KI-Engines auf Plattformen wie Jetson, NVIDIA DRIVE und in Rechenzentren.

• Skalierbares Deployment mit Triton: Modelle, die im TensorRT Format optimiert wurden, können im großen Stil mit dem NVIDIA Triton Inference Server deployed werden, welcher die Effizienz durch Funktionen wie Input Batching, gleichzeitige Modellausführung, Unterstützung von Modell-Ensembles und Echtzeit-Audio-/Video-Streaming verbessert.

• Flexibel über Geräte hinweg: Von kleinen Edge-Geräten bis hin zu leistungsstarken Servern funktioniert TensorRT im gesamten NVIDIA Ökosystem und unterstützt Tools wie DeepStream für Video, Riva für Sprach-KI und weitere für Cybersicherheit, Empfehlungssysteme und mehr.

Wie funktioniert die TensorRT Integration?#

Das Exportieren von Ultralytics YOLO models wie Ultralytics YOLO11 in das TensorRT Modellformat ist einfach. Gehen wir die einzelnen Schritte durch.

Um zu beginnen, kannst du das Ultralytics Python package über einen Paketmanager wie „pip“ installieren. Führe dazu den Befehl „pip install ultralytics“ in deiner Eingabeaufforderung oder deinem Terminal aus.

Nach der erfolgreichen Installation des Ultralytics Python package kannst du Modelle für verschiedene Computer-Vision-Aufgaben wie Objekterkennung, Klassifizierung und Instanzsegmentierung trainieren, testen, feinabstimmen, exportieren und deployen. Solltest du bei der Installation auf Schwierigkeiten stoßen, findest du in der Common Issues guide Lösungen und Tipps.

Für den nächsten Schritt benötigst du ein NVIDIA Gerät. Verwende den unten stehenden Code-Schnipsel, um YOLO11 zu laden und in das TensorRT Modellformat zu exportieren. Es lädt eine vortrainierte Nano-Variante des YOLO11 Modells (yolo11n.pt) und exportiert diese als TensorRT-Engine-Datei (yolo11n.engine), die für die Bereitstellung auf NVIDIA Geräten bereit ist.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="engine")

Nachdem du dein Modell in das TensorRT Format konvertiert hast, kannst du es für verschiedene Anwendungen bereitstellen.

Das folgende Beispiel zeigt, wie du das exportierte YOLO11-Modell (yolo11n.engine) lädst und eine Inferenz damit ausführst. Inferenz beinhaltet die Nutzung des trainierten Modells, um Vorhersagen für neue Daten zu treffen. In diesem Fall verwenden wir ein Eingangsbild eines Hundes, um das Modell zu testen.

tensorrt_model = YOLO("yolo11n.engine")
results = tensorrt_model("https://images.pexels.com/photos/1254140/pexels-photo-1254140.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Wenn du diesen Code ausführst, wird das folgende Ergebnisbild im Ordner runs/detect/predict gespeichert.

Abb. 3: Das Ergebnis der Ausführung einer Inferenz mit dem exportierten Ultralytics YOLO11-Modell im TensorRT-Format.

Wann solltest du die TensorRT Integration nutzen?#

Das Ultralytics Python package unterstützt verschiedene Integrationen, die das exporting von YOLO Modellen in verschiedene Formate wie TorchScript, CoreML, ONNX und TensorRT ermöglichen. Wann solltest du dich also für die TensorRT integration entscheiden?

Hier sind einige Faktoren, die das TensorRT Modellformat von anderen Export-integration-Optionen abheben:

• Kleinere Modellgröße: Der Export eines YOLO Modells in das TensorRT Format mit INT8 Präzision kann die Modellgröße erheblich reduzieren. Die Quantisierung von FP32 auf INT8 kann zu einer 4-fachen Verringerung der Modellgröße führen, was schnellere Downloadzeiten, geringeren Speicherbedarf und einen kleineren Arbeitsspeicher-Fußabdruck während der Bereitstellung ermöglicht.

• Geringerer Stromverbrauch: Die INT8 Quantisierung reduziert nicht nur die Modellgröße, sondern verringert auch den Stromverbrauch. Operationen mit reduzierter Präzision für in INT8 exportierte YOLO Modelle können weniger Strom verbrauchen als FP32 Modelle, was besonders für batteriebetriebene Geräte wie Drohnen, Smartphones oder Edge-Geräte von Vorteil ist.

• Schnellere Performance: Die Kombination der effizienten Architektur von YOLO mit der INT8 Optimierung von TensorRT kann die Inferenzgeschwindigkeit verbessern.

Anwendungen von Ultralytics YOLO11 und dem TensorRT-Modellformat#

Ultralytics YOLO Modelle, die in das TensorRT Format exportiert wurden, können in einer Vielzahl von realen Szenarien eingesetzt werden. Diese optimierten Modelle sind besonders nützlich, wenn schnelle und effiziente KI Leistung entscheidend ist. Lass uns einige interessante Beispiele für deren Anwendung erkunden.

Intelligente Kassen im Einzelhandel#

Eine breite Palette von Aufgaben im Einzelhandel, wie das Scannen von Barcodes, das Wiegen von Produkten oder das Verpacken von Artikeln, wird immer noch manuell vom Personal erledigt. Das alleinige Verlassen auf Mitarbeiter kann jedoch den Betrieb verlangsamen und bei Kunden zu Frustration führen, besonders an der Kasse. Lange Warteschlangen sind sowohl für Kunden als auch für Ladenbesitzer unangenehm. Intelligente Selbstbedienungskassen sind eine großartige Lösung für dieses Problem.

Diese Zähler nutzen Computer Vision und GPUs, um den Prozess zu beschleunigen, was dazu beiträgt, Wartezeiten zu verkürzen. Computer Vision befähigt diese Systeme, ihre Umgebung durch Aufgaben wie Objekterkennung zu sehen und zu verstehen. Fortgeschrittene Modelle wie Ultralytics YOLO11 können, wenn sie mit Tools wie TensorRT optimiert werden, auf GPU-Geräten wesentlich schneller ausgeführt werden.

Diese exportierten Modelle eignen sich hervorragend für Smart-Retail-Setups, die kompakte, aber leistungsstarke Hardwaregeräte wie den NVIDIA Jetson Nano nutzen, welcher speziell für Edge-KI-Anwendungen entwickelt wurde.

Fig 4. Ein Beispiel für eine intelligente Kasse.

Automatisierte Fehlererkennung in der Fertigung#

Ein Computer-Vision-Modell wie Ultralytics YOLO11 kann kundenspezifisch trainiert werden, um fehlerhafte Produkte in der Fertigungsindustrie zu erkennen. Nach dem Training kann das Modell für den Einsatz in Anlagen, die mit Hochleistungs-KI-Systemen ausgestattet sind, in das TensorRT-Format exportiert werden.

Während Produkte über Förderbänder transportieren, erfassen Kameras Bilder und das Ultralytics YOLO11-Modell, das im TensorRT-Format läuft, analysiert diese in Echtzeit, um Defekte zu erkennen. Dieser Aufbau ermöglicht es Unternehmen, Probleme schnell und präzise zu erkennen, Fehler zu reduzieren und die Effizienz zu steigern.

Ähnlich nutzen Branchen wie die Pharmaindustrie solche Systeme, um Fehler in medizinischen Verpackungen zu erkennen. Tatsächlich soll der globale Markt für intelligente defect detection systems bis 2026 auf 5 Milliarden US-Dollar anwachsen.

Fig 5. Verwendung von YOLO zur Defekterkennung in der Pharmaindustrie.

Überlegungen bei der Nutzung von TensorRT#

Obwohl die TensorRT Integration viele Vorteile wie schnellere Inferenzgeschwindigkeiten und reduzierte Latenz bietet, sind hier einige Einschränkungen zu beachten:

• Leichter Genauigkeitsverlust: Wenn du dein Modell im TensorRT Format exportierst, ist das exportierte Modell möglicherweise nicht ganz so präzise wie das Original. Performance metrics wie Präzision, Recall und die Fähigkeit des Modells, Objekte zu erkennen (mAP-Werte), können leicht abfallen. Dies kann durch die Verwendung eines repräsentativen Datensatzes während der Quantisierung abgemildert werden.

• Erhöhte Komplexität beim Debugging: Die durch TensorRT vorgenommenen Optimierungen können es schwieriger machen, Fehler nachzuvollziehen oder unerwartetes Verhalten zu verstehen, insbesondere beim Vergleich der Ergebnisse mit dem ursprünglichen Modell.

• Batch-Size-Sensitivität: Die Leistungssteigerungen durch TensorRT sind bei größeren Batch-Größen ausgeprägter. Bei Anwendungen, die einzelne Bilder oder kleine Batches verarbeiten, sind die Performance-Verbesserungen unter Umständen weniger signifikant.

Wichtige Erkenntnisse#

Der Export von Ultralytics YOLO Modellen in das TensorRT Format macht sie deutlich schneller und effizienter, was sie ideal für Echtzeit-Aufgaben macht, wie die Fehlererkennung in Fabriken, den Betrieb von Smart-Checkout-Systemen oder die Überwachung belebter städtischer Gebiete.

Diese Optimierung hilft den Modellen, auf NVIDIA GPUs besser zu funktionieren, indem Vorhersagen beschleunigt sowie Speicher- und Stromverbrauch reduziert werden. Trotz einiger Einschränkungen macht der Leistungsschub die TensorRT Integration zu einer hervorragenden Wahl für alle, die Hochgeschwindigkeits-Computer-Vision-Systeme auf NVIDIA Hardware aufbauen.

Möchtest du mehr über KI erfahren? Erkunde unser GitHub repository, vernetze dich mit our community und sieh dir our licensing options an, um dein Computer-Vision-Projekt zu starten. Erfahre mehr über Innovationen wie AI in manufacturing und computer vision in the logistics auf unseren Lösungsseiten.