TensorRT

TensorRT ist das SDK von NVIDIA für leistungsstarke Inferenz mit Deep Learning auf GPUs von NVIDIA. Es übernimmt ein trainiertes Netz, meist als ONNX-Datei, und kompiliert es in einer Erstellungsphase zu einer Engine, auch Plan-Datei genannt: einem GPU-spezifischen Programm, das Schichten zusammenführt, mit reduzierter Genauigkeit ausgeführt wird und die auf der Ziel-GPU als schnellste ermittelten Kernel verwendet. In der Laufzeitphase lädt eine Anwendung die Engine und führt sie aus – gewöhnlich mit geringerer Inferenzlatenz und höherem Durchsatz als das ursprüngliche Framework. TensorRT umfasst C++- und Python-Bibliotheken sowie das Befehlszeilenwerkzeug trtexec. Die aktuelle Hauptversion ist TensorRT 11; im Oktober 2026 ist Version 11.4 verfügbar.

So optimiert TensorRT ein Modell#

Der Builder wendet mehrere Optimierungen auf den Netzgraphen an:

• Zusammenführung von Schichten und Tensoren: Eine Faltung, ihr Bias und ihre Aktivierung werden zu einem Kernel zusammengefasst. Schichten, deren Ausgaben nie verwendet werden, entfallen, sodass Zwischenergebnisse auf dem Chip bleiben, anstatt wiederholt in den GPU-Speicher geschrieben und daraus gelesen zu werden.
• Reduzierte Genauigkeit: FP16 und BF16 halbieren den Speicherverkehr im Vergleich zu FP32; INT8 und FP8 halbieren ihn nochmals. INT4 (nur für Gewichte) und FP4 gehen auf neueren GPUs noch weiter – eine Form der Modellquantisierung. TensorRT 11 hat die Builder-Flags für FP16 und INT8 sowie die implizite INT8-Kalibrierung aus TensorRT 10 entfernt und verlangt stattdessen stark typisierte Netze. In diesen geben Cast-Knoten und Quantisierungs-Dequantisierungs-Paare die Genauigkeit jeder Schicht an. NVIDIAs Model Optimizer kann solche Knoten in eine ONNX-Datei einfügen.
• Automatische Kernel-Abstimmung: Für jede Schicht misst der Builder die Laufzeit möglicher Implementierungen, sogenannter Taktiken, auf der tatsächlichen GPU und behält die schnellste bei.
• Speicherplanung: Aktivierungspuffer werden für Schichten wiederverwendet, deren Lebensdauern sich nicht überschneiden. Dadurch sinkt der Speicherbedarf der Engine.
• Dynamische Formen: Optimierungsprofile mit minimalen, optimalen und maximalen Formen ermöglichen einer Engine, unterschiedliche Batch-Größen oder Bildauflösungen anzunehmen. Die Abstimmung erfolgt auf die optimale Form.

Das Erstellen einer Engine kann mehrere Minuten dauern, und das Ergebnis ist hardwareabhängig. Standardmäßig läuft eine Engine nur auf dem GPU-Typ, für den sie erstellt wurde, und mit derselben TensorRT-Version. Hardware- und versionskompatible Engines büßen etwas Geschwindigkeit zugunsten der Portierbarkeit ein. Bei Bereitstellungen bleiben daher die ONNX-Datei erhalten und die Engines werden auf den Zielsystemen erstellt:

Ein Modell nach TensorRT exportieren#

Ultralytics YOLO26-Modelle lassen sich mit model.export(format="engine") nach TensorRT exportieren. Dabei wird zunächst eine ONNX-Datei geschrieben und anschließend die Engine auf der lokalen GPU erstellt: mit FP16 über quantize=16 oder mit INT8 über quantize=8, kalibriert anhand von Bildern aus dem Datensatz data. Unter TensorRT 11 wendet der Export diese Genauigkeitsstufen über Model Optimizer an, da die stark typisierte API dies erfordert:

from ultralytics import YOLO

# Eine FP16-TensorRT-Engine auf der lokalen NVIDIA-GPU erstellen (schreibt yolo26n.engine)
model = YOLO("yolo26n.pt")
model.export(format="engine", quantize=16)

# Die Engine laden und über dieselbe API Inferenz ausführen
trt_model = YOLO("yolo26n.engine")
results = trt_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_tensorrt.jpg")

Das gespeicherte Bild zeigt die Erkennungen, die die FP16-Engine auf dem Busfoto erzeugt hat – über dieselbe Schnittstelle YOLO wie beim PyTorch-Modell.

TensorRT und verwandte Werkzeuge im Vergleich#

• ONNX: Das portable Modellformat, das TensorRT am häufigsten verwendet. Eine ONNX-Datei lässt sich in separate Engines für eine Rechenzentrums-GPU und ein eingebettetes Modul kompilieren.
• ONNX Runtime mit dem TensorRT-Ausführungsanbieter: Führt unterstützte Teilgraphen als TensorRT-Engines aus und greift für den Rest auf CUDA- oder CPU-Kernel zurück, wobei die ONNX-Runtime-API erhalten bleibt.
• PyTorch: Das Framework, mit dem die meisten Modelle trainiert werden. Torch-TensorRT kompiliert PyTorch-Modelle direkt mit TensorRT, ohne einen separaten ONNX-Schritt.
• Andere Inferenz-Engines: OpenVINO für Intel-Hardware, Core ML für Apple-Geräte und LiteRT für Android- und eingebettete Geräte erfüllen dieselbe Aufgabe auf anderen Chips.
• TensorRT-LLM: NVIDIAs quelloffene Bibliothek für die Inferenz mit großen Sprachmodellen. Sie basiert inzwischen auf PyTorch und bietet optimierte Attention-Kernel, Quantisierung, spekulative Dekodierung und Parallelisierung über mehrere GPUs.

Anwendungen in der Praxis#

• Videoanalyse: NVIDIAs DeepStream SDK führt TensorRT-Engines in Mehrkamera-Pipelines für Analysen im Einzelhandel, im Verkehr und im Sicherheitsbereich aus, in denen sich viele Streams eine GPU teilen.
• Industrielle Inspektion: Kameras an schnellen Fertigungslinien benötigen Echtzeitinferenz innerhalb der Zeit, in der ein Teil im Sichtfeld ist. Engines mit reduzierter Genauigkeit ermöglichen dies auf kompakten GPUs.
• Autonome Fahrzeuge: Wahrnehmungsnetze für autonome Fahrzeuge laufen als TensorRT-Engines auf NVIDIA-DRIVE-Plattformen wie DRIVE AGX Orin und Thor.
• Robotik und Edge-Geräte: NVIDIA-Jetson-Module werden mit TensorRT als Teil von JetPack ausgeliefert. TensorRT 11.4 unterstützt JetPack nicht. Deshalb erstellen Jetson-Bereitstellungen ihre Engines mit der TensorRT-10-Version, die von ihrer JetPack-Version bereitgestellt wird.