TensorRT

TensorRT est un kit de développement logiciel (SDK) d'inférence de deep learning haute performance développé par NVIDIA. Il est conçu pour optimiser les modèles de réseaux neuronaux pour le déploiement, offrant une faible latence d'inférence et un débit élevé pour les applications de deep learning. En agissant comme un compilateur d'optimisation, TensorRT prend les réseaux entraînés à partir de frameworks populaires comme PyTorch et TensorFlow et les restructure pour une exécution efficace sur les GPU NVIDIA. Cette capacité est cruciale pour faire fonctionner des modèles d'IA complexes dans des environnements de production où la vitesse et l'efficacité sont primordiales.

Link to this sectionComment TensorRT optimise les modèles#

La fonction principale de TensorRT est de convertir un réseau neuronal entraîné en un "moteur" optimisé spécifiquement ajusté pour le matériel cible. Il y parvient grâce à plusieurs techniques avancées :

• Fusion de couches : L'optimiseur combine plusieurs couches d'un réseau neuronal en un seul noyau, réduisant la surcharge d'accès à la mémoire et améliorant la vitesse d'exécution.
• Calibration de précision : TensorRT prend en charge des modes de précision réduite, tels que la précision mixte (FP16) et la quantification d'entiers (INT8). En réduisant le nombre de bits utilisés pour représenter les nombres — souvent avec une perte de précision minimale — tu peux accélérer considérablement les opérations mathématiques et réduire l'utilisation de la mémoire. Il s'agit d'une forme de quantification de modèle.
• Auto-ajustement du noyau : Le logiciel sélectionne automatiquement les meilleures couches de données et les meilleurs algorithmes pour l'architecture GPU spécifique utilisée, assurant une utilisation maximale des capacités de traitement parallèle du matériel via CUDA.

Link to this sectionApplications concrètes#

Grâce à sa capacité à traiter d'énormes quantités de données avec un délai minimal, TensorRT est largement adopté dans les secteurs s'appuyant sur la vision par ordinateur et les tâches d'IA complexes où le timing est critique.

1. Systèmes autonomes : Dans le domaine de l'IA dans l'automobile, les voitures autonomes doivent traiter les flux vidéo de plusieurs caméras pour détecter instantanément les piétons, les panneaux et les obstacles. En utilisant TensorRT, les modèles de perception comme les réseaux de détection d'objets peuvent analyser les images en quelques millisecondes, permettant au système de contrôle du véhicule de prendre des décisions critiques pour la sécurité sans latence.

2. Automatisation industrielle : Les usines modernes utilisent l'IA dans la fabrication pour l'inspection optique automatisée. Des caméras à haute vitesse capturent des images de produits sur les lignes d'assemblage, et les modèles optimisés par TensorRT identifient les défauts ou les anomalies en temps réel. Cela garantit que le contrôle qualité suit le rythme des environnements de production à haute vitesse, souvent en déployant sur des appareils d'edge AI comme la plateforme NVIDIA Jetson directement sur le site de production.

Link to this sectionUtiliser TensorRT avec Ultralytics YOLO#

Intégrer TensorRT dans ton flux de travail est simple avec les outils d'IA modernes. Le package ultralytics fournit une méthode transparente pour convertir les modèles PyTorch standard en moteurs TensorRT. Cela permet aux utilisateurs de tirer parti de l'architecture de pointe d'Ultralytics YOLO26 avec l'accélération matérielle des GPU NVIDIA. Pour les équipes cherchant à gérer leurs jeux de données et leurs pipelines d'entraînement avant l'exportation, la Plateforme Ultralytics offre un environnement complet pour préparer les modèles à un tel déploiement haute performance.

L'exemple suivant montre comment exporter un modèle YOLO26 vers un fichier de moteur TensorRT (.engine) et l'utiliser pour l'inférence en temps réel :

from ultralytics import YOLO

# Load the latest stable YOLO26 model (nano size)
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format (creates 'yolo26n.engine')
# This step optimizes the computational graph for your specific GPU
model.export(format="engine")

# Load the optimized TensorRT engine for high-speed inference
trt_model = YOLO("yolo26n.engine")

# Run inference on an image source
results = trt_model("https://ultralytics.com/images/bus.jpg")

Link to this sectionTensorRT vs ONNX vs Frameworks d'entraînement#

Il est important de distinguer TensorRT des autres termes souvent entendus dans le paysage du déploiement de modèles :

• Vs. PyTorch/TensorFlow : Les frameworks comme PyTorch sont principalement conçus pour l'entraînement de modèles et la recherche, offrant flexibilité et facilité de débogage. TensorRT est un moteur d'inférence conçu uniquement pour exécuter des modèles entraînés aussi vite que possible. Il n'est pas utilisé pour l'entraînement.
• Vs. ONNX : Le format ONNX (Open Neural Network Exchange) agit comme un pont intermédiaire entre les frameworks. Alors qu'ONNX fournit une interopérabilité (par ex., déplacer un modèle de PyTorch vers une autre plateforme), TensorRT se concentre sur l'optimisation spécifique au matériel. Souvent, un modèle est d'abord converti en ONNX, puis analysé par TensorRT pour générer le moteur final.

Pour les développeurs souhaitant maximiser les performances de leurs agents IA ou systèmes de vision, comprendre la transition d'un framework d'entraînement vers un runtime optimisé comme TensorRT est une étape clé du MLOps professionnel.