TensorRT
探索 TensorRT 如何为 NVIDIA GPU 优化深度学习模型。学习如何将 Ultralytics YOLO26 导出到 TensorRT，以立即实现低延迟、高速推理。
TensorRT 是由 NVIDIA 开发的高性能深度学习推理软件开发工具包 (SDK)。它旨在优化神经网络模型以进行部署，为深度学习应用程序提供低 inference latency 和高吞吐量。作为一种优化编译器，TensorRT 可以获取来自 PyTorch 和 TensorFlow 等主流框架的训练网络，并对它们进行重构，以便在 NVIDIA GPUs 上高效执行。这一能力对于在速度和效率至关重要的生产环境中运行复杂的 AI 模型至关重要。
Link to this sectionTensorRT 如何优化模型#
TensorRT 的核心功能是将训练好的神经网络转换为专门针对目标硬件调整的“引擎”。它通过几种先进技术来实现这一点：
- 层融合 (Layer Fusion)： 优化器将 neural network 的多个层合并为单个内核，从而减少内存访问开销并提高执行速度。
- 精度校准 (Precision Calibration)： TensorRT 支持降低精度模式，例如 mixed precision (FP16) 和整数位量化 (INT8)。通过减少用于表示数字的位数（通常在精度损失最小的情况下），开发人员可以显著加快数学运算并减少内存占用。这是一种 model quantization 形式。
- 内核自动调优 (Kernel Auto-Tuning)： 该软件会自动为所使用的特定 GPU 架构选择最佳数据层和算法，从而通过 CUDA 最大程度地利用硬件的并行处理能力。
Link to this section实际应用#
由于 TensorRT 能够以极小的延迟处理海量数据，它被广泛应用于依赖 computer vision 和对时间敏感的复杂 AI 任务的行业中。
-
自动驾驶系统： 在 AI in automotive 领域，自动驾驶汽车必须处理来自多个摄像头的视频流，以便即时检测行人、标志和障碍物。使用 TensorRT，像 object detection 网络这样的感知模型可以在几毫秒内分析帧，使车辆的控制系统能够在无延迟的情况下做出安全关键决策。
-
工业自动化： 现代工厂将 AI in manufacturing 用于自动光学检测。高速摄像头捕获装配线上的产品图像，而经过 TensorRT 优化的模型可以实时识别缺陷或异常。这确保了质量控制能够跟上高速生产环境的节奏，并通常直接部署在工厂车间的 edge AI 设备（如 NVIDIA Jetson 平台）上。
Link to this section在 Ultralytics YOLO 中使用 TensorRT#
使用现代 AI 工具，将 TensorRT 集成到你的工作流程中非常简单。ultralytics 包提供了一种将标准 PyTorch 模型转换为 TensorRT 引擎的无缝方法。这使用户能够利用 Ultralytics YOLO26 的尖端架构以及 NVIDIA GPUs 的硬件加速能力。对于希望在导出之前管理数据集和训练流水线的团队，Ultralytics Platform 提供了一个综合环境，为这种高性能部署准备模型。
以下示例演示了如何将 YOLO26 模型导出为 TensorRT 引擎文件 (.engine) 并将其用于 real-time inference：
from ultralytics import YOLO
# Load the latest stable YOLO26 model (nano size)
model = YOLO("yolo26n.pt")
# Export the model to TensorRT format (creates 'yolo26n.engine')
# This step optimizes the computational graph for your specific GPU
model.export(format="engine")
# Load the optimized TensorRT engine for high-speed inference
trt_model = YOLO("yolo26n.engine")
# Run inference on an image source
results = trt_model("https://ultralytics.com/images/bus.jpg")Link to this sectionTensorRT 与 ONNX 和训练框架的对比#
区分 TensorRT 与 model deployment 领域中经常听到的其他术语非常重要：
- 与 PyTorch/TensorFlow 的对比： 像 PyTorch 这样的框架主要用于模型 训练 和研究，提供了灵活性和易调试性。TensorRT 是专门设计用于尽可能快地执行训练后模型的 推理引擎。它不用于训练。
- 与 ONNX 的对比： ONNX (Open Neural Network Exchange) 格式充当了框架之间的中间桥梁。虽然 ONNX 提供了互操作性（例如，将模型从 PyTorch 迁移到另一个平台），但 TensorRT 专注于硬件特定的优化。通常，模型首先被转换为 ONNX，然后由 TensorRT 解析以生成最终引擎。
对于旨在最大化其 AI agents 或视觉系统性能的开发人员来说，了解从训练框架到类似 TensorRT 这样优化运行时环境的过渡，是迈向专业 MLOps 的关键一步。
