TensorRT

TensorRT는 NVIDIA GPU에서 고성능 딥러닝 추론을 수행하기 위한 NVIDIA의 SDK입니다. 학습된 네트워크를 보통 ONNX 파일 형태로 입력받아 빌드 단계에서 엔진(플랜 파일이라고도 함)으로 컴파일합니다. 엔진은 GPU별 프로그램으로, 레이어를 융합하고 저정밀도로 실행하며 대상 GPU에서 측정한 가장 빠른 커널을 사용합니다. 런타임 단계에서는 애플리케이션이 엔진을 로드하고 실행하며, 일반적으로 원래 프레임워크보다 추론 지연 시간은 낮고 처리량은 높습니다. TensorRT는 C++ 및 Python 라이브러리와 trtexec 명령줄 도구로 제공되며, 현재 메이저 버전은 TensorRT 11이고 2026년 10월 기준 릴리스는 11.4입니다.

TensorRT의 모델 최적화 방식#

빌더는 네트워크 그래프에 여러 최적화를 적용합니다.

• 레이어 및 텐서 융합: 컨볼루션, 해당 편향, 활성화 함수가 하나의 커널로 결합됩니다. 출력이 사용되지 않는 레이어는 제거되므로 중간 결과를 GPU 메모리로 왕복하는 대신 칩 내부에 유지할 수 있습니다.
• 저정밀도: FP16과 BF16은 FP32에 비해 메모리 트래픽을 절반으로 줄이고, INT8과 FP8은 이를 다시 절반으로 줄입니다. 가중치에만 적용되는 INT4와 FP4는 최신 GPU에서 더 높은 절감 효과를 내는 모델 양자화의 한 형태입니다. TensorRT 11에서는 TensorRT 10의 FP16 및 INT8 빌더 플래그와 암시적 INT8 보정이 제거되었습니다. 대신 캐스트 노드와 양자화-역양자화 쌍으로 각 레이어의 정밀도를 지정하는 강한 타입 네트워크가 필요합니다. NVIDIA의 Model Optimizer는 이러한 노드를 ONNX 파일에 삽입할 수 있습니다.
• 커널 자동 튜닝: 빌더는 각 레이어의 후보 구현(전술이라고 함)을 실제 GPU에서 측정하고 가장 빠른 구현을 선택합니다.
• 메모리 계획: 수명이 겹치지 않는 레이어 간에 활성화 버퍼를 재사용하여 엔진의 메모리 사용량을 줄입니다.
• 동적 형태: 최소, 최적, 최대 형태를 지정하는 최적화 프로파일을 사용하면 하나의 엔진이 다양한 배치 크기나 이미지 해상도를 처리할 수 있으며, 최적 형태에 맞춰 튜닝됩니다.

엔진 빌드에는 몇 분이 걸릴 수 있으며, 결과물은 하드웨어에 종속됩니다. 기본적으로 엔진은 빌드에 사용한 GPU 유형과 동일한 TensorRT 버전에서만 실행됩니다. 하드웨어 및 버전 호환 엔진은 이식성을 위해 일부 속도를 희생합니다. 따라서 배포 환경에서는 ONNX 파일을 보관하고 실제 실행 환경에서 엔진을 빌드합니다.

모델을 TensorRT로 내보내기#

Ultralytics YOLO26 모델은 model.export(format="engine")를 사용해 TensorRT로 내보낼 수 있습니다. 이 명령은 먼저 ONNX 파일을 작성한 다음 로컬 GPU에서 엔진을 빌드합니다. FP16은 quantize=16, INT8은 quantize=8를 사용하며, INT8은 data 데이터셋의 이미지로 보정합니다. TensorRT 11에서는 강한 타입 API의 요구 사항에 따라 Model Optimizer를 통해 이러한 정밀도를 적용합니다.

from ultralytics import YOLO

# 로컬 NVIDIA GPU에서 FP16 TensorRT 엔진 빌드(yolo26n.engine 작성)
model = YOLO("yolo26n.pt")
model.export(format="engine", quantize=16)

# 동일한 API를 통해 엔진을 로드하고 추론 실행
trt_model = YOLO("yolo26n.engine")
results = trt_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_tensorrt.jpg")

저장된 이미지는 PyTorch 모델과 동일한 YOLO 인터페이스를 통해 FP16 엔진이 버스 사진에서 생성한 감지 결과를 보여 줍니다.

TensorRT와 관련 도구 비교#

• ONNX: TensorRT가 가장 자주 사용하는 이식 가능한 모델 형식입니다. 하나의 ONNX 파일을 데이터센터 GPU용 엔진과 임베디드 모듈용 엔진으로 각각 컴파일할 수 있습니다.
• TensorRT 실행 공급자를 사용하는 ONNX Runtime: TensorRT가 지원하는 하위 그래프는 TensorRT 엔진으로 실행하고, 나머지는 CUDA 또는 CPU 커널로 처리하므로 ONNX Runtime API를 그대로 사용할 수 있습니다.
• PyTorch: 대부분의 모델을 학습하는 프레임워크입니다. Torch-TensorRT는 별도의 ONNX 단계를 거치지 않고 PyTorch 모델을 TensorRT로 직접 컴파일합니다.
• 기타 추론 엔진: Intel 하드웨어용 OpenVINO, Apple 기기용 Core ML, Android 및 임베디드 기기용 LiteRT는 다른 칩에서 같은 역할을 합니다.
• TensorRT-LLM: 최적화된 어텐션 커널, 양자화, 추측 디코딩, 멀티 GPU 병렬 처리를 제공하는 NVIDIA의 오픈 소스 대규모 언어 모델 추론 라이브러리이며, 현재 PyTorch 기반으로 설계되었습니다.

실제 적용 사례#

• 비디오 분석: NVIDIA의 DeepStream SDK는 TensorRT 엔진을 다중 카메라 파이프라인에서 실행합니다. 이 파이프라인은 여러 스트림이 하나의 GPU를 공유하는 소매, 교통, 보안 분석에 사용됩니다.
• 산업 검사: 고속 생산 라인의 카메라는 각 부품이 시야에 머무는 시간 안에 실시간 추론을 수행해야 하며, 저정밀도 엔진을 사용하면 소형 GPU에서도 이를 구현할 수 있습니다.
• 자율주행차: 자율주행차의 인식 네트워크는 DRIVE AGX Orin 및 Thor와 같은 NVIDIA DRIVE 플랫폼에서 TensorRT 엔진으로 실행됩니다.
• 로보틱스 및 엣지 디바이스: NVIDIA Jetson 모듈에는 TensorRT가 JetPack과 함께 제공됩니다.