TensorRT 통합으로 Ultralytics YOLO 모델 최적화하기

인도가 혼잡한 도로를 주행하는 자율주행 자동차를 생각해 보겠습니다. 연석에서 내려서는 보행자를 감지할 수 있는 시간은 불과 몇 밀리초뿐입니다. 동시에 나무에 부분적으로 가려진 정지 표지판을 인식하거나, 인접 차량이 자신의 차선으로 갑자기 진입할 때 신속하게 대응해야 할 수도 있습니다. 이러한 상황에서는 속도와 실시간 응답이 매우 중요합니다.

이러한 상황에서 인공지능 (AI), 특히 기계가 시각 데이터를 해석하도록 돕는 인공지능의 한 분야인 컴퓨터 비전이 핵심적인 역할을 합니다. 컴퓨터 비전 솔루션이 실제 환경에서 안정적으로 작동하려면 정보를 빠르게 처리하고, 여러 작업을 동시에 수행하며, 메모리를 효율적으로 사용해야 하는 경우가 많습니다.

이를 달성하는 한 가지 방법은 그래픽 처리 장치 (GPUs)와 같은 특수 장치를 사용해 모델을 더 빠르게 실행하는 하드웨어 가속입니다. NVIDIA GPUs는 낮은 지연 시간과 높은 처리량을 제공할 수 있어 이러한 작업에 특히 적합한 것으로 잘 알려져 있습니다.

그러나 모델을 GPU에서 그대로 실행한다고 해서 항상 최적의 성능이 보장되는 것은 아닙니다. 비전 AI 모델은 일반적으로 하드웨어 장치의 성능을 최대한 활용하기 위해 최적화가 필요합니다. 특정 하드웨어에서 최대 성능을 내려면 해당 하드웨어의 특정 명령어 집합을 사용하도록 모델을 컴파일해야 합니다.

예를 들어 TensorRT는 고성능 시스템에서 성능을 향상하기 위해 NVIDIA가 개발한 export 형식이자 최적화 라이브러리입니다. 정확도를 유지하면서 고급 기법을 사용해 추론 시간을 크게 줄입니다.

그림 1. NVIDIA TensorRT를 통해 다양한 NVIDIA 장치에서 모델을 최적으로 실행합니다.

이 글에서는 Ultralytics가 지원하는 TensorRT 통합을 살펴보고, NVIDIA 하드웨어에 더 빠르고 효율적으로 배포할 수 있도록 YOLO11 모델을 export하는 방법을 단계별로 알아봅니다. 시작해 보겠습니다!

TensorRT 개요#

TensorRT는 AI 모델이 NVIDIA GPUs에서 더 빠르고 효율적으로 실행되도록 지원하기 위해 NVIDIA가 개발한 툴킷입니다. 자율주행 자동차, 제조 및 제약 산업의 품질 관리처럼 속도와 성능이 매우 중요한 실제 애플리케이션을 위해 설계되었습니다.

TensorRT에는 컴파일러와 모델 최적화 도구 등이 포함되어 있어 모델이 낮은 지연 시간으로 실행되고 더 높은 처리량을 처리할 수 있도록 백그라운드에서 지원합니다.

Ultralytics가 지원하는 TensorRT 통합은 정밀도 감소와 같은 방법을 사용해 YOLO 모델이 GPU에서 더 효율적으로 실행되도록 최적화합니다. 이는 16비트 부동 소수점 (FP16) 또는 8비트 정수 (INT8)와 같은 낮은 비트 형식을 사용해 모델 데이터를 표현하는 것을 의미합니다. 이를 통해 정확도에 미치는 영향을 최소화하면서 메모리 사용량을 줄이고 연산 속도를 높일 수 있습니다.

또한 최적화된 TensorRT 모델에서는 호환되는 신경망 레이어를 융합해 메모리 사용량을 줄이므로 더 빠르고 효율적인 추론이 가능합니다.

그림 2. TensorRT의 레이어 융합 기법 살펴보기

TensorRT export 형식의 주요 기능#

TensorRT 통합을 사용해 Ultralytics YOLO11을 export하는 방법을 설명하기 전에 TensorRT 모델 형식의 주요 기능을 살펴보겠습니다.

• 간편한 프레임워크 통합: TensorRT는 PyTorch, Hugging Face, ONNX와 같은 인기 AI 프레임워크와의 직접 통합을 지원해 최대 6배 더 빠른 성능을 제공합니다. 또한 MATLAB을 지원하므로 Jetson, NVIDIA DRIVE, 데이터 센터와 같은 플랫폼에서 고속 AI 엔진을 개발할 수 있습니다.

• Triton을 통한 확장 가능한 배포: TensorRT 형식으로 최적화된 모델은 NVIDIA Triton Inference Server를 사용해 대규모로 배포할 수 있습니다. 입력 배칭, 동시 모델 실행, 모델 앙상블 지원, 실시간 오디오/비디오 스트리밍 등의 기능을 통해 효율성을 향상합니다.

• 장치 전반의 유연성: 소형 엣지 장치부터 강력한 서버까지 TensorRT는 전체 NVIDIA 생태계에서 작동하며, 비디오용 DeepStream, 음성 AI용 Riva, 사이버 보안 및 추천 등을 위한 다양한 도구를 지원합니다.

TensorRT 통합은 어떻게 작동하나요?#

Ultralytics YOLO11과 같은 Ultralytics YOLO 모델을 TensorRT 모델 형식으로 export하는 작업은 간단합니다. 관련 단계를 살펴보겠습니다.

시작하려면 ‘pip’와 같은 패키지 매니저를 사용해 Ultralytics Python 패키지를 설치하면 됩니다. 명령 프롬프트나 터미널에서 “pip install ultralytics” 명령을 실행하면 설치할 수 있습니다.

Ultralytics Python 패키지를 성공적으로 설치하면 객체 감지, 분류, 인스턴스 세그멘테이션과 같은 다양한 컴퓨터 비전 작업을 위한 모델을 학습, 테스트, 파인튜닝, export 및 배포할 수 있습니다. 패키지를 설치하는 동안 문제가 발생하면 일반적인 문제 가이드에서 해결 방법과 팁을 확인할 수 있습니다.

다음 단계에서는 NVIDIA 장치가 필요합니다. 아래 코드 스니펫을 사용해 YOLO11을 로드하고 TensorRT 모델 형식으로 export합니다. 이 코드는 YOLO11 모델의 사전 학습된 nano 변형 (yolo11n.pt)을 로드하고 TensorRT 엔진 파일 (yolo11n.engine)로 export하여 NVIDIA 장치 전반에 배포할 수 있도록 준비합니다.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="engine")

모델을 TensorRT 형식으로 변환한 후 다양한 애플리케이션에 배포할 수 있습니다.

아래 예제에서는 export된 YOLO11 모델 (yolo11n.engine)을 로드하고 이를 사용해 추론을 실행하는 방법을 보여줍니다. 추론은 학습된 모델을 사용해 새로운 데이터에 대한 예측을 수행하는 과정입니다. 이 경우 개의 입력 이미지를 사용해 모델을 테스트합니다.

tensorrt_model = YOLO("yolo11n.engine")
results = tensorrt_model("https://images.pexels.com/photos/1254140/pexels-photo-1254140.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

이 코드를 실행하면 다음 출력 이미지가 runs/detect/predict 폴더에 저장됩니다.

그림 3. TensorRT 형식으로 export된 Ultralytics YOLO11 모델을 사용해 추론을 실행한 결과입니다.

TensorRT 통합을 활용해야 하는 경우#

Ultralytics Python 패키지는 YOLO 모델을 TorchScript, CoreML, ONNX, TensorRT와 같은 다양한 형식으로 export할 수 있도록 여러 통합 기능을 지원합니다. 그렇다면 TensorRT 통합은 언제 선택해야 할까요?

TensorRT 모델 형식이 다른 export 통합 옵션과 차별화되는 몇 가지 요소는 다음과 같습니다.

• 더 작은 모델 크기: INT8 정밀도를 사용해 YOLO 모델을 TensorRT 형식으로 export하면 모델 크기를 크게 줄일 수 있습니다. FP32에서 INT8로 양자화하면 모델 크기를 4배 줄일 수 있어 다운로드 시간을 단축하고, 스토리지 요구 사항을 낮추며, 배포 중 메모리 공간을 줄일 수 있습니다.

• 낮은 전력 사용량: INT8 양자화는 모델 크기뿐만 아니라 전력 소비도 줄입니다. INT8로 export된 YOLO 모델의 낮은 정밀도 연산은 FP32 모델보다 적은 전력을 소비할 수 있어 드론, 스마트폰 또는 엣지 장치와 같은 배터리 구동 장치에 특히 유용합니다.

• 더 빠른 성능: YOLO의 효율적인 아키텍처와 TensorRT의 INT8 최적화를 결합하면 추론 속도를 향상할 수 있습니다.

Ultralytics YOLO11 및 TensorRT 모델 형식의 애플리케이션#

TensorRT 형식으로 export된 Ultralytics YOLO 모델은 다양한 실제 시나리오에 배포할 수 있습니다. 이러한 최적화 모델은 빠르고 효율적인 AI 성능이 핵심인 환경에 특히 유용합니다. 활용할 수 있는 흥미로운 사례를 살펴보겠습니다.

소매점의 스마트 계산대#

소매점에서는 바코드 스캔, 제품 무게 측정, 상품 포장과 같은 다양한 작업을 여전히 직원이 수동으로 처리합니다. 그러나 직원에게만 의존하면 운영이 느려지고 고객 불만이 발생할 수 있으며, 특히 계산대에서 이러한 문제가 두드러집니다. 긴 대기 줄은 쇼핑객과 매장 운영자 모두에게 불편합니다. 스마트 무인 계산대는 이러한 문제를 해결하는 훌륭한 방법입니다.

이러한 계산대는 컴퓨터 비전과 GPUs를 사용해 처리 속도를 높이고 대기 시간을 줄이는 데 도움을 줍니다. 컴퓨터 비전을 통해 이러한 시스템은 객체 감지와 같은 작업으로 주변 환경을 보고 이해할 수 있습니다. TensorRT와 같은 도구로 최적화된 Ultralytics YOLO11과 같은 고급 모델은 GPU 장치에서 훨씬 빠르게 실행될 수 있습니다.

이러한 export 모델은 엣지 AI 애플리케이션을 위해 특별히 설계된 NVIDIA Jetson Nano와 같은 작지만 강력한 하드웨어 장치를 사용하는 스마트 소매 환경에 적합합니다.

그림 4. 스마트 계산대의 예입니다.

제조 분야의 자동 결함 감지#

Ultralytics YOLO11과 같은 컴퓨터 비전 모델은 제조 산업에서 결함 제품을 감지하도록 커스텀 학습할 수 있습니다. 학습이 완료되면 고성능 AI 시스템을 갖춘 시설에 배포할 수 있도록 모델을 TensorRT 형식으로 export할 수 있습니다.

제품이 컨베이어 벨트를 따라 이동하면 카메라가 이미지를 촬영하고, TensorRT 형식으로 실행되는 Ultralytics YOLO11 모델이 이를 실시간으로 분석해 결함을 찾아냅니다. 이러한 설정을 통해 기업은 문제를 빠르고 정확하게 파악하여 오류를 줄이고 효율성을 높일 수 있습니다.

이와 마찬가지로 제약 산업에서는 이러한 유형의 시스템을 사용해 의료용 포장재의 결함을 식별하고 있습니다. 실제로 전 세계 스마트 결함 감지 시스템 시장은 2026년까지 50억 달러 규모로 성장할 전망입니다.

그림 5. 제약 산업에서 결함을 감지하는 YOLO 사용 사례입니다.

TensorRT 사용 시 고려 사항#

TensorRT 통합은 더 빠른 추론 속도와 낮은 지연 시간 등 많은 이점을 제공하지만, 다음과 같은 몇 가지 제한 사항을 고려해야 합니다.

• 정확도의 소폭 저하: 모델을 TensorRT 형식으로 export하면 export된 모델의 정확도가 원본보다 낮아질 수 있습니다. 정밀도, 재현율, 모델의 객체 감지 성능(mAP 점수)과 같은 성능 지표가 소폭 하락할 수 있습니다. 양자화 중 대표 데이터셋을 사용하면 이러한 문제를 완화할 수 있습니다.

• 디버깅 복잡성 증가: TensorRT가 수행하는 최적화로 인해 오류를 추적하거나 예기치 않은 동작을 이해하기가 더 어려워질 수 있으며, 특히 원본 모델과 결과를 비교할 때 그렇습니다.

• 배치 크기 민감도: TensorRT의 성능 향상은 배치 크기가 클수록 두드러집니다. 단일 이미지 또는 소규모 배치를 처리하는 애플리케이션에서는 성능 향상이 크지 않을 수 있습니다.

핵심 요점#

Ultralytics YOLO 모델을 TensorRT 형식으로 export하면 훨씬 빠르고 효율적으로 실행할 수 있어 공장에서 결함을 감지하거나, 스마트 계산대 시스템을 구동하거나, 혼잡한 도시 지역을 모니터링하는 것과 같은 실시간 작업에 적합합니다.

이러한 최적화를 통해 예측 속도를 높이고 메모리 및 전력 사용량을 줄여 NVIDIA GPUs에서 모델이 더 나은 성능을 발휘할 수 있습니다. 몇 가지 제한 사항이 있지만 성능 향상 덕분에 TensorRT 통합은 NVIDIA 하드웨어에서 고속 컴퓨터 비전 시스템을 구축하는 모든 사용자에게 훌륭한 선택입니다.

AI에 대해 더 알아보고 싶으신가요? GitHub 리포지토리를 살펴보고, 커뮤니티에 참여하며, 라이선스 옵션을 확인하여 컴퓨터 비전 프로젝트를 시작해 보세요. 솔루션 페이지에서 제조 분야의 AI 및 물류 산업의 컴퓨터 비전과 같은 혁신에 대해 자세히 알아볼 수 있습니다.