NVIDIA Jetson Orin Nano Super에서의 Ultralytics YOLO11: 빠르고 효율적인 성능

2024년 12월 17일에 출시된 NVIDIA Jetson Orin Nano Super Developer Kit는 고급 기능을 엣지 컴퓨팅에 제공하도록 설계된 작지만 강력한 생성형 AI 슈퍼컴퓨터입니다. 실시간 처리를 지원하며 클라우드 컴퓨팅이 필요하지 않습니다. NVIDIA Jetson Orin Nano Super를 사용하면 개발자가 로컬 환경에서 효율적으로 작동하는 경제적인 지능형 시스템을 구축할 수 있습니다.

Ultralytics YOLO 모델을 Ultralytics YOLO11과 같이 사용하면 Jetson Orin Nano Super에서 다양한 비전 AI 애플리케이션을 엣지에서 처리할 수 있습니다. 특히 YOLO11은 객체 감지, 객체 추적, 인스턴스 세분화와 같은 작업에서 속도와 정확도로 잘 알려진 컴퓨터 비전 모델입니다.

Ultralytics YOLO11의 기능을 키트의 강력한 GPU (그래픽 처리 장치) 및 PyTorch, ONNX, NVIDIA TensorRT와 같은 프레임워크 지원과 결합하면 고성능 배포가 가능합니다. 이 조합은 로보틱스의 객체 감지부터 스마트 공간 및 소매 시스템의 실시간 객체 추적까지, 개발자가 AI 애플리케이션을 구축할 수 있는 효율적인 솔루션을 제공합니다.

이 글에서는 NVIDIA Jetson Orin Nano Super Developer Kit, Ultralytics YOLO11과 함께 엣지 AI를 구현하는 방법, 성능 벤치마크, 실제 애플리케이션, 그리고 개발자가 비전 AI 프로젝트를 구축하는 데 이를 활용할 수 있는 방법을 살펴봅니다. 시작해 보겠습니다!

NVIDIA Jetson Orin Nano Super Developer Kit란 무엇인가요?#

NVIDIA Jetson Orin Nano Super Developer Kit는 소형 엣지 디바이스에서 생성형 AI의 새로운 기준을 제시하는 작지만 강력한 컴퓨터입니다. 최대 67 TOPS (초당 수조 회 연산)의 AI 성능을 제공하므로 고급 AI 프로젝트를 진행하는 개발자, 학생, 취미 개발자에게 이상적입니다.

주요 기능은 다음과 같습니다.

• GPU 성능: 이 디바이스는 1,024개의 CUDA 코어와 32개의 Tensor 코어를 포함하는 NVIDIA Ampere 아키텍처 GPU를 기반으로 합니다. CUDA 코어는 여러 작업을 동시에 처리하여 복잡한 연산을 가속하고, Tensor 코어는 딥러닝과 같은 AI 작업에 특화되어 있습니다.
• 강력한 CPU: 속도와 효율성의 균형을 고려해 설계된 6코어 Arm Cortex-A78AE 프로세서를 탑재했습니다. 에너지 사용량을 낮게 유지하면서 여러 작업을 원활하게 처리할 수 있습니다. 이는 대규모 전원 공급원에 대한 접근 없이 로컬에서 실행되는 시스템에 중요합니다.
• 효율적인 메모리: 이 키트에는 8GB LPDDR5 (저전력 더블 데이터 레이트 5) 메모리가 탑재되어 있습니다. LPDDR5는 속도와 에너지 효율에 최적화된 RAM (랜덤 액세스 메모리)의 한 유형으로, 과도한 전력 소비 없이 대규모 데이터셋과 실시간 처리를 수행할 수 있습니다.
• 연결 옵션: 빠른 데이터 전송을 위한 USB 3.2 포트, 안정적인 네트워크 연결을 위한 Gigabit Ethernet 포트, 센서 또는 카메라를 통합하기 위한 카메라 인터페이스가 포함되어 있습니다.
• AI 개발 도구: Jetson Orin Nano Super는 더 빠른 컴퓨팅을 위한 CUDA와 AI 모델 최적화를 위한 TensorRT 등의 도구를 제공하는 NVIDIA JetPack SDK와 함께 작동합니다. 이러한 도구를 사용하면 개발자가 AI 애플리케이션을 빠르고 효율적으로 더욱 쉽게 구축하고 배포할 수 있습니다.

성능 벤치마크: Jetson Orin Nano Super와 Orin NX 16GB 비교#

NVIDIA의 작업에 익숙하다면 이 새로운 출시 제품이 기존 NVIDIA Jetson Orin NX 16GB(슈퍼 모드 제외)와 어떻게 비교되는지 궁금할 수 있습니다. Jetson Orin NX가 전반적으로 더 높은 성능을 제공하지만, Jetson Orin Nano Super Developer Kit는 훨씬 저렴한 비용으로 인상적인 성능을 제공합니다.

그림 2. NVIDIA Jetson Orin 생태계를 살펴봅니다.

간단한 개요는 다음과 같습니다.

• AI 성능: Jetson Orin Nano Super는 최대 67 TOPS를 제공하여 대부분의 엣지 AI 작업에 적합하며, Jetson Orin NX는 더 높은 성능이 필요한 애플리케이션을 위해 최대 100 TOPS를 제공합니다.
• 메모리: Jetson Orin Nano Super에는 실시간 작업에 충분한 8GB LPDDR5가 포함되어 있으며, Orin NX는 더 큰 워크로드를 위해 이를 두 배인 16GB로 제공합니다.
• 전력 효율성: Jetson Orin Nano Super는 에너지 효율이 더 높고 7W에서 25W 사이로 구성할 수 있으며, Jetson Orin NX는 더 높은 전력을 요구합니다.
• GPU: 두 제품 모두 1,024개의 CUDA 코어와 32개의 Tensor 코어를 갖춘 NVIDIA Ampere 아키텍처를 공유하여 강력한 GPU 성능을 제공합니다.

Jetson Orin Nano Super에서의 Ultralytics YOLO11: 비전 AI를 엣지로 구현하기#

이제 Jetson Orin Nano Super를 더 잘 이해했으므로, YOLO11이 비전 AI 기능을 엣지에 제공하는 방식을 살펴보겠습니다. YOLO11을 포함한 Ultralytics YOLO 모델은 train, predict, export와 같은 다양한 모드를 제공하므로 여러 AI 워크플로에 맞게 활용할 수 있습니다.

예를 들어 train 모드에서는 특정 객체 감지나 특정 환경에 맞춘 최적화와 같은 애플리케이션을 위해 Ultralytics YOLO 모델을 커스텀 데이터셋으로 파인튜닝하고 학습할 수 있습니다. 마찬가지로 predict 모드는 추론을 위해 설계되어 실시간 컴퓨터 비전 작업을 지원합니다. 마지막으로 export 모드는 배포에 최적화된 형식으로 모델을 변환하는 데 사용할 수 있습니다.

그림 3. Ultralytics YOLO 모델은 다양한 기능과 모드를 지원합니다.

Ultralytics YOLO11은 export 모드에서 다음을 비롯한 다양한 모델 배포 옵션을 지원합니다.

• NVIDIA TensorRT: 이 형식은 NVIDIA GPU에 최적화되어 Jetson Orin Nano Super에서 고성능 및 낮은 지연 시간의 추론을 제공합니다.
• ONNX (개방형 신경망 교환): 다양한 플랫폼 간의 호환성을 보장하므로 여러 하드웨어 및 소프트웨어 생태계에서 유연하게 사용할 수 있습니다.
• TorchScript: 이 형식은 PyTorch 기반 애플리케이션에 적합하며 PyTorch 워크플로에 원활하게 통합할 수 있도록 지원합니다.
• TFLite (TensorFlow Lite): 경량 AI 배포를 위해 설계된 형식으로, 모바일 및 임베디드 시스템에 적합합니다.

이러한 배포 형식을 사용하면 개발자가 Jetson Orin Nano Super의 하드웨어를 최대한 활용하여 스마트 공간, 로보틱스, 소매 자동화와 같은 실시간 애플리케이션에서 Ultralytics YOLO11을 실행할 수 있습니다.

NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11 벤치마킹하기#

다음으로 NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11이 얼마나 빠르게 실행되는지 더 잘 파악하기 위해 PyTorch, ONNX, TensorRT와 같은 GPU 가속 export 형식을 사용한 인상적인 성능과 벤치마크를 살펴보겠습니다. 이러한 테스트 결과, Jetson Orin Nano Super에서 YOLO11 모델의 추론 시간이 기존 Jetson Orin NX 16GB(슈퍼 모드 제외)와 비슷하며 때로는 이를 능가하는 것으로 나타났습니다.

그림 4. NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11 벤치마킹.

더욱 주목할 만한 점은 Jetson Orin Nano Super의 경제성입니다. Jetson Orin NX 16GB 가격의 절반도 안 되는 비용으로 이러한 성능을 제공하므로, 고성능 Ultralytics YOLO11 애플리케이션을 구축하는 개발자에게 탁월한 가치를 제공합니다. 비용과 성능의 이러한 조합 덕분에 Jetson Orin Nano Super는 엣지에서 실시간 비전 AI 작업을 수행하기에 훌륭한 선택입니다.

그림 5. Jetson Orin NX 16GB에서 Ultralytics YOLO11 벤치마킹.

Ultralytics YOLO11과 NVIDIA Jetson Orin Nano Super 직접 사용해 보기#

Jetson Orin Nano Super에 Ultralytics YOLO11을 배포하여 시작하기를 기대하고 있다면 좋은 소식이 있습니다. 과정은 간단합니다. NVIDIA JetPack SDK로 디바이스를 플래싱한 후 빠른 설정을 위해 사전 빌드된 Docker 이미지를 사용하거나 필요한 패키지를 수동으로 설치할 수 있습니다.

더 빠르고 원활한 통합을 원하는 경우 업데이트된 JetPack 6 Docker 컨테이너가 이상적인 솔루션입니다. Docker 컨테이너는 특정 소프트웨어를 실행하는 데 필요한 모든 도구와 종속성을 포함하는 가볍고 이식 가능한 환경입니다.

JetPack 6.1에 최적화된 Ultralytics 컨테이너에는 CUDA 12.6, TensorRT 10.3, PyTorch 및 TorchVision과 같은 필수 도구가 Jetson의 ARM64 아키텍처에 맞게 사전 탑재되어 있습니다. 이 컨테이너를 사용하면 개발자가 설정에 소요되는 시간을 줄이고 YOLO11을 사용한 비전 AI 애플리케이션 구축 및 최적화에 집중할 수 있습니다.

NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11의 애플리케이션#

다음 AI 프로젝트에 대한 영감을 찾고 있다면 엣지 기반 컴퓨터 비전 애플리케이션의 가능성은 우리 주변 곳곳에 있습니다.

일상생활에서 엣지 AI는 클라우드 처리에 의존하지 않고 시스템이 실시간으로 객체를 감지하고 추적할 수 있도록 하여 스마트 공간을 새롭게 정의하고 있습니다. 혼잡한 도시의 교통을 모니터링하거나 공공장소에서 비정상적인 활동을 식별하는 등, 엣지 비전 AI는 보안과 효율성을 향상하고 있습니다.

소매업체들도 엣지 AI와 컴퓨터 비전을 활용하고 있습니다. 자동화된 재고 점검부터 도난 방지까지, Ultralytics YOLO11과 같은 모델을 사용하면 기업이 매장에서 직접 실시간 솔루션을 배포할 수 있습니다.

마찬가지로 헬스케어 분야의 AI를 활용하면 엣지 기반 모니터링이 환자 안전을 보장하고 이상을 감지하며 규정 준수를 유지할 수 있고, 클라우드 의존성으로 인한 지연도 발생하지 않습니다. Jetson Orin Nano Super와 Ultralytics YOLO11과 같은 도구를 통해 비전 AI의 미래는 가장 필요한 곳인 엣지에서 바로 펼쳐지고 있습니다.

핵심 요점#

YOLO11과 같은 Ultralytics YOLO 모델을 NVIDIA Jetson Orin Nano Super Developer Kit에 배포하면 엣지 AI 애플리케이션을 위한 안정적이고 효율적인 솔루션을 구현할 수 있습니다. 강력한 GPU 성능, PyTorch, ONNX, TensorRT에 대한 원활한 지원, 인상적인 벤치마크를 갖추어 객체 감지 및 추적과 같은 실시간 컴퓨터 비전 작업에 적합합니다.

비전 AI와 하드웨어 가속과 같은 첨단 기술의 혁신과 협업은 우리가 일하는 방식을 변화시키고 있으며, 개발자가 엣지에서 확장 가능하고 고성능인 솔루션을 구축할 수 있도록 지원합니다. AI가 발전함에 따라 Ultralytics YOLO11과 Jetson Orin Nano Super와 같은 도구는 지능형 실시간 솔루션을 그 어느 때보다 쉽게 구현할 수 있도록 돕고 있습니다.

AI가 궁금하신가요? GitHub 리포지토리를 방문하여 저희의 기여를 살펴보고 커뮤니티에 참여해 보세요. 농업 및 헬스케어와 같은 산업에 AI를 활용하여 어떤 영향을 만들어 내고 있는지 확인해 보세요.