NVIDIA Jetson Orin Nano Super에서의 Ultralytics YOLO11: 빠르고 효율적임

2024년 12월 17일에 출시된 NVIDIA Jetson Orin Nano Super 개발자 키트는 엣지 컴퓨팅에 고급 기능을 제공하기 위해 설계된 소형이면서 강력한 생성형 AI 슈퍼컴퓨터입니다. 이 키트는 실시간 처리를 원활하게 하며 클라우드 컴퓨팅에 대한 의존도를 없애줍니다. NVIDIA Jetson Orin Nano Super를 활용하면 개발자는 로컬 환경에서 효율적으로 작동하는 경제적인 지능형 시스템을 구축할 수 있습니다.

Ultralytics YOLO 모델 중 Ultralytics YOLO11과 같은 모델을 활용하면 Jetson Orin Nano Super를 통해 엣지 환경에서 광범위한 비전 AI 애플리케이션을 처리할 수 있습니다. 특히 YOLO11은 객체 탐지, 객체 추적, 인스턴스 세그멘테이션과 같은 작업에서 속도와 정확도로 잘 알려진 컴퓨터 비전 모델입니다.

YOLO11의 기능과 이 키트의 강력한 GPU (그래픽 처리 장치) 성능, 그리고 PyTorch, ONNX 및 NVIDIA TensorRT와 같은 프레임워크에 대한 지원을 결합하여 고성능 배포가 가능합니다. 이러한 조합은 로봇 공학의 객체 탐지부터 스마트 공간 및 소매 시스템의 실시간 객체 추적에 이르기까지 AI 애플리케이션을 생성하려는 개발자에게 효율적인 솔루션을 제공합니다.

본 글에서는 NVIDIA Jetson Orin Nano Super 개발자 키트에 대해 살펴보고, 이 장치가 Ultralytics YOLO11과 어떻게 연동되어 엣지 AI를 지원하는지, 그리고 그 성능 벤치마크, 실제 적용 사례 및 개발자가 비전 AI 프로젝트를 구축하는 데 어떤 도움을 줄 수 있는지 알아봅니다. 바로 시작해 보겠습니다!

Link to this sectionNVIDIA Jetson Orin Nano Super 개발자 키트란 무엇인가요?#

NVIDIA Jetson Orin Nano Super 개발자 키트는 소형 엣지 장치를 위한 생성형 AI를 재정의하는 작지만 강력한 컴퓨터입니다. 이 장치는 최대 67 TOPS(초당 1조 회 연산)의 AI 성능을 제공하므로 고급 AI 프로젝트를 진행하는 개발자, 학생 및 취미 활동가에게 이상적입니다.

주요 특징은 다음과 같습니다.

• GPU 성능: 이 장치는 1,024개의 CUDA 코어와 32개의 Tensor 코어를 포함하는 NVIDIA Ampere 아키텍처 GPU를 기반으로 합니다. CUDA 코어는 많은 작업을 동시에 처리하여 복잡한 계산 속도를 높이며, Tensor 코어는 딥러닝과 같은 AI 작업에 특화되어 있습니다.
• 강력한 CPU: 속도와 효율성 사이의 균형을 맞추도록 설계된 6코어 Arm Cortex-A78AE 프로세서를 탑재하고 있습니다. 이 장치는 낮은 에너지 소비를 유지하면서 여러 작업을 원활하게 처리할 수 있습니다. 이는 대규모 전력원을 사용할 수 없는 곳에서 로컬로 실행되는 시스템에 매우 중요합니다.
• 효율적인 메모리: 이 키트는 8GB의 LPDDR5(Low Power Double Data Rate 5) 메모리를 제공합니다. LPDDR5는 속도와 에너지 효율성에 최적화된 RAM(임의 접근 메모리) 유형으로, 장치가 과도한 전력을 소비하지 않고도 대용량 데이터셋과 실시간 처리를 관리할 수 있게 합니다.
• 연결 옵션: 빠른 데이터 전송을 위한 USB 3.2 포트, 안정적인 네트워크 연결을 위한 기가비트 이더넷 포트, 그리고 센서나 카메라를 통합하기 위한 카메라 인터페이스를 포함합니다.
• AI 개발 도구: Jetson Orin Nano Super는 더 빠른 컴퓨팅을 위한 CUDA와 AI 모델 최적화를 위한 TensorRT와 같은 도구를 제공하는 NVIDIA JetPack SDK와 함께 작동합니다. 이러한 도구는 개발자가 AI 애플리케이션을 빠르고 효율적으로 구축하고 배포할 수 있도록 지원합니다.

Link to this section성능 벤치마크: Jetson Orin Nano Super 대 Orin NX 16GB#

NVIDIA의 제품에 익숙하다면 이번 신제품이 기존 NVIDIA Jetson Orin NX 16GB(슈퍼 모드 제외)와 어떻게 비교되는지 궁금하실 것입니다. Jetson Orin NX가 전반적으로 더 높은 기능을 제공하지만, Jetson Orin Nano Super 개발자 키트는 저렴한 비용으로도 인상적인 성능을 보여줍니다.

그림 2. NVIDIA Jetson Orin 생태계 모습.

빠른 개요는 다음과 같습니다.

• AI 성능: Jetson Orin Nano Super는 최대 67 TOPS를 제공하여 대부분의 엣지 AI 작업에 적합하며, Jetson Orin NX는 더 까다로운 애플리케이션을 위해 최대 100 TOPS를 제공합니다.
• 메모리: Jetson Orin Nano Super는 실시간 작업에 충분한 8GB LPDDR5를 포함하며, Orin NX는 이를 두 배인 16GB로 늘려 더 큰 워크로드를 처리할 수 있습니다.
• 전력 효율성: Jetson Orin Nano Super는 Jetson Orin NX의 높은 전력 요구량에 비해 더 에너지 효율적이며 7W에서 25W 사이로 구성이 가능합니다.
• GPU: 두 모델 모두 1,024개의 CUDA 코어와 32개의 Tensor 코어를 갖춘 NVIDIA Ampere 아키텍처를 공유하여 강력한 GPU 성능을 제공합니다.

Link to this sectionJetson Orin Nano Super와 함께하는 YOLO11: 엣지로 가져오는 비전 AI#

Jetson Orin Nano Super에 대해 더 잘 이해했으니, 이제 YOLO11이 어떻게 엣지 환경에 비전 AI 기능을 가져올 수 있는지 살펴보겠습니다. YOLO11을 포함한 Ultralytics YOLO 모델은 학습, 예측, 내보내기와 같은 다재다능한 모드를 갖추고 있어 다양한 AI 워크플로우에 적응할 수 있습니다.

예를 들어, 학습 모드에서 Ultralytics YOLO 모델은 고유 객체 탐지나 특정 환경에 맞춘 최적화와 같은 특정 애플리케이션을 위해 커스텀 데이터셋으로 미세 조정 및 학습될 수 있습니다. 마찬가지로 예측 모드는 추론을 위해 설계되어 실시간 컴퓨터 비전 작업을 가능하게 합니다. 마지막으로, 내보내기 모드를 사용하여 모델을 배포에 최적화된 형식으로 변환할 수 있습니다.

그림 3. Ultralytics YOLO 모델은 다양한 기능과 모드를 지원합니다.

YOLO11의 내보내기 모드는 다음과 같은 다양한 모델 배포 옵션을 지원합니다:

• NVIDIA TensorRT: 이 형식은 NVIDIA GPU에 최적화되어 Jetson Orin Nano Super에서 고성능 및 저지연 추론을 제공합니다.
• ONNX (Open Neural Network Exchange): 다양한 플랫폼 간의 호환성을 보장하여 여러 하드웨어 및 소프트웨어 생태계에서 유연하게 사용할 수 있습니다.
• TorchScript: PyTorch 기반 애플리케이션에 이상적이며 PyTorch 워크플로우와의 원활한 통합을 돕습니다.
• TFLite (TensorFlow Lite): 경량 AI 배포를 위해 설계된 형식으로 모바일 및 임베디드 시스템에 적합합니다.

이러한 배포 형식을 사용하면 개발자는 Jetson Orin Nano Super의 하드웨어 성능을 최대한 활용하여 스마트 공간, 로봇 공학 및 소매 자동화와 같은 실시간 애플리케이션에 YOLO11을 실행할 수 있습니다.

Link to this sectionNVIDIA Jetson Orin Nano Super에서 YOLO11 벤치마킹하기#

다음으로, YOLO11이 NVIDIA Jetson Orin Nano Super에서 얼마나 빠르게 실행될 수 있는지 파악하기 위해 PyTorch, ONNX 및 TensorRT와 같은 GPU 가속 내보내기 형식을 사용한 성능 및 벤치마크를 살펴보겠습니다. 테스트 결과, Jetson Orin Nano Super는 YOLO11 모델을 사용하여 기존 Jetson Orin NX 16GB(슈퍼 모드 제외)와 비슷하거나 때로는 능가하는 추론 속도를 보여줍니다.

그림 4. NVIDIA Jetson Orin Nano Super에서 YOLO11 벤치마킹.

더욱 놀라운 점은 Jetson Orin Nano Super의 가격 경쟁력입니다. Jetson Orin NX 16GB 가격의 절반 이하로 이러한 성능을 제공하므로, 고성능 YOLO11 애플리케이션을 구축하는 개발자에게 탁월한 가치를 제공합니다. 이러한 비용과 성능의 조합 덕분에 Jetson Orin Nano Super는 엣지에서의 실시간 비전 AI 작업을 위한 최고의 선택입니다.

그림 5. Jetson Orin NX 16GB에서 YOLO11 벤치마킹.

Link to this sectionYOLO11과 NVIDIA Jetson Orin Nano Super를 직접 활용해 보세요#

Jetson Orin Nano Super에 YOLO11을 배포하는 시작하기 과정에 관심이 있다면 좋은 소식이 있습니다. 과정이 매우 간단합니다. NVIDIA JetPack SDK로 장치를 플래싱한 후, 빠른 설정을 위해 사전 빌드된 Docker 이미지를 사용하거나 필요한 패키지를 수동으로 설치할 수 있습니다.

더 빠르고 원활한 통합을 원하는 경우 업데이트된 JetPack 6 Docker 컨테이너가 이상적인 솔루션입니다. Docker 컨테이너는 특정 소프트웨어를 실행하는 데 필요한 모든 도구와 종속성을 포함하는 경량의 이식 가능한 환경입니다.

JetPack 6.1에 최적화된 Ultralytics 컨테이너는 CUDA 12.6, TensorRT 10.3, 그리고 PyTorch 및 TorchVision과 같은 필수 도구가 사전 로드되어 있으며, 모두 Jetson의 ARM64 아키텍처에 맞게 조정되었습니다. 이 컨테이너를 사용하면 개발자는 설정 시간을 절약하고 YOLO11을 사용한 비전 AI 애플리케이션 구축 및 최적화에 집중할 수 있습니다.

Link to this sectionNVIDIA Jetson Orin Nano Super에서 YOLO11의 활용 사례#

다음 AI 프로젝트를 위한 영감을 찾고 있다면, 우리 주변 어디에서나 엣지 기반 컴퓨터 비전 애플리케이션의 잠재력을 발견할 수 있습니다.

일상생활에서 엣지 AI는 시스템이 클라우드 처리에 의존하지 않고도 실시간으로 객체를 탐지하고 추적할 수 있도록 하여 스마트 공간을 재정의하고 있습니다. 분주한 도시의 교통량을 모니터링하든 공공장소의 비정상적인 활동을 식별하든, 엣지 비전 AI는 보안과 효율성을 향상시키고 있습니다.

소매업체들 또한 엣지 AI와 컴퓨터 비전을 활용하고 있습니다. 자동화된 재고 확인부터 도난 방지에 이르기까지, YOLO11과 같은 모델은 기업이 매장에서 직접 실시간 솔루션을 배포할 수 있게 합니다.

마찬가지로 의료 분야 AI의 경우, 엣지 기반 모니터링은 클라우드 의존으로 인한 지연 없이 환자의 안전을 보장하고 이상 징후를 탐지하며 규정 준수를 유지합니다. Jetson Orin Nano Super 및 YOLO11과 같은 도구를 통해 비전 AI의 미래는 가장 필요한 엣지 환경에서 바로 펼쳐지고 있습니다.

Link to this section핵심 요약#

NVIDIA Jetson Orin Nano Super 개발자 키트에 YOLO11과 같은 Ultralytics YOLO 모델을 배포하는 것은 엣지 AI 애플리케이션을 위한 안정적이고 효율적인 솔루션을 제공합니다. 강력한 GPU 성능, PyTorch, ONNX 및 TensorRT에 대한 원활한 지원, 그리고 인상적인 벤치마크를 통해 객체 탐지 및 추적과 같은 실시간 컴퓨터 비전 작업에 매우 적합합니다.

비전 AI 및 하드웨어 가속과 같은 최첨단 기술 분야의 혁신과 협업은 우리가 일하는 방식을 변화시키고 있으며, 개발자들이 엣지에서 확장 가능하고 고성능인 솔루션을 구축할 수 있도록 힘을 실어주고 있습니다. AI가 발전함에 따라 YOLO11 및 Jetson Orin Nano Super와 같은 도구는 지능형 실시간 솔루션을 구현하는 일을 그 어느 때보다 쉽게 만들고 있습니다.

AI에 대해 궁금하신가요? 저희 GitHub 저장소를 방문하여 저희의 기여 내용을 살펴보고 커뮤니티에 참여해 보세요. AI를 사용하여 농업 및 의료와 같은 산업에 어떻게 영향을 미치고 있는지 확인해 보시기 바랍니다.