NVIDIA Jetson Orin Nano Super에서의 Ultralytics YOLO11: 빠르고 효율적임

2024년 12월 17일에 출시된 NVIDIA Jetson Orin Nano Super 개발자 키트는 에지 컴퓨팅에 고급 기능을 제공하도록 설계된 작지만 강력한 생성형 AI 슈퍼컴퓨터입니다. 실시간 처리를 지원하며 클라우드 컴퓨팅의 필요성을 없애줍니다. NVIDIA Jetson Orin Nano Super를 통해 개발자는 로컬 환경에서 효율적으로 작동하는 합리적인 가격의 지능형 시스템을 구축할 수 있습니다.

Ultralytics YOLO11과 같은 Ultralytics YOLO 모델과 결합할 때, Jetson Orin Nano Super는 에지에서 방대한 비전 AI 애플리케이션을 처리할 수 있습니다. 특히 YOLO11은 객체 검출, 객체 추적, 인스턴스 세그멘테이션 같은 작업에서 속도와 정확도로 잘 알려진 컴퓨터 비전 모델입니다.

Ultralytics YOLO11의 성능을 키트의 강력한 GPU (Graphics Processing Unit) 및 PyTorch, ONNX, NVIDIA TensorRT와 같은 frameworks 지원과 결합하면 고성능 배포가 가능합니다. 이 조합은 로보틱스의 객체 감지부터 스마트 스페이스 및 리테일 시스템의 실시간 객체 추적에 이르기까지 개발자에게 AI 애플리케이션 제작을 위한 효율적인 솔루션을 제공합니다.

이 글에서는 NVIDIA Jetson Orin Nano Super 개발자 키트, 에지 AI를 위해 Ultralytics YOLO11과 작동하는 방식, 성능 벤치마크, 실제 애플리케이션, 그리고 비전 AI 프로젝트 구축에 어떻게 도움이 되는지 살펴보겠습니다. 시작하겠습니다!

NVIDIA Jetson Orin Nano Super 개발자 키트란 무엇인가요?#

NVIDIA Jetson Orin Nano Super 개발자 키트는 소형 엣지 장치를 위한 생성형 AI를 재정의하는 작지만 강력한 컴퓨터입니다. 이 장치는 최대 67 TOPS(초당 1조 회 연산)의 AI 성능을 제공하므로 고급 AI 프로젝트를 진행하는 개발자, 학생 및 취미 활동가에게 이상적입니다.

주요 특징은 다음과 같습니다.

• GPU 성능: 이 장치는 1,024개의 CUDA 코어와 32개의 Tensor 코어를 포함하는 NVIDIA Ampere 아키텍처 GPU를 기반으로 합니다. CUDA 코어는 많은 작업을 동시에 처리하여 복잡한 계산 속도를 높이며, Tensor 코어는 딥러닝과 같은 AI 작업에 특화되어 있습니다.
• 강력한 CPU: 속도와 효율성 사이의 균형을 맞추도록 설계된 6코어 Arm Cortex-A78AE 프로세서를 탑재하고 있습니다. 이 장치는 낮은 에너지 소비를 유지하면서 여러 작업을 원활하게 처리할 수 있습니다. 이는 대규모 전력원을 사용할 수 없는 곳에서 로컬로 실행되는 시스템에 매우 중요합니다.
• 효율적인 메모리: 이 키트는 8GB의 LPDDR5(Low Power Double Data Rate 5) 메모리를 탑재하고 있습니다. LPDDR5는 속도와 에너지 효율성에 최적화된 RAM(랜덤 액세스 메모리) 유형으로, 과도한 전력 소비 없이 장치가 대규모 데이터셋과 실시간 처리를 처리할 수 있게 해줍니다.
• 연결 옵션: 빠른 데이터 전송을 위한 USB 3.2 포트, 강력한 네트워크 연결을 위한 기가비트 이더넷 포트, 센서나 카메라를 통합하기 위한 카메라 인터페이스를 포함합니다.
• AI 개발 도구: Jetson Orin Nano Super는 더 빠른 컴퓨팅을 위한 CUDA와 AI 모델 최적화를 위한 TensorRT 같은 도구를 제공하는 NVIDIA JetPack SDK와 함께 작동합니다. 이러한 도구는 개발자가 AI 애플리케이션을 빠르고 효율적으로 구축하고 배포할 수 있도록 돕습니다.

성능 벤치마크: Jetson Orin Nano Super 대 Orin NX 16GB#

NVIDIA의 제품에 익숙하다면 이번 신제품이 기존 NVIDIA Jetson Orin NX 16GB(슈퍼 모드 제외)와 어떻게 비교되는지 궁금하실 것입니다. Jetson Orin NX가 전반적으로 더 높은 기능을 제공하지만, Jetson Orin Nano Super 개발자 키트는 저렴한 비용으로도 인상적인 성능을 보여줍니다.

그림 2. NVIDIA Jetson Orin 생태계 살펴보기.

빠른 개요는 다음과 같습니다.

• AI 성능: Jetson Orin Nano Super는 최대 67 TOPS를 제공하여 대부분의 엣지 AI 작업에 적합하며, Jetson Orin NX는 더 까다로운 애플리케이션을 위해 최대 100 TOPS를 제공합니다.
• 메모리: Jetson Orin Nano Super는 실시간 작업에 충분한 8GB LPDDR5를 포함하며, Orin NX는 이를 두 배인 16GB로 늘려 더 큰 워크로드를 처리할 수 있습니다.
• 전력 효율성: Jetson Orin Nano Super는 Jetson Orin NX의 높은 전력 요구량에 비해 더 에너지 효율적이며 7W에서 25W 사이로 구성이 가능합니다.
• GPU: 두 모델 모두 1,024개의 CUDA 코어와 32개의 Tensor 코어를 갖춘 NVIDIA Ampere 아키텍처를 공유하여 강력한 GPU 성능을 제공합니다.

Jetson Orin Nano Super와 함께하는 Ultralytics YOLO11: 엣지에 비전 AI 구현하기#

Jetson Orin Nano Super에 대해 더 잘 이해했으니, 이제 YOLO11이 어떻게 엣지 환경에 비전 AI 기능을 가져올 수 있는지 살펴보겠습니다. YOLO11을 포함한 Ultralytics YOLO 모델은 학습, 예측, 내보내기와 같은 다재다능한 모드를 갖추고 있어 다양한 AI 워크플로우에 적응할 수 있습니다.

예를 들어, 학습 모드에서 Ultralytics YOLO 모델은 고유 객체 검출이나 특정 환경 최적화와 같은 특정 애플리케이션을 위해 커스텀 데이터셋에서 미세 조정되고 학습될 수 있습니다. 마찬가지로, 예측 모드는 추론을 위해 설계되어 실시간 컴퓨터 비전 작업을 가능하게 합니다. 마지막으로, 내보내기 모드는 배포에 최적화된 형식으로 모델을 변환하는 데 사용할 수 있습니다.

그림 3. Ultralytics YOLO 모델은 다양한 기능과 모드를 지원합니다.

export 모드의 Ultralytics YOLO11은 다음을 포함하여 다양한 모델 배포 옵션을 지원합니다.

• NVIDIA TensorRT: 이 형식은 NVIDIA GPU에 최적화되어 Jetson Orin Nano Super에서 고성능 및 저지연 추론을 제공합니다.
• ONNX (Open Neural Network Exchange): 다양한 플랫폼 간의 호환성을 보장하여 여러 하드웨어 및 소프트웨어 생태계에서 유연하게 사용할 수 있습니다.
• TorchScript: 이 형식은 PyTorch 기반 애플리케이션에 이상적이며, PyTorch 워크플로에 원활하게 통합되도록 돕습니다.
• TFLite (TensorFlow Lite): 경량 AI 배포를 위해 설계된 형식으로, 모바일 및 임베디드 시스템에 완벽합니다.

개발자는 이러한 배포 포맷을 사용하여 Jetson Orin Nano Super의 하드웨어를 최대한 활용함으로써 스마트 스페이스, 로보틱스, 리테일 자동화와 같은 실시간 애플리케이션용 Ultralytics YOLO11을 실행할 수 있습니다.

NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11 벤치마킹하기#

다음으로 Ultralytics YOLO11이 NVIDIA Jetson Orin Nano Super에서 얼마나 빠르게 실행될 수 있는지 더 잘 파악하기 위해 PyTorch, ONNX 및 TensorRT와 같은 GPU 가속 내보내기 형식을 사용한 인상적인 성능과 벤치마크를 살펴보겠습니다. 이러한 테스트에 따르면 Jetson Orin Nano Super는 (수퍼 모드 없는) 기존 Jetson Orin NX 16GB와 비슷하거나 때로는 뛰어넘는 YOLO11 모델 추론 시간을 달성합니다.

Fig 4. NVIDIA Jetson Orin Nano Super에서의 Ultralytics YOLO11 벤치마킹.

이러한 점을 더욱 놀랍게 만드는 것은 Jetson Orin Nano Super의 경제성입니다. Jetson Orin NX 16GB 가격의 절반도 안되는 비용으로 이러한 성능을 제공하므로, 고성능 Ultralytics YOLO11 애플리케이션을 구축하는 개발자에게 뛰어난 가치를 제공합니다. 비용과 성능의 이러한 조화 덕분에 Jetson Orin Nano Super는 엣지에서의 실시간 비전 AI 작업을 위한 훌륭한 선택이 됩니다.

Fig 5. Jetson Orin NX 16GB에서의 Ultralytics YOLO11 벤치마킹.

Ultralytics YOLO11과 NVIDIA Jetson Orin Nano Super를 직접 경험해 보세요#

Jetson Orin Nano Super에 Ultralytics YOLO11을 getting started하는 데 관심이 있으시다면, 과정이 매우 간단하다는 좋은 소식이 있습니다. NVIDIA JetPack SDK로 기기에 플래싱을 마친 후, 빠른 설정을 위해 사전 구축된 Docker 이미지를 사용하거나 필요한 패키지를 수동으로 설치할 수 있습니다.

더 빠르고 원활한 통합을 원하는 경우 업데이트된 JetPack 6 Docker 컨테이너가 이상적인 솔루션입니다. Docker 컨테이너는 특정 소프트웨어를 실행하는 데 필요한 모든 도구와 종속성을 포함하는 경량의 이식 가능한 환경입니다.

JetPack 6.1에 최적화된 Ultralytics 컨테이너에는 CUDA 12.6, TensorRT 10.3, 그리고 Jetson의 ARM64 아키텍처에 맞춤화된 PyTorch 및 TorchVision 같은 필수 도구가 사전 로드되어 있습니다. 이 컨테이너를 사용함으로써 개발자는 설정 시간을 절약하고 YOLO11을 사용하여 비전 AI 애플리케이션을 구축하고 최적화하는 데 집중할 수 있습니다.

NVIDIA Jetson Orin Nano Super에서의 Ultralytics YOLO11 활용 사례#

다음 AI 프로젝트를 위한 영감을 찾고 있다면, 우리 주변 어디에서나 엣지 기반 컴퓨터 비전 애플리케이션의 잠재력을 발견할 수 있습니다.

일상생활에서 엣지 AI는 시스템이 클라우드 처리에 의존하지 않고도 실시간으로 객체를 탐지하고 추적할 수 있도록 하여 스마트 공간을 재정의하고 있습니다. 분주한 도시의 교통량을 모니터링하든 공공장소의 비정상적인 활동을 식별하든, 엣지 비전 AI는 보안과 효율성을 향상시키고 있습니다.

소매업체들도 엣지 AI와 컴퓨터 비전을 활용하고 있습니다. 자동화된 재고 조사부터 theft prevention에 이르기까지, Ultralytics YOLO11과 같은 모델은 기업이 매장에 직접 실시간 솔루션을 배포할 수 있도록 지원합니다.

마찬가지로 AI in healthcare 분야에서도 엣지 기반 모니터링은 클라우드 의존성으로 인한 지연 없이 환자의 안전을 보장하고, 이상 징후를 감지하며, 규정 준수를 유지합니다. Jetson Orin Nano Super 및 Ultralytics YOLO11과 같은 도구를 통해 비전 AI의 미래가 가장 필요한 엣지에서 바로 펼쳐지고 있습니다.

핵심 요약#

NVIDIA Jetson Orin Nano Super 개발자 키트에 YOLO11과 같은 Ultralytics YOLO 모델을 배포하는 것은 엣지 AI 애플리케이션을 위한 안정적이고 효율적인 솔루션을 제공합니다. 강력한 GPU 성능, PyTorch, ONNX 및 TensorRT에 대한 원활한 지원, 그리고 인상적인 벤치마크를 통해 객체 탐지 및 추적과 같은 실시간 컴퓨터 비전 작업에 매우 적합합니다.

비전 AI 및 하드웨어 가속과 같은 최첨단 기술의 혁신과 협업은 우리의 일하는 방식을 변화시키며, 개발자가 엣지에서 확장 가능하고 고성능의 솔루션을 구축할 수 있도록 지원합니다. AI가 발전함에 따라 Ultralytics YOLO11 및 Jetson Orin Nano Super와 같은 도구는 지능형 실시간 솔루션을 그 어느 때보다 쉽게 구현할 수 있게 해줍니다.

AI가 궁금하신가요? GitHub 저장소를 방문하여 우리의 기여를 살펴보고 커뮤니티에 참여해 보세요. 우리가 어떻게 AI를 사용하여 농업 및 헬스케어와 같은 산업에 영향을 미치고 있는지 확인해 보세요.