욜로 비전 선전
선전
지금 참여하기

NVIDIA Jetson Orin Nano에서 실행되는 초고속, 고효율 Ultralytics YOLO11

Abirami Vina

4분 소요

2025년 1월 9일

NVIDIA Jetson Orin Nano Super에 Ultralytics YOLO11을 배포하면 고급 AI 애플리케이션을 위한 인상적인 벤치마크와 GPU 가속 성능을 어떻게 제공하는지 살펴보세요.

2024년 12월 17일에 출시된 NVIDIA Jetson Orin Nano Super Developer Kit는 엣지 컴퓨팅에 고급 기능을 제공하도록 설계된 작지만 강력한 생성 AI 슈퍼컴퓨터입니다. 실시간 처리를 용이하게 하고 클라우드 컴퓨팅의 필요성을 없애줍니다. NVIDIA Jetson Orin Nano Super를 통해 개발자는 로컬 환경에서 효율적으로 작동하는 저렴한 지능형 시스템을 구축할 수 있습니다.

Ultralytics YOLO 모델 (예: Ultralytics YOLO11)과 함께 사용하면 Jetson Orin Nano Super는 엣지에서 광범위한 Vision AI 애플리케이션을 처리할 수 있습니다. 특히 YOLO11은 객체 탐지, 객체 추적 및 인스턴스 분할과 같은 작업에서 속도와 정확성으로 알려진 컴퓨터 비전 모델입니다. 

YOLO11의 기능과 키트의 강력한 GPU(그래픽 처리 장치) 및 PyTorch, ONNX 및 NVIDIA TensorRT와 같은 프레임워크 지원을 결합하면 고성능 배포가 가능합니다. 이 조합은 로봇 공학의 객체 감지에서 스마트 공간 및 소매 시스템의 실시간 객체 추적에 이르기까지 AI 애플리케이션을 만드는 효율적인 솔루션을 개발자에게 제공합니다.

본 문서에서는 NVIDIA Jetson Orin Nano Super Developer Kit, 엣지 AI를 위한 Ultralytics YOLO11과의 연동 방식, 성능 벤치마크, 실제 응용 분야, 그리고 개발자가 Vision AI 프로젝트를 구축하는 데 어떻게 도움이 되는지 살펴보겠습니다. 그럼 시작해 볼까요!

NVIDIA Jetson Orin Nano Super 개발자 키트란 무엇인가요?

NVIDIA Jetson Orin Nano Super Developer Kit는 소형 에지 장치를 위한 생성형 AI를 재정의하는 작지만 강력한 컴퓨터입니다. 최대 67TOPS(초당 테라 연산)의 AI 성능을 제공하므로 고급 AI 프로젝트를 수행하는 개발자, 학생 및 취미 애호가에게 이상적입니다.

__wf_reserved_inherit

주요 기능은 다음과 같습니다.

  • GPU 성능: 이 장치는 1,024개의 CUDA 코어와 32개의 Tensor 코어를 포함하는 NVIDIA Ampere 아키텍처 GPU를 기반으로 구축되었습니다. CUDA 코어는 많은 작업을 동시에 처리하여 복잡한 계산 속도를 높이는 반면, Tensor 코어는 딥 러닝과 같은 AI 작업에 특화되어 있습니다. 
  • 강력한 CPU: 속도와 효율성의 균형을 맞추도록 설계된 6코어 Arm Cortex-A78AE 프로세서를 갖추고 있습니다. 이 장치는 에너지 사용량을 낮게 유지하면서 여러 작업을 원활하게 처리할 수 있습니다. 이는 대규모 전원 공급 장치에 접근하지 않고 로컬에서 실행되는 시스템에 중요합니다.
  • 효율적인 메모리: 이 키트에는 8GB의 LPDDR5(Low Power Double Data Rate 5) 메모리가 함께 제공됩니다. LPDDR5는 속도와 에너지 효율에 최적화된 RAM(Random Access Memory) 유형으로, 장치가 과도한 전력을 소비하지 않고도 대용량 데이터 세트와 실시간 처리를 처리할 수 있도록 합니다.
  • 연결 옵션: 빠른 데이터 전송을 위한 USB 3.2 포트, 강력한 네트워크 연결을 위한 기가비트 이더넷 포트, 센서 또는 카메라 통합을 위한 카메라 인터페이스가 포함되어 있습니다. 
  • AI 개발 도구: Jetson Orin Nano Super는 NVIDIA JetPack SDK와 함께 작동하며, 이는 더 빠른 컴퓨팅을 위한 CUDA 및 AI 모델 최적화를 위한 TensorRT와 같은 도구를 제공합니다. 이러한 도구를 통해 개발자는 AI 애플리케이션을 빠르고 효율적으로 구축하고 배포할 수 있습니다.

성능 벤치마크: Jetson Orin Nano Super 대 Orin NX 16GB

NVIDIA의 기술에 익숙하시다면, 이번에 새로 출시된 제품이 기존 NVIDIA Jetson Orin NX 16GB(슈퍼 모드 제외)와 어떻게 다른지 궁금하실 수 있습니다. Jetson Orin NX는 전반적으로 더 높은 성능을 제공하지만, Jetson Orin Nano Super Developer Kit은 훨씬 저렴한 비용으로 인상적인 성능을 제공합니다.

 

__wf_reserved_inherit
Fig 2. NVIDIA Jetson Orin 에코시스템 살펴보기.

다음은 간략한 개요입니다.

  • AI 성능: Jetson Orin Nano Super는 최대 67 TOPS를 제공하여 대부분의 엣지 AI 작업에 적합하며, Jetson Orin NX는 더 까다로운 애플리케이션을 위해 최대 100 TOPS를 제공합니다.
  • 메모리: Jetson Orin Nano Super에는 실시간 작업에 충분한 8GB LPDDR5가 포함되어 있으며 Orin NX는 더 큰 워크로드를 위해 16GB로 두 배로 늘립니다.
  • 전력 효율성: Jetson Orin Nano Super는 Jetson Orin NX에 비해 전력 효율성이 더 뛰어나며, 7W에서 25W 사이로 구성 가능합니다. Jetson Orin NX는 더 높은 전력을 요구합니다.
  • GPU: 둘 다 강력한 GPU 성능을 위해 1,024개의 CUDA 코어와 32개의 Tensor 코어를 갖춘 NVIDIA Ampere 아키텍처를 공유합니다.

Jetson Orin Nano Super를 탑재한 YOLO11: 엣지로 비전 AI를 구현하다

이제 Jetson Orin Nano Super에 대해 더 잘 이해했으므로, YOLO11이 어떻게 Vision AI 기능을 엣지로 가져올 수 있는지 살펴보겠습니다. YOLO11을 포함한 Ultralytics YOLO 모델은 학습, 예측, 내보내기와 같은 다양한 모드를 제공하여 다양한 AI 워크플로우에 적용할 수 있습니다. 

예를 들어, 훈련 모드에서 Ultralytics YOLO 모델은 특정 객체 감지 또는 특정 환경에 대한 최적화와 같은 특정 애플리케이션을 위해 사용자 정의 데이터 세트에서 미세 조정 및 훈련될 수 있습니다. 마찬가지로 예측 모드는 실시간 컴퓨터 비전 작업을 가능하게 하는 추론을 위해 설계되었습니다. 마지막으로 내보내기 모드는 모델을 배포에 최적화된 형식으로 변환하는 데 사용할 수 있습니다.

__wf_reserved_inherit
Fig 3. Ultralytics YOLO 모델은 다양한 기능과 모드를 지원합니다.

내보내기 모드의 YOLO11은 다음과 같은 다양한 모델 배포 옵션을 지원합니다.

  • NVIDIA TensorRT: 이 형식은 NVIDIA GPU에 최적화되어 Jetson Orin Nano Super에서 고성능 및 낮은 지연 시간 추론을 제공합니다.
  • ONNX (Open Neural Network Exchange): 다양한 플랫폼 간의 호환성을 보장하여 다양한 하드웨어 및 소프트웨어 생태계에 다용도로 적용할 수 있습니다.
  • TorchScript: 이 형식은 PyTorch 기반 애플리케이션에 이상적이며 PyTorch 워크플로에 원활하게 통합하는 데 도움이 됩니다.
  • TFLite (TensorFlow Lite): 경량 AI 배포를 위해 설계된 형식으로, 모바일 및 임베디드 시스템에 적합합니다.

개발자는 이러한 배포 형식을 사용하여 Jetson Orin Nano Super의 하드웨어를 최대한 활용하여 스마트 공간, 로봇 공학 및 소매 자동화와 같은 실시간 애플리케이션을 위해 YOLO11을 실행할 수 있습니다. 

NVIDIA Jetson Orin Nano Super에서 YOLO11 벤치마킹

다음으로, YOLO11이 NVIDIA Jetson Orin Nano Super에서 얼마나 빠르게 실행될 수 있는지 더 잘 파악하기 위해 PyTorch, ONNX 및 TensorRT와 같은 GPU 가속 내보내기 형식을 사용하여 인상적인 성능과 벤치마크를 살펴보겠습니다. 이러한 테스트를 통해 Jetson Orin Nano Super는 기존 Jetson Orin NX 16GB(슈퍼 모드 없음)와 비슷하거나 때로는 능가하는 YOLO11 모델로 추론 시간을 달성합니다.

__wf_reserved_inherit
Fig 4. NVIDIA Jetson Orin Nano Super에서 YOLO11 벤치마킹.

이것을 더욱 놀랍게 만드는 것은 Jetson Orin Nano Super의 경제성입니다. Jetson Orin NX 16GB 가격의 절반도 안 되는 가격으로 이러한 성능을 제공하여 고성능 YOLO11 애플리케이션을 구축하는 개발자에게 탁월한 가치를 제공합니다. 이러한 비용과 성능의 조합은 Jetson Orin Nano Super를 엣지에서 실시간 Vision AI 작업을 위한 훌륭한 선택으로 만듭니다.

__wf_reserved_inherit
Fig 5. Jetson Orin NX 16GB에서 YOLO11 벤치마킹.

YOLO11 및 NVIDIA Jetson Orin Nano Super를 직접 사용해 보세요.

Jetson Orin Nano Super에 YOLO11을 배포하는 시작에 대해 기대하고 있다면 좋은 소식이 있습니다. 간단한 프로세스입니다. NVIDIA JetPack SDK로 장치를 플래싱한 후 빠른 설정을 위해 미리 빌드된 Docker 이미지를 사용하거나 필요한 패키지를 수동으로 설치할 수 있습니다. 

더 빠르고 원활한 통합을 원하는 사람들에게는 업데이트된 JetPack 6 Docker 컨테이너가 이상적인 솔루션입니다. Docker 컨테이너는 특정 소프트웨어를 실행하는 데 필요한 모든 도구와 종속성을 포함하는 가볍고 휴대 가능한 환경입니다. 

JetPack 6.1에 최적화된 Ultralytics 컨테이너는 CUDA 12.6, TensorRT 10.3과 PyTorch 및 TorchVision과 같은 필수 도구가 사전 로드되어 있으며, 이 모든 것이 Jetson의 ARM64 아키텍처에 맞춰 조정되었습니다. 이 컨테이너를 사용하면 개발자는 설정 시간을 절약하고 YOLO11을 사용하여 Vision AI 애플리케이션을 구축하고 최적화하는 데 집중할 수 있습니다.

NVIDIA Jetson Orin Nano Super에서 YOLO11의 활용

다음 AI 프로젝트에 대한 영감을 찾는 사람들에게는 우리 주변에 엣지 기반 컴퓨터 비전 애플리케이션을 위한 잠재력이 있습니다. 

일상 생활에서 엣지 AI는 클라우드 처리에 의존하지 않고도 시스템이 실시간으로 객체를 감지하고 추적할 수 있도록 지원하여 스마트 공간을 재정의하고 있습니다. 번화한 도시의 교통 상황을 모니터링하든 공공 장소에서 비정상적인 활동을 식별하든 엣지 Vision AI는 보안과 효율성을 향상시키고 있습니다.

소매업체는 또한 엣지 AI 및 컴퓨터 비전을 활용하고 있습니다. 자동 재고 확인에서 도난 방지에 이르기까지 YOLO11과 같은 모델을 통해 기업은 매장에서 직접 실시간 솔루션을 배포할 수 있습니다. 

마찬가지로 헬스케어 분야의 AI에서도 에지 기반 모니터링은 클라우드 종속으로 인한 지연 없이 환자 안전을 보장하고, 이상 징후를 감지하며, 규정 준수를 유지합니다. Jetson Orin Nano Super 및 YOLO11과 같은 도구를 통해 비전 AI의 미래는 가장 필요한 에지에서 펼쳐지고 있습니다.

주요 내용

NVIDIA Jetson Orin Nano Super Developer Kit에 YOLO11과 같은 Ultralytics YOLO 모델을 배포하면 엣지 AI 애플리케이션을 위한 안정적이고 효율적인 솔루션을 제공할 수 있습니다. 강력한 GPU 성능, PyTorch, ONNX 및 TensorRT에 대한 원활한 지원, 인상적인 벤치마크를 통해 객체 감지 및 추적과 같은 실시간 컴퓨터 비전 작업에 적합합니다. 

Vision AI 및 하드웨어 가속과 같은 최첨단 기술의 혁신과 협업은 우리가 일하는 방식을 변화시키고 있으며, 개발자가 엣지에서 확장 가능하고 고성능 솔루션을 구축할 수 있도록 지원합니다. AI가 발전함에 따라 YOLO11 및 Jetson Orin Nano Super와 같은 도구를 통해 지능형 실시간 솔루션을 그 어느 때보다 쉽게 구현할 수 있습니다.

AI에 대해 더 알고 싶으신가요? GitHub 저장소를 방문하여 저희의 기여를 살펴보고 커뮤니티에 참여하세요. 농업 및 헬스케어와 같은 산업에 영향을 미치기 위해 AI를 어떻게 사용하고 있는지 확인하세요.

함께 미래의 AI를 만들어 갑시다!

미래의 머신러닝 여정을 시작하세요

무료로 시작하기
클립보드에 링크가 복사되었습니다.