NVIDIA Jetson Orin Nano Super의 Ultralytics YOLO11: 빠르고 효율적인 성능

2024년 12월 17일 출시된 NVIDIA Jetson Orin Nano Super Developer Kit는 고급 기능을 엣지 컴퓨팅에 제공하도록 설계된 작지만 강력한 생성형 AI 슈퍼컴퓨터입니다. 실시간 처리를 지원하고 클라우드 컴퓨팅의 필요성을 줄여줍니다. NVIDIA Jetson Orin Nano Super를 사용하면 개발자가 로컬 환경에서 효율적으로 작동하는 합리적인 가격의 지능형 시스템을 구축할 수 있습니다.

Ultralytics YOLO 모델, 예를 들어 Ultralytics YOLO11과 함께 사용하면 Jetson Orin Nano Super는 다양한 비전 AI 애플리케이션을 엣지에서 처리할 수 있습니다. 특히 YOLO11은 객체 탐지, 객체 추적, 인스턴스 분할 등의 작업에서 속도와 정확도가 뛰어난 컴퓨터 비전 모델입니다.

Ultralytics YOLO11의 기능을 키트의 강력한 GPU(그래픽 처리 장치) 및 PyTorch, ONNX, NVIDIA TensorRT와 같은 프레임워크 지원과 결합하면 고성능 배포가 가능합니다. 이러한 조합은 로보틱스의 객체 탐지부터 스마트 공간 및 소매 시스템의 실시간 객체 추적까지, 개발자가 다양한 AI 애플리케이션을 효율적으로 구축할 수 있는 솔루션을 제공합니다.

이 글에서는 NVIDIA Jetson Orin Nano Super Developer Kit와 엣지 AI를 위한 Ultralytics YOLO11의 활용 방법, 성능 벤치마크, 실제 애플리케이션, 그리고 개발자가 비전 AI 프로젝트를 구축하는 데 어떻게 도움이 되는지 살펴봅니다.

NVIDIA Jetson Orin Nano Super Developer Kit이란 무엇인가요?#

NVIDIA Jetson Orin Nano Super Developer Kit는 소형 엣지 기기에 생성형 AI를 구현하는 작지만 강력한 컴퓨터입니다. 최대 67 TOPS(초당 1조 회 연산)의 AI 성능을 제공하므로 고급 AI 프로젝트를 진행하는 개발자, 학생, 취미 활동가에게 적합합니다.

주요 기능은 다음과 같습니다.

• GPU 성능: 이 디바이스는 1,024개의 CUDA 코어와 32개의 Tensor 코어를 포함하는 NVIDIA Ampere 아키텍처 GPU를 기반으로 합니다. CUDA 코어는 여러 작업을 동시에 처리해 복잡한 연산을 가속하고, Tensor 코어는 딥러닝과 같은 AI 작업에 특화되어 있습니다.
• 강력한 CPU: 속도와 효율성의 균형을 고려해 설계된 6코어 Arm Cortex-A78AE 프로세서를 탑재했습니다. 디바이스는 에너지 소비를 낮게 유지하면서 여러 작업을 원활하게 처리할 수 있습니다. 이는 대규모 전원 공급원 없이 로컬에서 실행되는 시스템에 중요합니다.
• 효율적인 메모리: 키트에는 8GB LPDDR5(저전력 더블 데이터 레이트 5) 메모리가 탑재되어 있습니다. LPDDR5는 속도와 에너지 효율을 위해 최적화된 RAM(랜덤 액세스 메모리)의 한 유형으로, 디바이스가 과도한 전력 소모 없이 대규모 데이터세트와 실시간 처리를 다룰 수 있도록 합니다.
• 연결 옵션: 빠른 데이터 전송을 위한 USB 3.2 포트, 안정적인 네트워크 연결을 위한 기가비트 이더넷 포트, 센서 또는 카메라 통합을 위한 카메라 인터페이스가 포함되어 있습니다.
• AI 개발 도구: Jetson Orin Nano Super는 더 빠른 컴퓨팅을 위한 CUDA와 AI 모델 최적화를 위한 TensorRT 등의 도구를 제공하는 NVIDIA JetPack SDK와 함께 사용할 수 있습니다. 이러한 도구를 통해 개발자는 AI 애플리케이션을 더 빠르고 효율적으로 구축하고 배포할 수 있습니다.

성능 벤치마크: Jetson Orin Nano Super와 Orin NX 16GB 비교#

NVIDIA의 기술에 익숙하다면 이번 신제품이 기존 NVIDIA Jetson Orin NX 16GB(슈퍼 모드 제외)와 어떻게 비교되는지 궁금할 수 있습니다. Jetson Orin NX는 전반적인 성능이 더 높지만, Jetson Orin Nano Super Developer Kit은 훨씬 저렴한 비용으로 뛰어난 성능을 제공합니다.

그림 2. NVIDIA Jetson Orin 에코시스템 살펴보기.

간단히 살펴보면 다음과 같습니다.

• AI 성능: Jetson Orin Nano Super는 최대 67 TOPS를 제공해 대부분의 엣지 AI 작업에 적합하며, Jetson Orin NX는 더 높은 성능이 필요한 애플리케이션을 위해 최대 100 TOPS를 제공합니다.
• 메모리: Jetson Orin Nano Super에는 실시간 작업에 충분한 8GB LPDDR5가 탑재되어 있으며, Orin NX는 메모리 용량을 두 배인 16GB로 늘려 더 큰 워크로드를 처리합니다.
• 전력 효율: Jetson Orin Nano Super는 에너지 효율이 더 높고 7W에서 25W 사이로 전력 구성을 조정할 수 있으며, Jetson Orin NX는 더 높은 전력을 요구합니다.
• GPU: 두 제품 모두 NVIDIA Ampere 아키텍처를 사용하며, 강력한 GPU 성능을 위해 1,024개의 CUDA 코어와 32개의 Tensor 코어를 갖추고 있습니다.

Jetson Orin Nano Super와 Ultralytics YOLO11: 비전 AI를 엣지로 구현#

Jetson Orin Nano Super를 더 잘 이해했으니, 이제 YOLO11을 활용해 엣지에 비전 AI 기능을 구현하는 방법을 살펴보겠습니다. YOLO11을 비롯한 Ultralytics YOLO 모델은 train, predict, export와 같은 다양한 모드를 제공하므로 여러 AI 워크플로에 맞게 활용할 수 있습니다.

예를 들어 학습 모드에서는 Ultralytics YOLO 모델을 특정 객체 감지 또는 특정 환경에 맞춘 최적화와 같은 특정 애플리케이션용 사용자 지정 데이터셋으로 파인튜닝하고 학습할 수 있습니다. 반면 예측 모드는 추론용으로 설계되어 실시간 컴퓨터 비전 작업을 지원합니다. 마지막으로 내보내기 모드를 사용하면 모델을 배포에 최적화된 형식으로 변환할 수 있습니다.

그림 3. 다양한 기능과 모드를 지원하는 Ultralytics YOLO 모델.

Ultralytics YOLO11은 export 모드에서 다음을 비롯한 다양한 모델 배포 옵션을 지원합니다.

• NVIDIA TensorRT: 이 형식은 NVIDIA GPU에 최적화되어 Jetson Orin Nano Super에서 고성능, 저지연 추론을 제공합니다.
• ONNX(개방형 신경망 교환): 다양한 플랫폼과 호환되어 서로 다른 하드웨어 및 소프트웨어 에코시스템에서 폭넓게 활용할 수 있습니다.
• TorchScript: PyTorch 기반 애플리케이션에 적합한 형식으로, PyTorch 워크플로에 간편하게 통합할 수 있습니다.
• TFLite(TensorFlow Lite): 경량 AI 배포를 위해 설계된 형식으로, 모바일 및 임베디드 시스템에 적합합니다.

이러한 배포 형식을 사용하면 개발자는 Jetson Orin Nano Super 하드웨어를 최대한 활용해 스마트 공간, 로보틱스, 소매 자동화와 같은 실시간 애플리케이션에서 Ultralytics YOLO11을 실행할 수 있습니다.

NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11 벤치마킹#

다음으로 Ultralytics YOLO11이 NVIDIA Jetson Orin Nano Super에서 얼마나 빠르게 실행되는지 알아보기 위해 PyTorch, ONNX, TensorRT와 같은 GPU 가속 형식으로 측정한 벤치마크를 살펴보겠습니다. 이 테스트에서 Jetson Orin Nano Super는 YOLO11 모델을 사용할 때 기존 Jetson Orin NX 16GB(슈퍼 모드 미사용)와 비슷하거나 때로는 더 빠른 추론 시간을 기록했습니다.

그림 4. NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11 벤치마킹.

Jetson Orin Nano Super의 합리적인 가격은 이러한 성능을 더욱 돋보이게 합니다. Jetson Orin NX 16GB 가격의 절반 미만으로 이와 같은 성능을 제공하므로, 고성능 Ultralytics YOLO11 애플리케이션을 개발하는 개발자에게 뛰어난 가치를 선사합니다. 비용과 성능을 모두 고려할 때 Jetson Orin Nano Super는 엣지에서 실시간 비전 AI 작업을 수행하는 데 탁월한 선택입니다.

그림 5. Jetson Orin NX 16GB에서 Ultralytics YOLO11 벤치마킹.

Ultralytics YOLO11과 NVIDIA Jetson Orin Nano Super 직접 사용해 보기#

Jetson Orin Nano Super에서 Ultralytics YOLO11 배포를 시작하려면 간단한 절차를 따르면 됩니다. NVIDIA JetPack SDK를 기기에 플래시한 다음, 빠른 설정을 위해 사전 빌드된 Docker 이미지를 사용하거나 필요한 패키지를 직접 설치할 수 있습니다.

가장 빠르게 설정하려면 업데이트된 JetPack 6 Docker 컨테이너를 사용하는 것이 가장 간단합니다. Docker 컨테이너는 특정 소프트웨어를 실행하는 데 필요한 모든 도구와 종속성을 포함하는 가볍고 이식성 있는 환경입니다.

JetPack 6.1에 최적화된 Ultralytics 컨테이너에는 CUDA 12.6, TensorRT 10.3, PyTorch 및 TorchVision과 같은 필수 도구가 미리 탑재되어 있으며, Jetson의 ARM64 아키텍처에 맞게 구성되어 있습니다. 이 컨테이너를 사용하면 개발자는 설정 시간을 절약하고 YOLO11을 활용한 비전 AI 애플리케이션의 구축과 최적화에 집중할 수 있습니다.

NVIDIA Jetson Orin Nano Super에서 Ultralytics YOLO11을 활용한 애플리케이션#

다음 AI 프로젝트에 대한 영감을 찾고 있다면, 주변에서 엣지 기반 컴퓨터 비전 애플리케이션의 가능성을 쉽게 발견할 수 있습니다.

일상생활에서 엣지 AI는 클라우드 처리에 의존하지 않고 시스템이 객체를 실시간으로 감지하고 추적하게 하여 스마트 공간을 변화시키고 있습니다. 번잡한 도시의 교통 상황을 모니터링하거나 공공장소에서 이상 행동을 식별하는 등 엣지 비전 AI는 보안과 효율성을 높이고 있습니다.

소매업체도 엣지 AI와 컴퓨터 비전을 활용하고 있습니다. 자동 재고 확인부터 도난 방지까지, Ultralytics YOLO11과 같은 모델을 사용하면 매장 내에서 직접 실시간 솔루션을 배포할 수 있습니다.

마찬가지로 헬스케어 분야의 AI에서는 엣지 기반 모니터링을 통해 환자 안전을 보호하고 이상 징후를 감지하며 규정 준수를 지원합니다. 클라우드 의존성으로 인한 지연도 발생하지 않습니다. Jetson Orin Nano Super와 Ultralytics YOLO11 같은 도구를 활용하면 비전 AI의 미래가 가장 필요한 곳인 엣지에서 펼쳐집니다.

핵심 요점#

NVIDIA Jetson Orin Nano Super Developer Kit에 YOLO11과 같은 Ultralytics YOLO 모델을 배포하면 엣지 AI 애플리케이션을 위한 안정적이고 효율적인 솔루션을 구현할 수 있습니다. 강력한 GPU 성능, PyTorch·ONNX·TensorRT 네이티브 지원, 뛰어난 벤치마크 결과를 갖춰 객체 감지 및 추적과 같은 실시간 컴퓨터 비전 작업에 적합합니다.

비전 AI와 하드웨어 가속의 발전은 개발자가 엣지에서 확장 가능하고 고성능인 솔루션을 구축하도록 지원하며 업무 방식을 바꾸고 있습니다. AI가 발전하면서 Ultralytics YOLO11과 Jetson Orin Nano Super 같은 도구를 통해 지능형 실시간 솔루션을 그 어느 때보다 쉽게 구현할 수 있게 되었습니다.

AI가 궁금하신가요? GitHub 저장소를 방문해 저희의 기여 내용을 살펴보고 커뮤니티에 참여해 보세요. 농업과 헬스케어 같은 산업에 긍정적인 영향을 주기 위해 AI를 어떻게 활용하는지 확인해 보세요.