효율적인 엣지 AI를 위해 Rockchip에 Ultralytics YOLO11 배포하기

AI 커뮤니티에서 최근 주목받는 용어는 엣지 AI이며, 특히 컴퓨터 비전 분야에서 그렇습니다. AI 기반 애플리케이션이 늘어나면서 전력과 컴퓨팅 리소스가 제한된 임베디드 장치에서 모델을 효율적으로 실행해야 할 필요성이 커지고 있습니다.

예를 들어 드론은 실시간 내비게이션에 Vision AI를 활용하고, 스마트 카메라는 객체를 즉시 감지하며, 산업 자동화 시스템은 클라우드 컴퓨팅에 의존하지 않고 품질 관리를 수행합니다. 이러한 애플리케이션은 실시간 성능과 낮은 지연 시간을 보장하기 위해 엣지 장치에서 직접 빠르고 효율적인 AI 처리를 필요로 합니다. 그러나 엣지 장치에서 AI 모델을 실행하는 일이 항상 쉬운 것은 아닙니다. AI 모델은 많은 엣지 장치가 감당할 수 있는 수준보다 더 많은 전력과 메모리를 요구하는 경우가 많습니다.

Rockchip의 RKNN Toolkit은 Rockchip 기반 디바이스에 맞게 딥러닝 모델을 최적화하여 이 문제를 해결합니다. 전용 신경망 처리 장치(NPUs)를 사용해 추론 속도를 높이며, CPU 또는 GPU 처리와 비교해 지연 시간과 전력 소비를 줄입니다.

비전 AI 커뮤니티는 Rockchip 기반 디바이스에서 Ultralytics YOLO11을 실행하기를 간절히 원했고, 여러분의 의견을 들었습니다. 이제 YOLO11을 RKNN 모델 형식으로 내보내기를 지원합니다. 이 글에서는 RKNN 내보내기가 어떻게 작동하는지, Rockchip 기반 디바이스에 YOLO11을 배포하는 것이 엣지 AI에 왜 유용한지 살펴보겠습니다.

Rockchip과 RKNN Toolkit이란 무엇인가요?#

Rockchip은 여러 임베디드 장치의 구동을 담당하는 작지만 강력한 프로세서인 시스템온칩(SoCs)을 설계하는 회사입니다. 이 칩은 CPU, GPU, 신경망 처리 장치(NPU)를 결합하여 일반 컴퓨팅 작업부터 객체 감지와 이미지 처리에 의존하는 Vision AI 애플리케이션까지 처리합니다.

Rockchip SoC는 단일 보드 컴퓨터(SBCs), 개발 보드, 산업용 AI 시스템, 스마트 카메라를 비롯한 다양한 장치에 사용됩니다. Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas, Banana Pi 등 잘 알려진 많은 하드웨어 제조업체가 Rockchip SoC 기반 장치를 제작합니다. 이러한 보드는 성능, 전력 효율성, 경제성의 균형을 제공하므로 엣지 AI 및 컴퓨터 비전 애플리케이션에 널리 사용됩니다.

그림 1. Rockchip 기반 장치의 예입니다.

AI 모델이 이러한 장치에서 효율적으로 실행되도록 Rockchip은 RKNN(Rockchip Neural Network) Toolkit을 제공합니다. 개발자는 이 툴킷을 사용해 딥러닝 모델을 변환하고 최적화하여 Rockchip의 신경망 처리 장치(NPU)를 활용할 수 있습니다.

RKNN 모델은 낮은 지연 시간의 추론과 효율적인 전력 사용에 맞게 최적화되어 있습니다. 개발자는 모델을 RKNN으로 변환하여 Rockchip 기반 장치에서 더 빠른 처리 속도, 낮은 전력 소비, 향상된 효율성을 얻을 수 있습니다.

RKNN 모델은 최적화되어 있습니다#

RKNN 모델이 Rockchip 기반 장치에서 AI 성능을 어떻게 향상하는지 자세히 살펴보겠습니다.

다양한 컴퓨팅 작업을 처리하는 CPU 및 GPU와 달리 Rockchip의 NPU는 딥러닝을 위해 특별히 설계되었습니다. AI 모델을 RKNN 형식으로 변환하면 개발자는 NPU에서 직접 추론을 실행할 수 있습니다. 따라서 빠르고 효율적인 처리가 필수적인 실시간 컴퓨터 비전 작업에 RKNN 모델이 특히 유용합니다.

NPU는 신경망 연산을 병렬로 처리하도록 설계되었기 때문에 AI 작업에서 CPU 및 GPU보다 빠르고 효율적입니다. CPU는 작업을 한 번에 한 단계씩 처리하고 GPU는 여러 코어에 작업을 분배하는 반면, NPU는 AI 전용 계산을 더 효율적으로 수행하도록 최적화되어 있습니다.

그 결과 RKNN 모델은 더 빠르게 실행되고 전력을 덜 사용하므로, 배터리 구동 장치, 스마트 카메라, 산업 자동화 및 실시간 의사 결정이 필요한 기타 엣지 AI 애플리케이션에 적합합니다.

Ultralytics YOLO 모델 개요#

Ultralytics YOLO(You Only Look Once) 모델은 객체 감지, 인스턴스 분할, 이미지 분류와 같은 실시간 컴퓨터 비전 작업을 위해 설계되었습니다. 속도, 정확성, 효율성으로 잘 알려져 있으며 농업, 제조, 헬스케어, 자율 시스템 등 다양한 산업 분야에서 널리 사용됩니다.

이러한 모델은 시간이 지나면서 상당히 개선되었습니다. 예를 들어 Ultralytics YOLOv5는 PyTorch를 통해 객체 탐지를 더 쉽게 사용할 수 있도록 했습니다. 이후 Ultralytics YOLOv8은 포즈 추정과 같은 새로운 작업을 추가하고 탐지, 세그멘테이션, 분류 및 포즈를 하나의 프레임워크로 통합했습니다. 이제 YOLO11은 더 적은 리소스로 정확도를 높이며 한 단계 더 발전했습니다. 실제로 YOLO11m은 YOLOv8m보다 매개변수를 22% 적게 사용하면서 COCO 데이터셋에서 더 뛰어난 성능을 보여, 정확도와 효율성이 모두 향상되었습니다.

그림 2. Ultralytics YOLO11을 사용한 객체 감지입니다.

Ultralytics YOLO 모델은 다양한 형식으로 내보내기도 지원하므로 여러 플랫폼에 유연하게 배포할 수 있습니다. 지원 형식에는 ONNX, TensorRT, CoreML, OpenVINO가 포함되어 개발자는 대상 하드웨어에 맞게 성능을 최적화할 수 있습니다.

YOLO11을 RKNN 모델 형식으로 내보내는 기능이 추가되어 이제 YOLO11은 Rockchip의 NPU를 활용할 수 있습니다. RKNN 형식의 가장 작은 모델인 YOLO11n은 이미지당 추론 시간 99.5ms를 달성하여 임베디드 디바이스에서도 실시간 처리가 가능합니다.

Ultralytics YOLO11 모델을 RKNN 형식으로 내보내기#

이 글을 작성하는 시점에는 Ultralytics YOLO11 객체 탐지 모델을 RKNN 형식으로 내보낼 수 있었습니다. 이후 RKNN 내보내기는 위에 링크된 RKNN 통합 가이드에 설명된 대로 모든 Ultralytics 작업과 INT8 양자화(quantize=8)까지 지원하도록 확장되었습니다.

Ultralytics YOLO11을 RKNN 형식으로 내보내는 과정은 간단합니다. 커스텀 학습한 YOLO11 모델을 불러오고 대상 Rockchip 플랫폼을 지정한 다음 몇 줄의 코드로 RKNN 형식으로 변환할 수 있습니다. RKNN 형식은 RK3588, RK3566, RK3576을 비롯한 다양한 Rockchip SoC와 호환되어 폭넓은 하드웨어를 지원합니다.

그림 3. Ultralytics YOLO11을 RKNN 모델 형식으로 내보내기입니다.

Rockchip 기반 장치에 Ultralytics YOLO11 배포하기#

내보낸 후에는 RKNN 모델을 Rockchip 기반 장치에 배포할 수 있습니다. 모델을 배포하려면 내보낸 RKNN 파일을 Rockchip 장치에 로드하고 추론을 실행하면 됩니다. 추론은 학습된 AI 모델을 사용해 새로운 이미지나 비디오를 분석하고 실시간으로 객체를 감지하는 과정입니다. 몇 줄의 코드만으로 이미지나 비디오 스트림에서 객체 식별을 시작할 수 있습니다.

그림 4. 내보낸 RKNN 모델을 사용한 추론 실행입니다.

Ultralytics YOLO11과 Rockchip의 엣지 AI 애플리케이션#

실제 환경에서 Ultralytics YOLO11을 Rockchip 기반 장치에 어떻게 배포할 수 있는지 더 잘 이해할 수 있도록 주요 엣지 AI 애플리케이션을 살펴보겠습니다.

Rockchip 프로세서는 Android 기반 태블릿, 개발 보드, 산업용 AI 시스템에 널리 사용됩니다. Android, Linux, Python을 지원하므로 다양한 산업 분야의 Vision AI 기반 솔루션을 쉽게 구축하고 배포할 수 있습니다.

Ultralytics YOLO11을 통합한 러기드 태블릿#

Rockchip 기반 장치에서 Ultralytics YOLO11을 실행하는 대표적인 활용 사례는 러기드 태블릿입니다. 러기드 태블릿은 창고, 건설 현장, 산업 환경과 같은 열악한 환경에서 사용할 수 있도록 설계된 내구성과 고성능을 갖춘 태블릿입니다. 이러한 태블릿은 객체 감지를 활용해 효율성과 안전성을 높일 수 있습니다.

예를 들어 창고 물류에서는 작업자가 YOLO11을 탑재한 Rockchip 기반 태블릿으로 재고를 자동 스캔하고 감지하여 사람의 실수를 줄이고 처리 시간을 단축할 수 있습니다. 마찬가지로 건설 현장에서는 이 태블릿으로 작업자가 헬멧과 조끼 같은 필수 안전 장비를 착용했는지 감지하여 기업이 규정을 준수하고 사고를 예방하도록 지원할 수 있습니다.

그림 5. Ultralytics YOLO11을 사용한 안전 장비 감지입니다.

품질 관리를 위한 산업용 AI#

제조 및 자동화 분야에서 Rockchip 기반 산업용 보드는 품질 관리와 공정 모니터링에 중요한 역할을 할 수 있습니다. 산업용 보드는 산업 환경의 임베디드 시스템을 위해 설계된 소형 고성능 컴퓨팅 모듈입니다. 이러한 보드에는 일반적으로 센서, 카메라, 자동화 장비와 통합할 수 있는 프로세서, 메모리, I/O 인터페이스, 연결 옵션이 포함됩니다.

이러한 보드에서 Ultralytics YOLO11 모델을 실행하면 생산 라인을 실시간으로 분석하여 문제를 즉시 발견하고 효율성을 높일 수 있습니다. 예를 들어 자동차 제조 현장에서는 Rockchip 하드웨어와 YOLO11을 사용하는 AI 시스템이 자동차가 조립 라인을 따라 이동하는 동안 긁힘, 부품 정렬 오류, 도장 결함을 감지할 수 있습니다. 제조업체는 이러한 결함을 실시간으로 식별하여 낭비를 줄이고 생산 비용을 낮추며 차량이 고객에게 전달되기 전에 더 높은 품질 기준을 충족할 수 있습니다.

Rockchip 기반 장치에서 Ultralytics YOLO11을 실행할 때의 이점#

Rockchip 기반 장치는 성능, 비용, 효율성의 균형이 뛰어나 엣지 AI 애플리케이션에 Ultralytics YOLO11을 배포하기에 적합합니다.

Rockchip 기반 장치에서 Ultralytics YOLO11을 실행하면 다음과 같은 이점이 있습니다.

• 향상된 AI 성능: Rockchip 기반 장치는 Raspberry Pi와 같은 CPU 기반 보드보다 AI 추론을 더 효율적으로 처리하여 객체 감지 속도를 높이고 지연 시간을 줄입니다.
• 비용 효율적인 솔루션: AI를 실험 중이며 강력한 성능을 제공하면서도 경제적인 옵션이 필요하다면 Rockchip이 좋은 선택입니다. 속도나 효율성을 저하하지 않고 Ultralytics YOLO11을 실행할 수 있는 경제적인 방법을 제공합니다.
• 에너지 효율성: Rockchip 기반 장치에서 컴퓨터 비전 모델을 실행하면 GPU를 사용할 때보다 전력을 덜 소비하므로 배터리 구동 장치와 임베디드 AI 애플리케이션에 적합합니다.

핵심 요점#

Ultralytics YOLO11은 하드웨어 가속과 RKNN 형식을 활용하여 Rockchip 기반 장치에서 효율적으로 실행할 수 있습니다. 이를 통해 추론 시간을 줄이고 성능을 향상하므로 실시간 컴퓨터 비전 작업과 엣지 AI 애플리케이션에 적합합니다.

RKNN Toolkit은 양자화와 같은 주요 최적화 도구를 제공하여 Ultralytics YOLO11 모델이 Rockchip 플랫폼에서 잘 작동하도록 지원합니다. 엣지 AI 도입이 확대됨에 따라 장치 내에서 효율적으로 처리할 수 있도록 모델을 최적화하는 것이 중요해질 것입니다. 적절한 도구와 하드웨어를 사용하면 개발자는 다양한 산업 분야의 컴퓨터 비전 솔루션에서 새로운 가능성을 실현할 수 있습니다.

커뮤니티에 참여하고 GitHub 저장소를 살펴보며 AI에 대해 자세히 알아보세요. 솔루션 페이지에서 농업 분야의 컴퓨터 비전과 헬스케어 분야의 AI가 어떻게 혁신을 이끄는지 확인해 보세요. 또한 지금 바로 Vision AI 솔루션을 구축하려면 라이선스 옵션을 확인해 보세요!