효율적인 Edge AI를 위해 Rockchip에 Ultralytics YOLO11 배포하기

최근 AI 커뮤니티에서 가장 화두가 되는 주제 중 하나는 에지 AI, 특히 computer vision 분야입니다. AI 기반 애플리케이션이 성장함에 따라 제한된 전력과 컴퓨팅 자원을 가진 임베디드 기기에서 모델을 효율적으로 실행해야 할 필요성이 커지고 있습니다.

예를 들어, 드론은 실시간 내비게이션을 위해 비전 AI를 사용하고, 스마트 카메라는 즉시 객체를 감지하며, 산업 자동화 시스템은 클라우드 컴퓨팅에 의존하지 않고 품질 관리를 수행합니다. 이러한 애플리케이션은 실시간 성능과 짧은 지연 시간을 보장하기 위해 엣지 장치에서 직접 빠르고 효율적인 AI 처리를 수행해야 합니다. 하지만 엣지 장치에서 AI 모델을 실행하는 것은 항상 쉬운 일은 아닙니다. AI 모델은 많은 엣지 장치가 감당할 수 있는 것보다 더 많은 전력과 메모리를 필요로 하는 경우가 많습니다.

Rockchip의 RKNN Toolkit은 Rockchip 기반 장치에 맞게 딥러닝 모델을 최적화함으로써 이 문제를 해결하도록 돕습니다. 이 툴킷은 전용 NPU(신경망 처리 장치)를 사용하여 추론 속도를 높이고, CPU 또는 GPU 처리 대비 지연 시간과 전력 소비를 줄여줍니다.

비전 AI 커뮤니티에서는 록칩 기반 기기에서 Ultralytics YOLO11을 실행하기를 간절히 원해왔으며, 당사는 여러분의 의견에 귀를 기울였습니다. exporting YOLO11 to RKNN 모델 형식에 대한 지원이 추가되었습니다. 본 기사에서는 RKNN으로의 내보내기가 작동하는 방식과 록칩 기반 기기에서 YOLO11을 배포하는 것이 판도를 바꿀 만한 혁신인 이유를 살펴보겠습니다.

Rockchip과 RKNN Toolkit이란 무엇인가요?#

록칩은 수많은 임베디드 기기를 구동하는 작지만 강력한 프로세서인 시스템온칩(SoC)을 설계하는 기업입니다. 이 칩들은 CPU, GPU, 그리고 신경망 처리 장치(NPU)를 결합하여 object detection 및 이미지 처리에 의존하는 비전 AI 애플리케이션부터 일반 컴퓨팅 작업까지 모든 것을 처리합니다.

록칩 SoC는 단일보드 컴퓨터(SBC), 개발 보드, 산업용 AI 시스템, 스마트 카메라를 포함한 다양한 기기에 사용됩니다. Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas, Banana Pi 등 많은 유명 하드웨어 제조업체가 록칩 SoC로 구동되는 기기를 제작하고 있습니다. 이 보드들은 성능, 전력 효율성, 합리적인 가격의 균형을 제공하기 때문에 edge AI 및 컴퓨터 비전 애플리케이션에서 인기가 높습니다.

Fig 1. 록칩 기반 기기의 예시.

이러한 장치에서 AI 모델이 효율적으로 실행되도록 돕기 위해 Rockchip은 RKNN(Rockchip Neural Network) Toolkit을 제공합니다. 개발자는 이 툴킷을 사용하여 딥러닝 모델을 변환하고 최적화하여 Rockchip의 NPU를 활용할 수 있습니다.

RKNN 모델은 낮은 지연 시간의 추론과 효율적인 전력 사용에 최적화되어 있습니다. 모델을 RKNN으로 변환하면 개발자는 Rockchip 기반 장치에서 더 빠른 처리 속도, 감소된 전력 소비, 향상된 효율성을 얻을 수 있습니다.

RKNN 모델은 최적화되어 있습니다#

RKNN 모델이 Rockchip 기반 장치에서 AI 성능을 어떻게 향상하는지 더 자세히 살펴보겠습니다.

광범위한 컴퓨팅 작업을 처리하는 CPU 및 GPU와 달리 록칩의 NPU는 딥러닝을 위해 특별히 설계되었습니다. AI 모델을 RKNN 형식으로 변환함으로써 개발자는 NPU에서 직접 추론을 실행할 수 있습니다. 이는 빠르고 효율적인 처리가 필수적인 실시간 computer vision tasks에서 RKNN 모델을 특히 유용하게 만듭니다.

NPU는 신경망 계산을 병렬로 처리하도록 구축되었기 때문에 AI 작업에서 CPU 및 GPU보다 더 빠르고 효율적입니다. CPU가 작업을 한 번에 하나씩 처리하고 GPU가 다중 코어에 작업을 분산시키는 반면, NPU는 AI 전용 계산을 더 효율적으로 수행하도록 최적화되어 있습니다.

결과적으로 RKNN 모델은 더 빠르게 실행되고 전력을 덜 사용하므로, 배터리 구동 장치, 스마트 카메라, 산업 자동화 및 실시간 의사결정이 필요한 기타 엣지 AI 애플리케이션에 이상적입니다.

Ultralytics YOLO 모델 개요#

Ultralytics YOLO (You Only Look Once) models은 객체 검출, 인스턴스 분할, 이미지 분류와 같은 실시간 컴퓨터 비전 작업을 위해 설계되었습니다. 속도, 정확도, 효율성으로 잘 알려져 있으며 농업, 제조, 헬스케어, 자율주행 시스템 등의 산업 전반에서 널리 사용됩니다.

이 모델들은 시간이 지남에 따라 크게 발전했습니다. 예를 들어 Ultralytics YOLOv5는 PyTorch를 사용하여 객체 검출을 더 쉽게 사용할 수 있도록 만들었습니다. 그 후 Ultralytics YOLOv8은 포즈 추정 및 이미지 분류와 같은 새로운 기능을 추가했습니다. 이제 YOLO11은 더 적은 자원을 사용하면서도 정확도를 높여 한 걸음 더 나아갑니다. 실제로 YOLO11m은 YOLOv8m보다 22% 더 적은 매개변수를 사용하면서 COCO 데이터셋에서 더 나은 성능을 보여주어 더욱 정밀하고 효율적입니다.

그림 2. Ultralytics YOLO11을 사용한 객체 탐지.

Ultralytics YOLO 모델은 여러 형식으로의 exporting도 지원하여 다양한 플랫폼에서 유연한 배포가 가능합니다. 이러한 형식에는 ONNX, TensorRT, CoreML, OpenVINO가 포함되어 있어 개발자가 타겟 하드웨어에 따라 성능을 자유롭게 최적화할 수 있습니다.

YOLO11을 RKNN 모델 형식으로 내보내는 지원이 추가됨에 따라, 이제 YOLO11은 Rockchip의 NPU를 활용할 수 있게 되었습니다. 가장 작은 모델인 RKNN 형식의 YOLO11n은 이미지당 99.5ms라는 인상적인 추론 시간을 달성하여 임베디드 장치에서도 실시간 처리를 가능하게 합니다.

Ultralytics YOLO11 모델을 RKNN 포맷으로 내보내기#

현재 Ultralytics YOLO11 객체 detection 모델은 RKNN 형식으로 내보낼 수 있습니다. 또한, 향후 업데이트에서 다른 computer vision 작업 및 INT8 양자화에 대한 지원을 추가하기 위해 작업 중이니 많은 기대 부탁드립니다.

Ultralytics YOLO11을 RKNN 포맷으로 내보내는 과정은 매우 간단합니다. custom-trained YOLO11 모델을 로드하고, 타겟 Rockchip 플랫폼을 지정한 다음, 몇 줄의 코드로 RKNN 포맷으로 변환할 수 있습니다. RKNN 포맷은 RK3588, RK3566, RK3576을 비롯한 다양한 Rockchip SoC와 호환되므로 광범위한 하드웨어 지원을 보장합니다.

그림 3. Ultralytics YOLO11을 RKNN 모델 포맷으로 내보내기.

Rockchip 기반 기기에 Ultralytics YOLO11 배포하기#

내보내기가 완료되면 RKNN 모델을 Rockchip 기반 장치에 배포할 수 있습니다. 모델을 배포하려면 내보낸 RKNN 파일을 Rockchip 장치에 로드하고 추론을 실행하기만 하면 됩니다. 추론은 학습된 AI 모델을 사용하여 새로운 이미지나 비디오를 분석하고 실시간으로 객체를 감지하는 과정입니다. 단 몇 줄의 코드만으로 이미지나 비디오 스트림에서 객체를 식별할 수 있습니다.

그림 4. 내보낸 RKNN 모델을 사용하여 추론 실행.

Ultralytics YOLO11 및 Rockchip의 Edge AI 애플리케이션#

실제 환경에서 Rockchip 지원 기기에 Ultralytics YOLO11을 배포할 수 있는 위치를 더 잘 파악하기 위해 주요 edge AI 애플리케이션을 살펴보겠습니다.

Rockchip 프로세서는 Android 기반 태블릿, 개발 보드 및 산업용 AI 시스템에 널리 사용됩니다. Android, Linux 및 Python에 대한 지원을 통해 다양한 산업을 위한 비전 AI 기반 솔루션을 쉽게 구축하고 배포할 수 있습니다.

Ultralytics YOLO11이 통합된 러기드 태블릿#

Rockchip 기반 기기에서 Ultralytics YOLO11을 실행하는 일반적인 애플리케이션은 러기드 태블릿입니다. 이 태블릿은 창고, 건설 현장, 산업 현장과 같은 가혹한 환경을 위해 설계된 내구성 있고 고성능인 태블릿입니다. 이러한 태블릿은 객체 detection을 활용하여 효율성과 안전성을 향상시킬 수 있습니다.

예를 들어 warehouse logistics에서 작업자는 YOLO11이 탑재된 록칩 기반 태블릿을 사용하여 재고를 자동으로 스캔하고 감지함으로써 인적 오류를 줄이고 처리 시간을 단축할 수 있습니다. 마찬가지로 건설 현장에서 이러한 태블릿을 사용하여 작업자가 헬멧 및 조끼와 같은 필수 안전 장비를 착용했는지 감지함으로써 기업이 규정을 준수하고 사고를 예방하도록 도울 수 있습니다.

Fig 5. Ultralytics YOLO11을 사용하여 안전 장비를 감지하는 모습.

품질 관리를 위한 산업용 AI#

제조 및 자동화와 관련하여, Rockchip 기반 산업용 보드는 품질 관리 및 공정 모니터링에서 중요한 역할을 할 수 있습니다. 산업용 보드는 산업 환경의 임베디드 시스템을 위해 설계된 작고 고성능인 컴퓨팅 모듈입니다. 이러한 보드에는 일반적으로 센서, 카메라 및 자동화 기계와 통합할 수 있는 프로세서, 메모리, I/O 인터페이스 및 연결 옵션이 포함되어 있습니다.

이러한 보드에서 Ultralytics YOLO11 모델을 구동하면 생산 라인을 실시간으로 분석하여 문제를 즉시 찾아내고 효율성을 향상시킬 수 있습니다. 예를 들어 자동차 제조 공정에서 Rockchip 하드웨어와 YOLO11을 사용하는 AI 시스템은 자동차가 조립 라인을 따라 이동할 때 긁힘, 정렬되지 않은 부품, 도장 결함을 감지할 수 있습니다. 이러한 결함을 실시간으로 파악함으로써 제조업체는 낭비를 줄이고, 생산 비용을 절감하며, 차량이 고객에게 도달하기 전에 더 높은 품질 기준을 보장할 수 있습니다.

Rockchip 기반 기기에서 Ultralytics YOLO11을 실행할 때의 이점#

Rockchip 기반 기기는 성능, 비용, 효율성 간의 좋은 균형을 제공하므로 edge AI 애플리케이션에 Ultralytics YOLO11을 배포하는 데 훌륭한 선택입니다.

Rockchip 기반 기기에서 Ultralytics YOLO11을 실행할 때의 몇 가지 장점은 다음과 같습니다.

• 향상된 AI performance: 록칩 지원 기기는 Raspberry Pi와 같은 CPU 기반 보드보다 AI 추론을 더 효율적으로 처리하여 더 빠른 객체 검출과 더 낮은 지연 시간을 제공합니다.
• 비용 효율적인 솔루션: AI로 실험 중이며 강력한 성능을 제공하면서도 예산에 친화적인 옵션이 필요한 경우 Rockchip은 훌륭한 선택입니다. 속도나 효율성을 저해하지 않으면서 Ultralytics YOLO11을 실행할 수 있는 합리적인 방법을 제공합니다.
• 에너지 효율성: Rockchip 기반 장치에서 컴퓨터 비전 모델을 실행하면 GPU보다 전력을 덜 소비하므로 배터리로 작동하는 장치 및 임베디드 AI 애플리케이션에 이상적입니다.

핵심 요약#

Ultralytics YOLO11은 하드웨어 가속과 RKNN 형식을 활용하여 Rockchip 기반 장치에서 효율적으로 실행될 수 있습니다. 이는 추론 시간을 줄이고 성능을 향상하여 실시간 컴퓨터 비전 작업과 엣지 AI 애플리케이션에 적합합니다.

RKNN Toolkit은 양자화 및 파인튜닝과 같은 주요 최적화 도구를 제공하여 Ultralytics YOLO11 모델이 Rockchip 플랫폼에서 잘 작동하도록 보장합니다. edge AI 도입이 증가함에 따라 효율적인 온디바이스 처리를 위해 모델을 최적화하는 것이 필수적입니다. 올바른 도구와 하드웨어를 통해 개발자는 다양한 산업에서 computer vision 솔루션의 새로운 가능성을 열 수 있습니다.

our community에 가입하고 GitHub repository를 탐색하여 AI에 대해 자세히 알아보세요. 솔루션 페이지를 방문하여 computer vision in agriculture 및 AI in healthcare가 어떻게 혁신을 주도하고 있는지 확인해 보세요. 또한 licensing options을 확인하고 지금 바로 비전 AI 솔루션 구축을 시작해 보세요!