Ultralytics YOLO11 모델을 NCNN 모델 형식으로 내보내기

AI 솔루션은 재난 관리, 폐기물 관리, 소방 등 위험도가 높은 분야에서도 점점 더 보편화되고 있습니다. 도입이 계속 증가함에 따라 AI 모델은 서버나 클라우드뿐만 아니라 현장에서 작동하는 기기에서도 더욱 다양한 환경에 배포되고 있습니다.

예를 들어, 소형 프로세서로 구동되는 엣지 컴포넌트가 장착된 드론과 장비는 재난 구역에서 중요한 역할을 할 수 있습니다. 열화상 카메라를 장착한 이 기기들은 현장에서 데이터를 수집하고 분석하여 잔해 아래에 갇힌 사람들을 찾아낼 수 있습니다. 이는 이미지와 동영상에서 시각적 정보를 해석하는 인공지능의 한 분야인 computer vision을 통해 가능해집니다.

그러나 엣지 장치에 비전 AI 모델을 배포하는 것은 생각보다 간단하지 않습니다. AI 모델은 제한된 컴퓨팅 파워와 메모리를 가진 하드웨어에서 효율적으로 실행되도록 최적화되어야 합니다. 이것이 바로 NCNN과 같은 AI 프레임워크가 필수적인 이유입니다. NCNN은 정확도를 희생하지 않으면서 저전력 장치에서 실시간 성능을 위해 모델을 변환하고 최적화하도록 지원합니다.

특히 Ultralytics YOLO11과 같은 Ultralytics YOLO 모델은 Ultralytics가 지원하는 NCNN 연동을 사용하여 NCNN 모델 형식으로 쉽게 내보낼 수 있습니다. YOLO11을 NCNN 모델 형식으로 변환하면 정확도를 잃지 않으면서도 모델이 더 빠르게 실행되고, 더 적은 메모리를 사용하며, 다양한 기기에서 원활하게 작동할 수 있습니다.

이 글에서는 Ultralytics가 지원하는 NCNN integration을 살펴보고 YOLO11 모델을 NCNN 모델 형식으로 내보내는 방법을 단계별로 알아보겠습니다. 시작하겠습니다!

NCNN 개요: 경량 신경망 프레임워크#

NCNN은 Tencent에서 개발한 오픈 소스 신경망 추론 프레임워크입니다. 모바일 및 엣지 환경을 위해 특별히 설계되었으며, 최소한의 점유 공간으로 고성능 추론을 제공합니다. 따라서 스마트폰, 드론, IoT(사물인터넷) 장치와 같이 리소스가 제한된 장치에 배포하기에 이상적입니다.

NCNN 프레임워크는 효율성, 이 포팅 용이성, 모바일 CPU(중앙 처리 장치)에 대한 최적화 덕분에 AI 및 딥러닝 커뮤니티에서 인기를 얻었습니다. 이를 통해 개발자는 메모리와 처리 능력이 제한된 저렴한 기기에서도 신경망 모델을 실행할 수 있습니다. 단순하고 유연하도록 설계된 NCNN은 다양한 computer vision models을 지원하며 Android, Linux, iOS, macOS를 비롯한 여러 플랫폼에서 실행됩니다.

Fig 1. NCNN 형식의 모델은 다양한 플랫폼에 배포할 수 있습니다.

NCNN 성능 최적화의 핵심 기능#

NCNN을 영향력 있고 널리 사용되는 신경망 추론 프레임워크로 만드는 몇 가지 핵심 기능은 다음과 같습니다.

• 경량화 및 하드웨어 독립적 런타임: NCNN 프레임워크는 표준 CPU에서 모델을 실행하도록 최적화되어 있으며, GPU(그래픽 처리 장치)나 NPU(신경망 처리 장치)와 같은 특수 하드웨어가 필요하지 않습니다.
• Model quantization: 메모리와 속도가 중요한 애플리케이션의 경우, NCNN은 모델 크기를 줄이고 추론 시간을 개선하는 양자화 방법을 지원합니다. 이를 통해 모바일 및 임베디드 기기에서 AI 모델을 원활하게 실행할 수 있습니다.
• 오픈 소스 및 접근성: 오픈 소스 프레임워크로서 NCNN은 누구나 자유롭게 사용, 수정 및 개선할 수 있습니다. 이는 혁신을 장려하고 다양한 사용 사례 전반에서 폭넓은 채택을 이끌어냅니다.
• 활발한 개발 및 커뮤니티: NCNN은 Tencent와 성장하는 개발자 커뮤니티에 의해 GitHub에서 활발하게 유지 관리되며, 정기적인 업데이트와 모델 호환성 개선이 이루어지고 있습니다.

Ultralytics YOLO11 모델을 NCNN 모델 포맷으로 내보내기: 빠른 가이드#

NCNN이 무엇인지 살펴보았으니, 이제 Ultralytics YOLO11 모델을 NCNN 포맷으로 내보내는 방법을 자세히 알아보겠습니다.

1단계: Ultralytics Python 패키지 설치#

모델을 내보내기 전 첫 번째 단계는 패키지 설치 프로그램인 pip를 사용하여 Ultralytics Python package를 설치하는 것입니다. 터미널이나 명령 프롬프트에서 "pip install ultralytics"를 실행하여 설치할 수 있습니다. Jupyter Notebook 또는 Google Colab에서 작업하는 경우 명령어 앞에 느낌표를 붙여 "!pip install ultralytics"와 같이 입력하세요.

Ultralytics 패키지는 다양한 컴퓨터 비전 작업을 위해 비전 AI 모델을 학습, 테스트, 미세 조정 및 내보내는 도구를 제공합니다. 설치 중이나 모델 내보내기 중에 문제가 발생하면 공식 Ultralytics 문서 및 Common Issues guide가 문제 해결에 유용한 리소스입니다.

2단계: Ultralytics YOLO11 내보내기#

Ultralytics 패키지를 설치한 후, YOLO11 모델을 로드하여 NCNN 형식으로 내보낼 수 있습니다. 아래 예시는 사전 학습된 모델("yolo11n.pt")을 사용하여 NCNN 형식으로 내보내고, 결과를 "/yolo11n_ncnn_model"이라는 폴더에 저장하는 방법을 보여줍니다.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="ncnn")

내보낸 Ultralytics YOLO11 모델은 스마트폰, 임베디드 시스템, IoT 플랫폼 같은 다양한 경량 기기에 배포할 수 있습니다. 배포 과정도 매우 간소화되어 있습니다.

예를 들어, 아래 코드 스니펫은 내보낸 모델을 로드하고 추론을 실행하는 방법을 보여줍니다. 추론은 학습된 모델을 사용하여 새로운 미지의 데이터에 대해 예측을 수행하는 과정을 의미합니다. 이 예시에서 모델은 공개적으로 사용 가능한 URL에서 가져온 자전거를 탄 남성의 이미지로 테스트됩니다.

ncnn_model = YOLO("./yolo11n_ncnn_model")
results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

코드를 실행하면 "runs/detect/predict" 폴더에서 출력 이미지를 확인할 수 있습니다.

그림 2. NCNN 포맷으로 내보낸 Ultralytics YOLO11 모델을 사용한 객체 감지. 저자 제공 이미지.

NCNN을 이용한 실시간 탐지를 선택해야 하는 이유#

Ultralytics가 지원하는 다양한 integrations를 살펴보면 여러 내보내기 옵션이 있는 것을 확인할 수 있습니다. 그렇다면 NCNN 형식은 언제 선택해야 할까요?

NCNN 내보내기 포맷은 리소스가 제한된 기기에 Ultralytics YOLO11 모델을 배포해야 할 때 신뢰할 수 있는 선택입니다. 클라우드 연결 없이 엣지 디바이스처럼 기기에서 직접 실행되는 실시간 애플리케이션에 특히 유용합니다. 즉, 모델이 현장에서 바로 객체 검출 같은 작업을 처리할 수 있습니다.

NCNN이 적합한 몇 가지 일반적인 시나리오는 다음과 같습니다:

• 모바일 배포: NCNN 형식은 Android 및 iOS에 최적화되어 있어, 모바일 앱에 모델을 쉽게 통합하여 최소한의 지연 시간으로 빠른 온디바이스 추론을 수행할 수 있습니다.

• 임베디드 시스템 및 IoT 장치: Raspberry Pi나 NVIDIA Jetson과 같은 장치에 배포하는 경우, NCNN으로 내보내면 성능과 반응성을 높이는 데 도움이 될 수 있습니다.

• 데스크탑 및 서버 배포: NCNN은 저전력 장치에 뛰어나지만, 데스크탑 및 서버 환경을 위한 Linux, Windows, macOS도 지원합니다. 이는 개발자에게 유연한 배포 옵션을 제공합니다.

그림 3. NCNN을 사용한 Ultralytics YOLO11 모델 배포 옵션. 저자 제공 이미지.

NCNN을 이용한 Ultralytics YOLO11 모델 배포의 사용 사례#

다음으로, Ultralytics YOLO11 모델을 NCNN으로 내보내는 것이 실제로 큰 도움이 될 수 있는 실용적인 유스케이스를 살펴보겠습니다.

소방용 비전 AI 헬멧#

카메라와 내장 마이크로컴퓨터가 탑재된 안전모는 construction 및 소방 분야에서 안전과 인식을 향상시키는 데 사용할 수 있습니다. Ultralytics YOLO11과 같은 실시간 비전 AI 모델을 이러한 기기에서 실행하여 다양한 유형의 객체와 장비를 검출할 수 있습니다. 예를 들어, 이러한 안전모는 소방관이 시야가 확보되지 않는 환경에서 사람, 장애물, 위험 요소를 감지하는 데 도움을 줄 수 있습니다.

그러나 웨어러블 장치에서 전체 크기의 모델을 직접 실행하면 성능이 저하되고 배터리가 빨리 소모될 수 있습니다. 이 경우 NCNN 통합을 사용하는 것이 현명한 선택입니다. 이를 통해 저지연 및 에너지 효율적인 추론이 가능해집니다.

폐기물 분류 및 스마트 쓰레기통#

마찬가지로 smart waste bins에 카메라와 소형 엣지 AI 프로세서를 통합하여 폐기물이 버려질 때 재료를 식별하고 분류할 수 있습니다. YOLO11과 같은 비전 AI 모델은 종이, 플라스틱, 고무 등 다양한 유형의 폐기물을 감지하도록 맞춤 학습할 수 있습니다.

폐기물이 식별되면 재사용 가능 여부에 따라 별도의 구역으로 자동으로 분류할 수 있습니다. NCNN 포맷의 내보낸 Ultralytics YOLO11 모델과 함께 엣지 AI를 사용하면, 이러한 쓰레기통은 인터넷 연결 없이 로컬에서 데이터를 처리할 수 있습니다. 이를 통해 자율적으로 작동하며 최소한의 지연으로 실시간 분류 결정을 내릴 수 있습니다.

Fig 4. YOLO11을 사용하여 플라스틱 폐기물 감지하기.

드론과 컴퓨터 비전을 이용한 가축 모니터링#

때로는 오지의 농업 지역은 안정적인 인터넷 연결이나 일관된 전력 공급이 부족하여 AI 애플리케이션을 온라인으로 실행하는 데 제한이 있습니다. 이러한 경우 엣지 장치와 드론을 사용하여 다양한 작업을 처리할 수 있습니다.

좋은 예로 소, 양, 가금류 등 livestock 모니터링이 있습니다. 이는 YOLO11과 같은 비전 AI 모델을 사용하여 동물 이동을 추적하고, 부상, 질병 또는 비정상적인 행동 징후를 감지하며, 동물이 사라졌을 때 농부에게 경고하는 데 활용할 수 있습니다. 또한 NCNN 연동을 통해 엣지 기기에서 이 데이터를 직접 실행하고 처리할 수 있으므로, 원격 지역이나 오프그리드 지역의 농장 내 이미지 및 영상 분석에 매우 적합합니다.

Fig 5. YOLO11을 사용한 가축 모니터링 살펴보기.

핵심 요약#

Ultralytics에서 지원하는 NCNN 통합을 사용하여 YOLO11 모델을 내보내는 것은 저전력 환경에 비전 AI를 도입하는 간단한 방법입니다. 재난 지역의 드론이든, 스마트 폐기물 분류 쓰레기통이든, 오지 농장의 가축 모니터링이든 관계없이 YOLO와 NCNN은 빠르고 효율적이며 휴대 가능한 실시간 AI 추론을 가능하게 합니다. 이러한 접근 방식은 가장 중요한 순간에 AI 시스템을 보다 접근하기 쉽고 신뢰할 수 있게 만드는 데 도움을 줍니다.

AI에 대해 더 알고 싶으신가요? GitHub repository를 탐색하고, our community에 참여하며, our licensing options을 확인하여 컴퓨터 vision 프로젝트를 시작해 보세요. 솔루션 페이지에서 AI in retail 및 computer vision in healthcare과 같은 혁신이 미래를 어떻게 만들어가고 있는지 알아보세요.