컴퓨터 비전에서의 프루닝과 양자화: 퀵 가이드

기술의 발전과 함께 엣지 디바이스가 점점 더 보편화되고 있습니다. 심박수를 추적하는 스마트워치부터 거리를 모니터링하는 드론에 이르기까지, 엣지 시스템은 디바이스 내부에서 로컬로 실시간 데이터 처리를 수행할 수 있습니다.

이 방법은 데이터를 클라우드로 전송하는 것보다 종종 더 빠르고 안전하며, 특히 번호판 감지나 제스처 추적과 같은 개인 데이터가 포함된 애플리케이션에서 더욱 그렇습니다. 이것들은 기계가 시각적 정보를 해석하고 이해할 수 있도록 하는 인공지능(AI)의 한 분야인 computer vision의 예시입니다.

그림 1. 번호판 감지의 예시. (Source)

그러나 중요한 고려 사항은 이러한 애플리케이션이 무거운 연산을 처리하고, 최소한의 리소스를 사용하며, 독립적으로 작동할 수 있는 비전 AI 모델을 요구한다는 점입니다. 대부분의 computer vision models은 고성능 시스템용으로 개발되어 에지 디바이스에 직접 배포하기에는 적합하지 않은 경우가 많습니다.

이러한 격차를 해소하기 위해 개발자들은 종종 모델을 더 작은 하드웨어에서 효율적으로 실행할 수 있도록 최적화 기술을 적용합니다. 이러한 조정은 메모리와 처리 능력이 제한된 실제 엣지 배포 환경에서 매우 중요합니다.

흥미롭게도 Ultralytics YOLO11과 같은 computer vision 모델은 이미 에지 효율성을 염두에 두고 설계되어 실시간 작업에 훌륭한 선택이 됩니다. 그러나 프루닝(Pruning) 및 퀀타이제이션(Quantization) 같은 모델 최적화 기법을 사용하여 성능을 더욱 향상시킬 수 있으며, 이를 통해 제한된 디바이스에서도 훨씬 빠른 추론과 낮은 리소스 사용량이 가능해집니다.

이 글에서는 프루닝과 양자화가 무엇인지, 어떻게 작동하는지, 그리고 실제 엣지 배포 환경에서 YOLO 모델의 성능에 어떻게 기여할 수 있는지 자세히 살펴보겠습니다. 바로 시작해 보겠습니다!

프루닝 및 양자화: 모델 최적화의 핵심 기술#

비전 AI 모델을 엣지 디바이스에 배포하기 위해 준비할 때, 가장 중요한 목표 중 하나는 성능 저하 없이 모델을 경량화하고 신뢰할 수 있도록 만드는 것입니다. 이를 위해서는 메모리, 전력, 처리 용량이 제한된 하드웨어에서 효율적으로 작동하도록 모델의 크기와 계산 요구량을 줄여야 합니다. 이를 위한 두 가지 일반적인 방법이 프루닝과 양자화입니다.

프루닝은 신경망을 더 작고 효율적으로 만드는 데 도움을 주는 AI model optimization 기법입니다. 많은 경우 특정 연결이나 노드 같은 모델의 일부는 최종 예측에 크게 기여하지 않습니다. 프루닝은 이러한 중요도가 낮은 부분을 식별하고 제거하여 모델의 크기를 줄이고 성능을 가속화합니다.

반면에 양자화는 모델이 사용하는 숫자의 정밀도를 낮추는 최적화 기술입니다. 고정밀 32비트 부동 소수점에 의존하는 대신, 모델은 8비트 정수와 같이 더 작고 효율적인 형식으로 전환합니다. 이러한 변화는 메모리 사용량을 줄이고, 모델이 예측을 수행하는 과정인 추론 속도를 높이는 데 도움을 줍니다.

그림 2. 프루닝 및 퀀타이제이션 살펴보기. (Source)

프루닝과 양자화의 작동 원리#

pruning과 퀀타이제이션이 무엇인지 더 잘 이해했으므로, 이 두 가지가 어떻게 작동하는지 살펴보겠습니다.

프루닝은 민감도 분석(sensitivity analysis)이라고 알려진 프로세스를 사용하여 수행됩니다. 이 프로세스는 특정 가중치, 뉴런 또는 채널과 같은 신경망 모델의 구성 요소 중 최종 출력 예측에 가장 적게 기여하는 부분을 식별합니다. 이러한 부분은 정확도에 미치는 영향을 최소화하면서 제거할 수 있습니다. 프루닝 후에는 일반적으로 모델을 재학습하여 성능을 미세 조정합니다. 이 주기를 반복하여 크기와 정확도 사이의 적절한 균형을 찾을 수 있습니다.

한편, model quantization은 모델이 데이터를 처리하는 방식에 초점을 맞춥니다. 이 과정은 모델이 샘플 데이터를 실행하여 처리해야 하는 값의 범위를 학습하는 캘리브레이션(Calibration)으로 시작됩니다. 그런 다음 해당 값은 32비트 부동 소수점에서 8비트 정수와 같은 더 낮은 정밀도 형식으로 변환됩니다.

그림 3. 퀀타이제이션은 모델 크기와 복잡성을 줄이는 데 도움을 줍니다. (Source)

실제 AI 프로젝트에서 프루닝과 양자화를 더 쉽게 사용할 수 있게 해주는 도구들이 많이 있습니다. PyTorch 및 TensorFlow와 같은 대부분의 AI 프레임워크는 이러한 최적화 기술에 대한 기본 지원을 포함하고 있어, 개발자가 이를 모델 배포 프로세스에 직접 통합할 수 있습니다.

모델이 최적화되면 ONNX Runtime과 같은 도구를 사용하여 서버, 데스크톱, 엣지 디바이스 등 다양한 하드웨어 플랫폼에서 효율적으로 실행할 수 있습니다. 또한 Ultralytics는 YOLO 모델을 양자화에 적합한 형식으로 내보낼 수 있는 통합 기능을 제공하여, 모델 크기를 줄이고 성능을 향상시키는 것을 더 쉽게 만들어 줍니다.

Ultralytics YOLO 모델 최적화 개요#

YOLO11과 같은 Ultralytics YOLO 모델은 빠르고 단일 단계인 객체 검출로 널리 인정받아 실시간 vision AI tasks에 이상적입니다. 이 모델들은 이미 에지 배포에 적합하도록 가볍고 효율적으로 설계되었습니다. 그러나 시각적 특징을 처리하는 역할을 담당하는 레이어인 컨볼루션 레이어(Convolutional layers)는 추론 과정에서 여전히 상당한 컴퓨팅 성능을 요구할 수 있습니다.

궁금하실 수 있습니다: Ultralytics YOLO11이 이미 엣지 환경에 맞게 최적화되어 있다면 왜 추가 최적화가 필요할까요? 간단히 말해, 모든 엣지 장치가 동일하지 않기 때문입니다. 일부 장치는 표준 LED 전구보다 전력을 적게 소비하는 초소형 임베디드 프로세서와 같은 매우 사양이 낮은 하드웨어에서 작동합니다.

이러한 경우 Ultralytics YOLO11과 같이 간소화된 모델조차도 부드럽고 신뢰할 수 있는 성능을 보장하기 위해 추가 최적화가 필요합니다. 가지치기(pruning)와 양자화(quantization) 같은 기법은 정확도에 큰 영향을 주지 않으면서 모델 크기를 줄이고 추론 속도를 높이는 데 도움을 주어, 이러한 제약된 환경에 이상적입니다.

이러한 최적화 기법을 더 쉽게 적용할 수 있도록, Ultralytics는 YOLO 모델을 ONNX, TensorRT, OpenVINO, CoreML, PaddlePaddle과 같은 여러 형식으로 내보내는 데 사용할 수 있는 다양한 integrations를 지원합니다. 각 형식은 특정 유형의 하드웨어 및 배포 환경과 잘 작동하도록 설계되었습니다.

예를 들어, ONNX는 광범위한 도구 및 플랫폼과의 호환성 때문에 양자화 워크플로우에서 자주 사용됩니다. 반면 TensorRT는 NVIDIA 디바이스에 최적화되어 있으며 INT8을 사용한 저정밀 추론을 지원하므로, 엣지 GPU에서의 고속 배포에 이상적입니다.

Ultralytics YOLO 모델 최적화의 영향력 있는 사용 사례#

컴퓨터 비전이 다양한 실제 애플리케이션으로 계속 확장됨에 따라, 최적화된 YOLO 모델은 더 작고 빠른 하드웨어에서 객체 탐지, 인스턴스 분할, 객체 추적과 같은 작업을 수행할 수 있게 합니다. 다음으로 프루닝과 양자화가 이러한 컴퓨터 비전 작업을 더 효율적이고 실용적으로 만드는 몇 가지 사용 사례를 논의해 보겠습니다.

Ultralytics YOLO11로 구동되는 스마트 보안#

많은 산업 공간과 공공 장소는 안전과 보안을 유지하기 위해 실시간 모니터링에 의존합니다. 교통 역, 제조 현장, 대규모 야외 시설과 같은 곳은 사람이나 차량을 빠르고 정확하게 감지할 수 있는 비전 AI 시스템이 필요합니다. 종종 이러한 위치는 제한된 연결성과 하드웨어 제약 조건에서 운영되므로 대형 모델을 배포하기가 어렵습니다.

이러한 경우 Ultralytics YOLO11과 같은 최적화된 비전 AI 모델은 훌륭한 솔루션입니다. 컴팩트한 크기와 빠른 성능 덕분에 임베디드 카메라 또는 스마트 센서와 같은 저전력 엣지 디바이스에서 실행하기에 완벽합니다. 이러한 모델은 디바이스에서 직접 시각 데이터를 처리하여, 상시 클라우드 연결에 의존하지 않고도 안전 규정 위반, 무단 출입 또는 비정상적인 활동을 실시간으로 감지할 수 있습니다.

그림 4. Ultralytics YOLO11은 지하철역과 같은 공공장소를 모니터링하는 데 사용할 수 있습니다.

Ultralytics YOLO11을 통한 건설 현장 안전 강화#

Construction sites는 중장비, 이동하는 작업자, 끊임없는 활동으로 가득 찬 빠르게 진행되며 예측 불가능한 환경입니다. 일정 변경, 장비 이동, 갑작스러운 날씨 변화 등으로 인해 조건이 급격히 바뀔 수 있습니다. 이러한 역동적인 환경에서 작업자 안전은 지속적인 과제로 느껴질 수 있습니다.

실시간 모니터링은 결정적인 역할을 하지만, 전통적인 시스템은 종종 현장에서 실용적이지 않을 수 있는 클라우드 액세스나 고가의 하드웨어에 의존합니다. 바로 여기서 Ultralytics YOLO11과 같은 모델이 효과적일 수 있습니다. YOLO11은 인터넷 연결 없이 현장에서 직접 작동하는 작고 효율적인 edge 장치에서 실행되도록 최적화될 수 있습니다.

예를 들어, 수에이커에 달하는 고속도로 확장 공사 현장과 같은 대규모 건설 현장을 생각해 보세요. 이러한 환경에서는 모든 차량이나 장비를 수동으로 추적하는 것이 어렵고 시간이 많이 소요될 수 있습니다. 카메라와 최적화된 Ultralytics YOLO11 모델이 탑재된 드론은 차량을 자동으로 감지 및 추적하고, 교통 흐름을 모니터링하며, 무단 출입이나 안전하지 않은 운전 행동과 같은 안전 문제를 식별하여 도움을 줄 수 있습니다.

그림 5. 건설 현장의 드론 이미지 분석. (Source)

컴퓨터 비전에서의 프루닝과 양자화의 장단점#

프루닝 및 양자화와 같은 컴퓨터 비전 모델 최적화 방법이 제공하는 몇 가지 주요 장점은 다음과 같습니다:

• 비용 효율적인 배포: 더 작고 효율적인 모델은 고가의 고성능 하드웨어 필요성을 줄여, AI를 더 다양한 사용 사례에서 더 쉽게 접근하고 확장할 수 있게 합니다.
• 낮은 지연 시간: 모델 아키텍처를 단순화하고 계산 오버헤드를 줄임으로써, 이러한 기술은 실시간 애플리케이션에서 더 빠른 응답 시간을 달성하는 데 도움을 줄 수 있습니다.
• 에너지 효율성: 계산 부하를 줄이면 전력 소비량도 감소하며, 이는 배터리로 구동되거나 모바일 시스템에 특히 유용합니다.

프루닝과 양자화는 많은 장점을 제공하지만, 개발자가 모델을 최적화할 때 고려해야 할 특정 트레이드오프도 존재합니다. 유념해야 할 몇 가지 제한 사항은 다음과 같습니다:

• Accuracy 트레이드오프: 프루닝이 너무 과도하거나 매우 낮은 비트의 퀀타이제이션이 사용될 경우, mAP와 같은 메트릭으로 측정되는 모델의 정확도가 떨어질 수 있습니다.
• 하드웨어 제약: 모든 디바이스가 INT8과 같은 저정밀 형식을 동일하게 잘 지원하는 것은 아닙니다. 이로 인해 최적화된 모델을 배포할 수 있는 위치와 방식이 제한될 수 있습니다.
• 구현 복잡성: 좋은 결과를 얻으려면 종종 신중한 모델별 튜닝이 필요합니다. 개발자는 효율성을 높이면서 성능을 유지하기 위해 모델을 재학습하고 광범위한 테스트를 수행해야 할 수 있습니다.

핵심 요약#

프루닝과 양자화는 YOLO 모델이 엣지 디바이스에서 더 잘 작동하도록 돕는 유용한 기술입니다. 이러한 기술은 정확도 손실을 거의 느끼지 않으면서도 모델의 크기를 줄이고, 컴퓨팅 요구량을 낮추며, 예측 속도를 높입니다.

이러한 최적화 방법은 또한 개발자가 모델을 완전히 다시 빌드할 필요 없이 다양한 유형의 하드웨어에 맞게 조정할 수 있는 유연성을 제공합니다. 약간의 튜닝과 테스트를 거치면 실제 상황에 비전 AI를 더 쉽게 적용할 수 있습니다.

성장하는 저희 community에 참여하세요! AI에 대해 더 알아보려면 GitHub repository를 탐색해 보세요. computer vision 프로젝트를 시작할 준비가 되셨나요? licensing options을 확인해 보세요. 솔루션 페이지를 방문하여 AI in agriculture 및 헬스케어 분야의 비전 AI를 발견해 보세요!