DeGirum을 사용해 엣지 디바이스에 양자화된 Ultralytics YOLOv8 모델 배포하기

마드리드 Google for Startups Campus에서 열린 YOLO VISION 2023(YV23) 행사에서 진행된 유익한 발표를 되짚어 보는 글에 오신 것을 환영합니다. 이번 발표는 DeGirum의 공동 창립자이자 최고 설계자인 Shashi Chilappagar가 진행했습니다. 발표에서는 양자화와 양자화된 모델의 배포를 다루며 주요 과제와 해결책, 미래 가능성을 살펴보았습니다.

양자화 및 양자화된 모델 배포 소개#

Shashi는 양자화에 대한 포괄적인 개요를 제공하고 에지 디바이스에 배포할 Ultralytics YOLO 모델을 최적화하는 데 양자화가 중요한 이유를 강조했습니다. 참석자들은 기본 개념부터 양자화를 개선하는 접근 방식까지 살펴보며 모델 포팅과 배포의 복잡한 세부 사항에 관한 유용한 인사이트를 얻었습니다.

YOLO 모델 양자화의 과제#

양자화는 종종 어려움을 초래하며, 특히 TFLite에서 YOLO 모델을 다룰 때 더욱 그렇습니다. 독자들은 모든 출력을 동일한 스케일/제로 포인트로 양자화할 때 나타나는 상당한 정확도 저하를 살펴보고, 이를 통해 양자화 과정에서 모델 정확도를 유지하는 데 따르는 복잡성을 이해했습니다.

YOLO 모델 양자화 개선#

다행히 이러한 과제를 해결할 방법이 있습니다. DeGirum 포크는 출력을 분리하고 바운딩 박스 디코딩을 최적화해 양자화에 적합한 접근 방식을 제공합니다. 이러한 개선을 통해 양자화된 모델의 정확도는 기준 수준보다 크게 향상됩니다.

양자화에 더 적합한 모델 아키텍처#

양자화 손실을 최소화하려면 새로운 모델 아키텍처를 살펴보는 것이 중요합니다. 참석자들은 SiLU를 제한된 ReLU6 활성화 함수로 대체하면 양자화 손실을 최소화할 수 있다는 점을 확인했으며, 이는 양자화된 모델의 정확도를 유지하는 데 유망한 결과를 제공합니다.

양자화된 모델 배포#

양자화된 모델의 배포는 간단합니다. 코드 다섯 줄만으로 DeGirum 클라우드 플랫폼에서 어떤 모델이든 실행할 수 있습니다. 라이브 코드 시연에서는 양자화된 Ultralytics YOLOv5 모델로 객체를 손쉽게 감지하는 방법을 보여 주며, 양자화된 모델을 실제 애플리케이션에 얼마나 쉽게 통합할 수 있는지 강조했습니다.

이에 따라 Ultralytics는 다양한 모델 배포 옵션을 제공하여 최종 사용자가 임베디드 디바이스와 엣지 디바이스에 애플리케이션을 효과적으로 배포할 수 있도록 합니다. 다양한 내보내기 형식으로는 OpenVINO, TorchScript, TensorRT, CoreML, TFLite, TFLite Edge TPU가 있으며, 폭넓은 활용성과 호환성을 제공합니다.

배포를 위한 타사 애플리케이션과의 이러한 통합을 통해 사용자는 실제 시나리오에서 모델의 성능을 평가할 수 있습니다.

다양한 하드웨어에서 여러 모델 사용하기#

참석자들은 다양한 하드웨어 플랫폼에서 여러 모델을 배포할 수 있는 유연성에 대한 통찰도 얻었습니다. 단일 코드베이스로 여러 가속기에서 다수의 모델을 지원하는 방법을 살펴봤습니다. 다양한 하드웨어 플랫폼에서 서로 다른 감지 작업을 실행하는 사례를 통해 접근 방식의 유연성과 확장성을 확인했습니다.

리소스 및 문서#

참석자에게 더 많은 도움을 제공하기 위해 클라우드 플랫폼, 예제, 문서 등을 이용할 수 있는 포괄적인 리소스 섹션을 소개했습니다. 양자화된 모델을 효과적으로 배포하는 데 필요한 도구와 지원을 모든 사람이 이용할 수 있도록 하는 것이 목표입니다.

마무리#

양자화 분야가 발전함에 따라 최신 정보를 파악하고 적극적으로 참여하는 것이 중요합니다. 우리는 계속 변화하는 이 분야를 이해하는 데 도움이 되도록 지속적인 지원과 리소스를 제공하기 위해 노력하고 있습니다. YouTube에서 전체 발표를 시청하세요.

머신러닝과 인공지능의 최신 동향 및 혁신을 계속해서 살펴보는 여정에 함께해 주세요.