DeGirum을 사용하여 엣지 디바이스에 양자화된 Ultralytics YOLOv8 모델 배포하기
DeGirum을 사용하여 양자화된 YOLOv8 모델을 배포하는 방법을 알아보세요. 엣지 디바이스의 과제, 해결 방법 및 배포 기술을 학습하고 함께 미래를 만들어 보세요!
마드리드의 활기찬 Google for Startups Campus에서 개최된 YOLO VISION 2023 (YV23) 행사에서 진행된 또 하나의 유익한 강연을 요약해 소개합니다. 이 강연은 DeGirum의 Chief Architect이자 공동 창립자인 Shashi Chilappagar가 진행했습니다. 강연에서는 양자화와 양자화된 모델 배포라는 흥미로운 분야를 심층적으로 다루며 주요 과제, 해결 방법, 향후 가능성을 살펴보았습니다.
양자화 및 양자화된 모델 배포 소개#
Shashi는 양자화에 대한 종합적인 개요를 제공하고, 엣지 디바이스에 배포하기 위해 Ultralytics YOLO 모델을 최적화하는 과정에서 양자화가 갖는 중요성을 강조했습니다. 기본 개념부터 양자화를 개선하는 접근 방식까지 논의하면서, 참석자들은 모델 포팅과 배포의 복잡한 세부 사항에 대한 귀중한 인사이트를 얻었습니다.
YOLO 모델 양자화의 과제#
특히 TFLite의 YOLO 모델에서는 양자화로 인해 어려움이 발생하는 경우가 많습니다. 모든 출력을 동일한 scale/zero point로 양자화할 때 관찰되는 상당한 정확도 저하에 대해 알아보면서, 양자화 과정에서 모델 정확도를 유지하는 일이 얼마나 복잡한지 이해할 수 있었습니다.
YOLO 모델 양자화 개선#
다행히 이러한 과제를 해결할 수 있는 방법이 있습니다. DeGirum fork는 출력을 분리하고 bounding box 디코딩을 최적화하여 양자화에 친화적인 접근 방식을 제공합니다. 이러한 개선을 통해 양자화된 모델의 정확도가 baseline 수준에서 크게 향상됩니다.
양자화에 더 친화적인 모델 아키텍처#
새로운 모델 아키텍처를 탐색하는 것은 양자화 손실을 최소화하는 데 핵심적입니다. 참석자들은 SiLU를 제한된 ReLU6 activation으로 대체하면 양자화 손실을 최소화할 수 있으며, 양자화된 모델의 정확도 유지에 유망한 결과를 얻을 수 있다는 점을 확인했습니다.
양자화된 모델 배포#
DeGirum cloud platform에서 모든 모델을 실행하는 데 단 5줄의 코드만 필요하므로 양자화된 모델을 그 어느 때보다 쉽게 배포할 수 있습니다. 라이브 코드 데모에서는 양자화된 Ultralytics YOLOv5 모델로 객체를 탐지하는 과정을 보여주며, 실제 애플리케이션에 양자화된 모델을 원활하게 통합할 수 있음을 강조했습니다.
이와 관련하여 Ultralytics는 다양한 모델 배포 옵션을 제공하므로 최종 사용자는 임베디드 디바이스와 엣지 디바이스에 애플리케이션을 효과적으로 배포할 수 있습니다. 다양한 export format으로는 OpenVINO, TorchScript, TensorRT, CoreML, TFLite, TFLite Edge TPU가 있으며, 폭넓은 활용성과 호환성을 제공합니다.
이러한 배포용 서드파티 애플리케이션과의 통합을 통해 사용자는 실제 환경에서 모델의 성능을 평가할 수 있습니다.
다양한 하드웨어에서 서로 다른 모델 사용#
참석자들은 다양한 하드웨어 플랫폼에 서로 다른 모델을 배포할 수 있는 유연성에 대해서도 인사이트를 얻었습니다. 단일 codebase가 서로 다른 accelerator에서 여러 모델을 지원하는 방식도 확인했습니다. 다양한 하드웨어 플랫폼에서 서로 다른 detection task를 실행하는 예시를 통해 이러한 접근 방식의 유연성과 확장성을 입증했습니다.
리소스 및 문서#
참석자들이 더욱 효과적으로 활용할 수 있도록 cloud platform, 예제, 문서 등에 액세스할 수 있는 종합적인 리소스 섹션을 소개했습니다. 모든 사람이 양자화된 모델을 효과적으로 배포하는 데 필요한 도구와 지원을 이용할 수 있도록 하는 것이 저희의 목표입니다.
마무리#
양자화 분야가 발전함에 따라 최신 정보를 파악하고 적극적으로 참여하는 것이 중요합니다. 저희는 이 흥미로운 여정을 헤쳐 나가는 데 도움이 되도록 지속적인 지원과 리소스를 제공하기 위해 노력하고 있습니다. 전체 강연을 확인해 보세요. 전체 강연 시청!
머신러닝과 인공지능의 최신 동향과 혁신을 계속해서 함께 탐색해 보세요. 저희는 함께 기술의 미래를 만들어 가며 세상에 긍정적인 변화를 이끌고 있습니다.
