DeGirum을 사용하여 엣지 디바이스에 양자화된 Ultralytics YOLOv8 모델 배포하기

Welcome to the recap of another insightful talk from our YOLO VISION 2023 (YV23) event, held at the vibrant Google for Startups Campus in Madrid. This talk was delivered by Shashi Chilappagar, Chief Architect and Co-Founder at DeGirum. It delved into the fascinating world of quantization and deploying quantized models, exploring key challenges, solutions, and future possibilities.

Link to this section양자화 소개 및 양자화된 모델 배포#

Shashi 님은 양자화에 대한 포괄적인 개요를 제공하며, 엣지 디바이스 배포를 위해 Ultralytics YOLO 모델을 최적화하는 데 있어 양자화의 중요성을 강조했습니다. 기본 개념부터 양자화 개선을 위한 접근 방식까지, 참석자들은 모델 이식과 배포의 복잡성에 대한 귀중한 통찰력을 얻었습니다.

Link to this sectionYOLO 모델 양자화의 과제#

양자화는 종종 어려움을 동반하며, 특히 TFLite 환경의 YOLO 모델에서 두드러집니다. 청중들은 모든 출력을 동일한 스케일/제로 포인트로 양자화할 때 나타나는 상당한 정확도 저하에 대해 학습했으며, 이를 통해 양자화 과정에서 모델 정확도를 유지하는 것이 얼마나 복잡한지 이해하게 되었습니다.

Link to this sectionYOLO 모델의 양자화 개선#

다행히 이러한 문제를 해결할 방법이 존재합니다. DeGirum 포크를 도입하면 출력을 분리하고 BBox 디코딩을 최적화하여 양자화에 친화적인 접근이 가능해집니다. 이러한 개선을 통해 양자화된 모델의 정확도는 기준 수준 대비 크게 향상됩니다.

Link to this section더욱 양자화에 친화적인 모델 아키텍처#

새로운 모델 아키텍처를 탐색하는 것은 양자화 손실을 최소화하는 핵심입니다. 참석자들은 SiLU를 경계가 있는 ReLU6 활성화 함수로 교체할 경우 양자화 손실이 최소화되며, 양자화된 모델의 정확도를 유지하는 데 유망한 결과를 제공한다는 점을 확인했습니다.

Link to this section양자화된 모델 배포#

DeGirum 클라우드 플랫폼에서 5줄의 코드만으로 모델을 실행할 수 있게 되어, 양자화된 모델 배포가 그 어느 때보다 쉬워졌습니다. 라이브 코드 데모를 통해 양자화된 Ultralytics YOLOv5 모델로 객체를 탐지하는 과정을 간편하게 시연했으며, 양자화된 모델을 실제 애플리케이션에 매끄럽게 통합하는 방법을 강조했습니다.

이를 위해 Ultralytics는 다양한 모델 배포 옵션을 제공하여 최종 사용자가 임베디드 및 엣지 디바이스에 애플리케이션을 효과적으로 배포할 수 있도록 지원합니다. 지원하는 다양한 내보내기 형식으로는 OpenVINO, TorchScript, TensorRT, CoreML, TFLite, 그리고 TFLite Edge TPU 등이 있으며, 이는 뛰어난 범용성과 호환성을 제공합니다.

배포를 위한 타사 애플리케이션과의 이러한 통합을 통해 사용자는 실제 환경에서 모델의 성능을 평가할 수 있습니다.

Link to this section다양한 하드웨어에서 서로 다른 모델 사용#

참석자들은 또한 여러 하드웨어 플랫폼에 다양한 모델을 배포하는 범용성에 대해서도 배웠으며, 단일 코드베이스로 다양한 가속기 전반에서 여러 모델을 지원하는 방법을 확인했습니다. 다양한 하드웨어 플랫폼에서 각기 다른 탐지 작업을 수행하는 사례를 통해 우리 접근 방식의 유연성과 확장성을 입증했습니다.

Link to this section리소스 및 문서#

참석자들의 역량을 강화하기 위해 클라우드 플랫폼, 예제, 문서 등을 포함한 포괄적인 리소스 섹션을 소개했습니다. 우리의 목표는 모든 분이 양자화된 모델을 효과적으로 배포하여 성공하는 데 필요한 도구와 지원을 받도록 하는 것입니다.

Link to this section마무리하며#

양자화 분야가 발전함에 따라 최신 정보를 습득하고 적극적으로 참여하는 것이 중요합니다. 당사는 여러분이 이 흥미로운 여정을 헤쳐 나갈 수 있도록 지속적인 지원과 리소스를 제공하기 위해 최선을 다하고 있습니다. 전체 강연 영상을 확인해 보세요: 전체 강연 보기!

머신 러닝과 인공지능의 최신 트렌드와 혁신을 계속 탐구하는 여정에 함께해 주십시오. 우리는 함께 기술의 미래를 만들어가고 세상에 긍정적인 변화를 불러일으키고 있습니다.