DeGirum을 사용하여 엣지 디바이스에 양자화된 Ultralytics YOLOv8 모델 배포하기

마드리드의 활기찬 Google for Startups Campus에서 개최된 YOLO VISION 2023 (YV23) 행사의 유익한 강연 요약에 오신 것을 환영합니다. 이 강연은 DeGirum의 최고 아키텍트이자 공동 창립자인 Shashi Chilappagar가 진행했습니다. 강연은 양자화와 양자화된 모델 배포의 매력적인 세계를 파고들며 주요 과제, 솔루션, 그리고 미래의 가능성을 탐구했습니다.

양자화 소개 및 양자화된 모델 배포#

Shashi는 양자화에 대한 포괄적인 개요를 제공하며 엣지 디바이스 배포를 위해 Ultralytics YOLO 모델을 최적화하는 데 있어 그 중요성을 강조했습니다. 기초적인 논의부터 양자화 개선 접근법 탐구에 이르기까지, 참석자들은 모델 포팅과 배포의 복잡성에 대한 가치 있는 통찰을 얻었습니다.

YOLO 모델 양자화의 과제#

양자화는 종종 어려움을 야기하며, 특히 TFLite의 YOLO 모델에서 더욱 그렇습니다. 청중은 모든 출력이 동일한 스케일/제로 포인트로 양자화될 때 관찰되는 심각한 정확도 저하에 대해 배웠으며, 이는 양자화 과정에서 모델 정확도를 유지하는 것의 복잡성을 조명했습니다.

YOLO 모델의 양자화 개선#

다행히 이러한 문제를 해결할 방법이 존재합니다. DeGirum 포크를 도입하면 출력을 분리하고 BBox 디코딩을 최적화하여 양자화에 친화적인 접근이 가능해집니다. 이러한 개선을 통해 양자화된 모델의 정확도는 기준 수준 대비 크게 향상됩니다.

더욱 양자화에 친화적인 모델 아키텍처#

새로운 모델 아키텍처를 탐색하는 것은 양자화 손실을 최소화하는 핵심입니다. 참석자들은 SiLU를 경계가 있는 ReLU6 활성화 함수로 교체할 경우 양자화 손실이 최소화되며, 양자화된 모델의 정확도를 유지하는 데 유망한 결과를 제공한다는 점을 확인했습니다.

양자화된 모델 배포#

DeGirum 클라우드 플랫폼에서 모든 모델을 실행하는 데 단 5줄의 코드만 있으면 되므로 양자화된 모델 배포가 그 어느 때보다 쉬워졌습니다. 라이브 코드 데모는 양자화된 Ultralytics YOLOv5 모델을 사용한 객체 감지의 단순성을 보여주며, 실제 응용 프로그램에 양자화된 모델이 원활하게 통합됨을 강조했습니다.

이를 위해 Ultralytics는 다양한 모델 배포 옵션을 제공하여 최종 사용자가 임베디드 및 엣지 디바이스에 애플리케이션을 효과적으로 배포할 수 있도록 지원합니다. 다양한 내보내기 형식에는 OpenVINO, TorchScript, TensorRT, CoreML, TFLite, TFLite Edge TPU가 포함되어 다목적성과 호환성을 제공합니다.

배포를 위한 타사 애플리케이션과의 이러한 통합을 통해 사용자는 실제 환경에서 모델의 성능을 평가할 수 있습니다.

다양한 하드웨어에서 서로 다른 모델 사용#

참석자들은 또한 여러 하드웨어 플랫폼에 다양한 모델을 배포하는 범용성에 대해서도 배웠으며, 단일 코드베이스로 다양한 가속기 전반에서 여러 모델을 지원하는 방법을 확인했습니다. 다양한 하드웨어 플랫폼에서 각기 다른 탐지 작업을 수행하는 사례를 통해 우리 접근 방식의 유연성과 확장성을 입증했습니다.

리소스 및 문서#

참석자들에게 더욱 힘을 실어주기 위해 클라우드 플랫폼, 예제, documentation 등에 대한 액세스를 제공하는 포괄적인 리소스 섹션을 소개했습니다. 우리의 목표는 모든 사람이 양자화된 모델을 효과적으로 배포하는 데 성공하는 데 필요한 도구와 지원을 확실히 갖추도록 하는 것입니다.

마무리하며#

양자화 분야가 발전함에 따라 최신 정보를 유지하고 참여하는 것이 필수적입니다. 저희는 이 흥미진진한 여정을 헤쳐나가는 데 도움이 되는 지속적인 지원과 리소스를 제공하기 위해 최선을 다하고 있습니다. 전체 강연 Watch the full talk을 확인해 보세요!

머신 러닝과 인공지능의 최신 트렌드와 혁신을 계속 탐구하는 여정에 함께해 주십시오. 우리는 함께 기술의 미래를 만들어가고 세상에 긍정적인 변화를 불러일으키고 있습니다.