DeGirum을 사용하여 엣지 장치에 양자화된 Ultralytics YOLOv8 모델 배포

마드리드의 활기찬 Google for Startups 캠퍼스에서 열린 YOLO VISION 2023(YV23) 행사에서 진행된 또 다른 통찰력 있는 강연 요약에 오신 것을 환영합니다. 이 강연은 DeGirum의 최고 설계자이자 공동 창립자인 Shashi Chilappagar가 진행했습니다. 양자화 및 양자화된 모델 배포의 매혹적인 세계를 탐구하고 주요 과제, 솔루션 및 미래 가능성을 모색했습니다.

양자화 소개 및 양자화된 모델 배포

Shashi는 양자화에 대한 포괄적인 개요를 제공하여 에지 장치에 배포하기 위해 Ultralytics YOLO 모델을 최적화하는 데 있어 양자화의 중요성을 강조했습니다. 기본 사항에 대한 논의부터 양자화 개선 접근 방식 탐색에 이르기까지 참석자들은 모델 포팅 및 배포의 복잡성에 대한 귀중한 통찰력을 얻었습니다.

YOLO 모델 양자화의 과제

양자화는 특히 TFLite의 YOLO 모델에서 어려움을 야기하는 경우가 많습니다. 청중은 모든 출력이 동일한 스케일/영점(scale/zero point)으로 양자화될 때 관찰되는 상당한 정확도 저하에 대해 배우면서 양자화 프로세스 동안 모델 정확도를 유지하는 복잡성을 이해하게 되었습니다.

YOLO 모델 양자화 개선

다행히 이러한 문제를 해결할 수 있는 솔루션이 존재합니다. DigiRAM 포크의 도입은 출력을 분리하고 경계 상자 디코딩을 최적화하여 양자화 친화적인 접근 방식을 제공합니다. 이러한 개선을 통해 양자화된 모델 정확도는 기준 수준에서 크게 향상됩니다.

더 많은 양자화 친화적인 모델 아키텍처

새로운 모델 아키텍처를 탐색하는 것은 양자화 손실을 최소화하는 데 핵심입니다. 참석자들은 CILU를 bounded Relu6 활성화 함수로 대체하는 것이 양자화 손실을 최소화하여 양자화된 모델에서 정확도를 유지하는 데 유망한 결과를 제공한다는 것을 발견했습니다.

양자화된 모델 배포

양자화된 모델을 배포하는 것이 그 어느 때보다 쉬워졌습니다. 단 5줄의 코드로 Digitim 클라우드 플랫폼에서 모든 모델을 실행할 수 있습니다. 라이브 코드 데모에서는 양자화된 Ultralytics YOLOv5 모델로 객체를 감지하는 단순성을 보여주며, 양자화된 모델이 실제 애플리케이션에 원활하게 통합되는 것을 강조했습니다. 

이를 위해 Ultralytics는 다양한 모델 배포 옵션을 제공하여 최종 사용자가 임베디드 및 에지 장치에 애플리케이션을 효과적으로 배포할 수 있도록 지원합니다. 다양한 내보내기 형식으로는 OpenVINO, TorchScript, TensorRT, CoreML, TFlite 및 TFlite EDGE TPU가 있어 다재다능함과 호환성을 제공합니다. 

배포를 위해 타사 애플리케이션과 통합함으로써 사용자는 실제 시나리오에서 모델의 성능을 평가할 수 있습니다.

서로 다른 하드웨어에서 서로 다른 모델 사용

참석자들은 또한 다양한 하드웨어 플랫폼에서 다양한 모델을 배포하는 것의 다재다능함에 대한 통찰력을 얻었으며, 단일 코드베이스가 다양한 가속기에서 여러 모델을 지원할 수 있는 방법을 보여주었습니다. 다양한 하드웨어 플랫폼에서 다양한 감지 작업을 실행하는 예는 접근 방식의 유연성과 확장성을 입증했습니다.

리소스 및 문서

참석자에게 더 많은 역량을 제공하기 위해 클라우드 플랫폼, 예제, 문서 등에 대한 액세스를 제공하는 포괄적인 리소스 섹션을 도입했습니다. 우리의 목표는 모든 사람이 양자화된 모델을 효과적으로 배포하는 데 필요한 도구와 지원을 받을 수 있도록 하는 것입니다.

마무리

양자화 분야가 발전함에 따라 정보를 계속 얻고 참여하는 것이 중요합니다. 이 흥미진진한 여정을 헤쳐나가는 데 도움이 되도록 지속적인 지원과 리소스를 제공하기 위해 최선을 다하고 있습니다. 전체 강연은 여기에서 확인하세요! 

머신 러닝 및 인공 지능의 최신 트렌드와 혁신을 지속적으로 탐구하는 데 동참하세요. 함께 기술의 미래를 만들어가고 세상에 긍정적인 변화를 주도하고 있습니다.