DeGirumを使用した、エッジデバイスへの量子化Ultralytics YOLOv8モデルのデプロイ

マドリードのGoogle for Startups Campusで開催されたYOLO VISION 2023 (YV23)イベントから、また一つ有意義な講演を振り返ります。講演者は、DeGirumのチーフアーキテクト兼共同創業者であるShashi Chilappagar氏です。講演では量子化と量子化モデルのデプロイを取り上げ、主な課題、解決策、今後の可能性を探りました。

量子化と量子化モデルのデプロイの概要#

Shashi氏は量子化の包括的な概要を説明し、エッジデバイスへのデプロイに向けてUltralytics YOLOモデルを最適化するうえでの重要性を強調しました。基本事項から量子化を改善するアプローチまでを取り上げ、参加者はモデルの移植やデプロイの複雑さについて有益な知見を得ました。

YOLOモデルの量子化における課題#

量子化には課題が伴うことが多く、特にTFLiteでYOLOモデルを扱う場合は顕著です。すべての出力を同じスケールとゼロポイントで量子化すると精度が大幅に低下することを参加者は学び、量子化プロセスでモデルの精度を維持する難しさが明らかになりました。

YOLOモデルの量子化を改善する#

幸い、こうした課題に対処する方法があります。DeGirumフォークを導入すると、出力を分離し、バウンディングボックスのデコードを最適化することで、量子化に適したアプローチを実現できます。こうした改良により、量子化モデルの精度はベースラインから大幅に向上します。

量子化に適したモデルアーキテクチャ#

量子化による損失を最小限に抑えるには、新しいモデルアーキテクチャの検討が重要です。SiLUを上限値のあるReLU6アクティベーションに置き換えると量子化損失を最小限に抑えられ、量子化モデルの精度を維持するうえで有望な結果が得られることを、参加者は学びました。

量子化モデルのデプロイ#

量子化モデルのデプロイは簡単で、DeGirumのクラウドプラットフォームで任意のモデルを実行するのに必要なコードはわずか5行です。ライブのコードデモでは、量子化されたUltralytics YOLOv5モデルによる物体検出の簡便さが示され、量子化モデルを実際のアプリケーションに容易に統合できることが紹介されました。

この目的のために、Ultralyticsはさまざまなモデルデプロイオプションを提供し、エンドユーザーが組み込みデバイスやエッジデバイスにアプリケーションを効果的にデプロイできるようにしています。エクスポート形式には、OpenVINO、TorchScript、TensorRT、CoreML、TFLite、TFLite Edge TPUがあり、柔軟性と互換性を提供します。

デプロイ向けのサードパーティアプリケーションとの連携により、ユーザーは実環境でのモデルのパフォーマンスを評価できます。

異なるハードウェアで異なるモデルを使用する#

参加者は、さまざまなハードウェアプラットフォームへの異なるモデルのデプロイに関する知見も得ました。単一のコードベースで、複数のアクセラレーター上の複数モデルをサポートできることを紹介しました。多様なハードウェアプラットフォームでさまざまな検出タスクを実行する例を通じて、このアプローチの柔軟性とスケーラビリティを示しました。

リソースとドキュメント#

参加者をさらに支援するため、クラウドプラットフォーム、サンプル、ドキュメントなどにアクセスできる、包括的なリソースセクションを紹介しました。誰もが量子化モデルを効果的にデプロイするために必要なツールとサポートを利用できるようにすることが目標です。

まとめ#

量子化分野が進化するなか、最新情報を把握し、積極的に関わり続けることが重要です。私たちは、この進化する分野を理解するための継続的なサポートとリソースの提供に取り組んでいます。YouTubeで講演の全編を見る。

機械学習と人工知能における最新のトレンドやイノベーションを、引き続き一緒に探っていきましょう。