DeGirumを使用してエッジデバイスに量子化Ultralytics YOLOv8モデルをデプロイする

活気あふれるマドリードのGoogle for Startups Campusで開催されたYOLO VISION 2023（YV23）イベントから、今回も示唆に富んだ講演の概要をご紹介します。この講演は、DeGirumのChief Architect兼Co-FounderであるShashi Chilappagar氏が行いました。量子化と量子化済みモデルのデプロイという興味深い分野を取り上げ、主要な課題、解決策、そして今後の可能性について解説しました。

量子化と量子化済みモデルのデプロイ入門#

Shashi氏は、エッジデバイスへのデプロイに向けてUltralytics YOLOモデルを最適化するうえでの量子化の重要性を強調し、量子化の包括的な概要を説明しました。基本事項から量子化を改善するためのアプローチまでを取り上げ、参加者はモデルの移植とデプロイの複雑さについて貴重な知見を得ました。

YOLOモデルの量子化における課題#

量子化には課題が伴うことが多く、特にTFLiteでYOLOモデルを扱う場合は顕著です。すべての出力を同じスケール／ゼロポイントで量子化すると精度が大幅に低下することについて説明し、量子化の過程でモデル精度を維持する難しさを明らかにしました。

YOLOモデルの量子化の改善#

幸いなことに、これらの課題に対処する解決策があります。DeGirumフォークの導入により、出力を分離し、バウンディングボックスのデコードを最適化する、量子化に適したアプローチが実現します。これらの改良により、量子化済みモデルの精度はベースラインと比べて大幅に向上します。

より量子化に適したモデルアーキテクチャ#

量子化による損失を最小限に抑えるには、新しいモデルアーキテクチャの検討が重要です。参加者は、SiLUを境界付きReLU6アクティベーションに置き換えることで量子化損失を最小限に抑えられることを学び、量子化済みモデルの精度維持に向けた有望な結果を確認しました。

量子化済みモデルのデプロイ#

量子化済みモデルのデプロイはこれまでになく簡単になっており、DeGirumのクラウドプラットフォーム上で任意のモデルを実行するために必要なコードはわずか5行です。ライブコードデモでは、量子化済みのUltralytics YOLOv5モデルで物体を検出する簡単さを紹介し、量子化済みモデルを実際のアプリケーションへシームレスに統合できることを示しました。

この目的のため、Ultralyticsはさまざまなモデルデプロイオプションを提供しており、エンドユーザーは組み込みデバイスやエッジデバイス上にアプリケーションを効果的にデプロイできます。エクスポート形式には、OpenVINO、TorchScript、TensorRT、CoreML、TFLite、TFLite Edge TPUなどがあり、柔軟性と互換性を提供します。

このデプロイ向けのサードパーティーアプリケーションとの統合により、ユーザーは実際のシナリオでモデルのパフォーマンスを評価できます。

異なるハードウェアで異なるモデルを使用する#

参加者は、さまざまなハードウェアプラットフォームに異なるモデルをデプロイする柔軟性についても理解を深めました。単一のコードベースで、異なるアクセラレーター上の複数のモデルをサポートできることを紹介しました。多様なハードウェアプラットフォームで異なる検出タスクを実行する例から、アプローチの柔軟性とスケーラビリティが示されました。

リソースとドキュメント#

参加者をさらに支援するため、クラウドプラットフォーム、サンプル、ドキュメントなどにアクセスできる、包括的なリソースセクションを紹介しました。量子化済みモデルを効果的にデプロイするために必要なツールとサポートを、すべての方に提供することが私たちの目標です。

まとめ#

量子化の分野が進化する中、最新情報を把握し、積極的に関わり続けることが重要です。私たちは、この興味深い取り組みを進める皆さまを支援できるよう、継続的なサポートとリソースの提供に努めています。完全版の講演は、完全版の講演を見るからご覧ください。

機械学習と人工知能における最新のトレンドやイノベーションを引き続き探求する私たちの取り組みに、ぜひご参加ください。力を合わせてテクノロジーの未来を形作り、世界に前向きな変化をもたらしていきます。