DeGirumを使用してエッジデバイスに量子化されたUltralytics YOLOv8モデルをデプロイする

マドリードの活気ある Google for Startups Campus で開催された YOLO VISION 2023 (YV23) イベントでの、示唆に富む講演の振り返りへようこそ。この講演は、DeGirum のチーフアーキテクト兼共同創業者である Shashi Chilappagar 氏によって行われました。量子化と量子化モデルのデプロイという魅力的な世界を深く掘り下げ、主要な課題、解決策、そして将来の可能性について探求しました。

量子化と量子化モデルのデプロイ入門#

Shashi 氏は量子化の包括的な概要を説明し、エッジデバイスでのデプロイに向けて Ultralytics YOLO モデルを最適化する重要性を強調しました。基礎の議論から、量子化を改善するためのアプローチの探索に至るまで、参加者はモデルの移植とデプロイの複雑さについて貴重な洞察を得ました。

YOLOモデルの量子化における課題#

量子化はしばしば課題をもたらしますが、特に TFLite の YOLO モデルではそれが顕著です。すべての出力を同じスケール/ゼロ点で量子化した場合に観察される精度の大幅な低下について学ぶことで、聴衆は量子化プロセス中にモデルの精度を維持することの複雑さを理解しました。

YOLOモデルの量子化の改善#

幸いなことに、これらの課題に対処するためのソリューションが存在します。DeGirumフォークの導入は、出力を分離し、バウンディングボックスのデコードを最適化することで、量子化に適したアプローチを提供します。これらの機能強化により、量子化されたモデルの精度はベースラインレベルから大幅に向上します。

より量子化に適したモデルアーキテクチャ#

新しいモデルアーキテクチャの探索は、量子化損失を最小限に抑える鍵となります。参加者は、SiLUを境界付きReLU6アクティベーションに置き換えることで量子化損失が最小限に抑えられることを発見し、量子化モデルの精度を維持するための有望な結果を示しました。

量子化モデルのデプロイ#

DeGirum クラウドプラットフォーム上で任意のモデルを実行するために必要なコードはわずか 5 行であり、量子化モデルのデプロイがこれまでになく簡単になりました。ライブコードデモでは、量子化された Ultralytics YOLOv5 モデルによる物体検出のシンプルさが実演され、現実世界のアプリケーションへの量子化モデルのシームレスな統合が強調されました。

この目的のために、Ultralytics はさまざまなモデルデプロイオプションを提供しており、エンドユーザーが組み込みデバイスやエッジデバイス上でアプリケーションを効果的にデプロイできるよう支援します。異なるエクスポート形式には、OpenVINO、TorchScript、TensorRT、CoreML、TFLite、TFLite Edge TPU が含まれており、多様性と互換性を提供します。

デプロイのためのサードパーティアプリケーションとのこの統合により、ユーザーは実世界のシナリオでモデルのパフォーマンスを評価できるようになります。

異なるハードウェアで異なるモデルを使用する#

参加者はまた、さまざまなハードウェアプラットフォーム上で異なるモデルをデプロイする汎用性についても洞察を得ました。単一のコードベースがどのようにして複数のアクセラレータ全体で複数のモデルをサポートできるかが示されました。多様なハードウェアプラットフォーム上で異なる検出タスクを実行する例は、私たちのアプローチの柔軟性とスケーラビリティを証明しました。

リソースとドキュメント#

参加者をさらに支援するために、クラウドプラットフォーム、サンプル、ドキュメントなどへのアクセスを提供する包括的なリソースセクションを紹介しました。私たちの目標は、すべての人が量子化モデルのデプロイを効果的に成功させるために必要なツールとサポートを確実に得られるようにすることです。

まとめ#

量子化の分野が進化するにつれて、情報を常に把握し、関与し続けることが不可欠です。私たちは、このエキサイティングな旅を乗り越えるための継続的なサポートとリソースの提供に尽力しています。講演の全編は Watch the full talk でご覧ください！

機械学習と人工知能における最新のトレンドとイノベーションを探求し続ける私たちにぜひご参加ください。共に技術の未来を形作り、世界に前向きな変化をもたらしましょう。