量子化されたUltralytics YOLOv8モデルをDeGirumでエッジデバイスにデプロイ

マドリードの活気あるGoogle for Startups Campusで開催されたYOLO VISION 2023（YV23）イベントからの洞察に満ちた講演のまとめへようこそ。この講演は、DeGirumの最高アーキテクト兼共同創設者であるShashi Chilappagar氏によって行われました。量子化されたモデルの量子化とデプロイの魅力的な世界を掘り下げ、主要な課題、ソリューション、および将来の可能性を探求しました。

量子化の概要と量子化されたモデルのデプロイ

Shashiは、量子化の包括的な概要を説明し、エッジデバイスへの展開のためにUltralytics YOLOモデルを最適化する上での重要性を強調しました。基礎に関する議論から、量子化を改善するためのアプローチの探求まで、参加者はモデルの移植と展開の複雑さについて貴重な洞察を得ました。

YOLOモデルの量子化における課題

量子化は、特にTFLiteのYOLOモデルにおいて、しばしば課題となります。すべての出力が同じスケール/ゼロ点で量子化された場合に観察される精度の大幅な低下について学び、量子化プロセス中にモデルの精度を維持することの複雑さを明らかにしました。

YOLOモデルの量子化の改善

幸いなことに、これらの課題に対処するためのソリューションが存在します。DigiRAMフォークの導入により、出力の分離とバウンディングボックスのデコードの最適化により、量子化に適したアプローチが提供されます。これらの機能強化により、量子化されたモデルの精度はベースラインレベルから大幅に向上します。

より量子化しやすいモデルアーキテクチャ

量子化損失を最小限に抑えるには、新しいモデルアーキテクチャの探求が重要です。CILUをRelu6（上限付きReLU）活性化関数に置き換えることで、量子化損失を最小限に抑えられ、量子化モデルの精度維持に有望な結果をもたらすことが、参加者によって明らかにされました。

量子化されたモデルのデプロイ

量子化されたモデルのデプロイはかつてないほど簡単になり、Digitimクラウドプラットフォームであらゆるモデルを実行するために必要なコードはわずか5行です。ライブコードデモでは、量子化されたUltralytics YOLOv5モデルによるオブジェクト検出の簡素さが紹介され、量子化されたモデルの実際のアプリケーションへのシームレスな統合が強調されました。 

この目的のために、Ultralyticsはさまざまなモデル展開オプションを提供し、エンドユーザーが組み込みデバイスやエッジデバイスにアプリケーションを効果的に展開できるようにします。さまざまなエクスポート形式には、OpenVINO、TorchScript、TensorRT、CoreML、TFlite、およびTFlite EDGE TPUが含まれており、多様性と互換性を提供します。 

デプロイメントのためのサードパーティアプリケーションとのこの統合により、ユーザーは実際のシナリオでモデルのパフォーマンスを評価できます。

異なるハードウェアで異なるモデルを使用

参加者はまた、さまざまなハードウェアプラットフォーム上で異なるモデルをデプロイする際の多様性についての洞察を得て、単一のコードベースが異なるアクセラレータ間で複数のモデルをサポートできることを紹介しました。多様なハードウェアプラットフォーム上で異なる検出タスクを実行する例は、当社のアプローチの柔軟性と拡張性を示しました。

リソースとドキュメント

参加者をさらに支援するために、クラウドプラットフォーム、サンプル、ドキュメントなどへのアクセスを提供する包括的なリソースセクションを導入しました。私たちの目標は、量子化されたモデルを効果的に展開するために必要なツールとサポートを誰もが確実に得られるようにすることです。

まとめ

量子化の分野が進化するにつれて、常に情報を入手し、積極的に関与することが不可欠です。私たちは、このエキサイティングな道のりを皆様が乗り越えられるよう、継続的なサポートとリソースを提供することをお約束します。全編はこちらからご覧ください。 

機械学習と人工知能の最新トレンドとイノベーションを共に探求しましょう。共に、テクノロジーの未来を形作り、世界にポジティブな変化をもたらしましょう。