量子化されたUltralytics YOLOv8モデルをDeGirumでエッジデバイスに展開する

マドリードの活気あるGoogle for Startups Campusで開催されたYOLO VISION 2023(YV23)イベントでの洞察に満ちた講演のまとめへようこそ。今回の講演は、DeGirumのチーフアーキテクト兼共同設立者であるShashi Chilappagar氏によるものです。量子化と量子化モデルの展開という魅力的な世界を掘り下げ、主要な課題、解決策、将来の可能性を探りました。

量子化と量子化モデルの導入

Shashi氏は量子化の包括的な概要を説明し、UltralyticsYOLOモデルをエッジデバイスに展開するために最適化する際の重要性を強調しました。基本的な議論から量子化を改善するアプローチの探求まで、参加者はモデルの移植と展開の複雑さについて貴重な洞察を得ました。

YOLOモデルの量子化における課題

量子化は、特にTFLiteのYOLOモデルにおいて、しばしば困難をもたらします。聴衆は、すべての出力が同じスケール/ゼロ点で量子化された場合に見られる精度の大幅な低下について学び、量子化処理中にモデルの精度を維持することの複雑さに光を当てました。

YOLOモデルの量子化の改善

幸いなことに、これらの課題に対処するためのソリューションが存在する。DigiRAMフォークの導入は、出力を分離し、バウンディングボックス・デコーディングを最適化することで、量子化に適したアプローチを提供します。これらの強化により、量子化モデルの精度はベースラインレベルから大幅に向上しています。

より量子化に適したモデル・アーキテクチャ

量子化ロスを最小化するためには、新しいモデル・アーキテクチャを探求することが鍵となる。参加者は、CILUを有界Relu6活性化に置き換えることで、量子化ロスを最小限に抑え、量子化モデルの精度を維持するための有望な結果が得られることを発見した。

量子化モデルの展開

Digitimのクラウドプラットフォーム上で、たった5行のコードでどのモデルも実行できるため、量子化モデルの導入はかつてないほど簡単になりました。ライブ・コード・デモでは、量子化されたUltralytics YOLOv5モデルで物体を検出するシンプルさが紹介され、量子化モデルが実世界のアプリケーションにシームレスに統合されることが強調されました。 

このため、Ultralyticsは様々なモデル展開オプションを提供し、エンドユーザーが組み込みデバイスやエッジデバイスにアプリケーションを効果的に展開できるようにしています。さまざまなエクスポート形式には、OpenVINO、TorchScript、TensorRT、CoreML、TFlite、TFlite EDGE TPUがあり、多様性と互換性を提供します。 

このようにサードパーティのアプリケーションと統合して展開することで、ユーザーは実際のシナリオで我々のモデルのパフォーマンスを評価することができる。

異なるハードウェアで異なるモデルを使用する

参加者はまた、さまざまなハードウェア・プラットフォームにさまざまなモデルをデプロイする汎用性について洞察し、単一のコードベースがさまざまなアクセラレータで複数のモデルをサポートできることを示しました。さまざまなハードウェア・プラットフォーム上でさまざまな検出タスクを実行した例は、私たちのアプローチの柔軟性とスケーラビリティを実証しました。

リソースとドキュメント

参加者にさらなる力を与えるために、私たちは包括的なリソースセクションを導入し、クラウドプラットフォーム、サンプル、ドキュメントなどへのアクセスを提供しました。私たちの目標は、誰もが量子化モデルの効果的な展開に成功するために必要なツールやサポートを得られるようにすることです。

まとめ

量子化の分野が発展していく中で、常に情報を入手し、関与していくことは不可欠です。私たちは、皆様がこのエキサイティングな旅をナビゲートできるよう、継続的なサポートとリソースの提供をお約束します。講演の全文はこちらをご覧ください！ 

機械学習と人工知能の最新トレンドとイノベーションを探求し続ける私たちに、ぜひご参加ください。私たちは共にテクノロジーの未来を形作り、世界に前向きな変化をもたらしていきます。