パフォーマンス向上に向けたUltralytics YOLOv5のコンパイルと量子化：Deciの活用

Ultralyticsは、YOLOv5などのオープンソースツールを誰もが無料で利用できるようにするため、研究開発の資金調達を支援する他のスタートアップと商業提携しています。この記事には、提携先へのアフィリエイトリンクが含まれる場合があります。

更新: NVIDIAは2024年にDeciを買収し、deci.aiは現在NVIDIAにリダイレクトされています。Deciプラットフォームの以下の手順は参考情報として残しています。

Deciプラットフォームには、あらゆる本番環境でYOLOv5モデルを簡単に管理、最適化、デプロイできる無料ツールが含まれています。Deciは、TensorFlow、PyTorch、Keras、ONNXなど、一般的なすべてのディープラーニングフレームワークに対応しています。ウェブベースのプラットフォームを使うか、Pythonクライアントを使ってコードから実行するだけです。

Deciを選ぶ理由#

Deciはモデルのエクスポートだけでなく、枝刈りや量子化にも使用できます。

Deciは、あらゆる形式へのエクスポートや、変換前後のモデルの性能比較に使いやすいインターフェースを提供します。ユーザーは量子化によって、モデルをさらに最適化できます。

Deciでできること：#

推論性能を最大10倍向上#

モデルを自動でコンパイルおよび量子化し、さまざまな本番環境設定を評価することで、ハードウェア上のレイテンシとスループットを改善し、モデルサイズとメモリ使用量を削減できます。

アプリケーションに最適な推論用ハードウェアを見つける#

ボタンをクリックするだけで、エッジデバイスを含むさまざまなハードウェア上でモデルの性能をベンチマークできます。複数のハードウェアや本番環境設定を手動でセットアップしてテストする必要がなくなります。

数行のコードでデプロイ#

DeciのPythonベースの推論エンジンを活用できます。複数のフレームワークとハードウェアタイプに対応しています。

初回セットアップ#

ステップ1#

無料アカウントを開設します。

ステップ2#

事前トレーニング済みのYOLOv5モデルの最適化を始めるには、まずONNX形式に変換する必要があります。モデルをONNX形式に変換する方法については、YOLOv5エクスポートチュートリアルをご覧ください。

ステップ3#

「Lab」タブに移動し、画面右上の「New Model」ボタンをクリックして、YOLOv5 ONNXモデルをアップロードします。

モデルのコンパイルに使用するターゲットハードウェア、希望するバッチサイズ、量子化レベルを選択するには、モデルアップロードウィザードの手順に従ってください。

関連情報を入力したら、「Start」をクリックします。Deciプラットフォームが、選択したハードウェア向けにUltralytics YOLOv5モデルのランタイム最適化を自動的に実行し、さまざまな種類のハードウェアでモデルのベンチマークも行います。この処理には約10分かかります。

完了すると、先ほどアップロードしたベースラインモデルの下に新しい行が表示されます。ここでは、事前学習済みUltralytics YOLOv5モデルの最適化バージョンを確認できます。

次のステップ#

「Deploy」ボタンをクリックすると、最適化されたモデルをダウンロードできます。

その後、モデルをダウンロードするよう求められ、Infery（Deciのランタイム推論エンジン）のインストール方法と使用方法が案内されます。

Inferyの使用は任意です。Pythonファイルをそのまま取得し、任意の推論エンジンで使用できます。

「Insights」タブで最適化とベンチマークの結果を確認できます。

始める準備はできましたか？#

最後に、Deciが提供する利点をいくつかご紹介します。

• 精度を損なうことなく、モデルの推論スループットとレイテンシを最適化できます
• 主要なすべてのフレームワークのモデルを最適化できます
• あらゆるディープラーニングタスクを対象とするモデルをサポート
• 一般的なCPUおよびGPUマシンへのデプロイに対応しています
• さまざまなハードウェアホストやクラウドプロバイダー上で、モデルの適合性をベンチマークします
• アップロードされたモデルを、サービング、推論、デプロイに対応できる状態にします

ご覧いただいたように、Ultralytics YOLOv5モデルの性能は約15分で2倍にできます。Deciプラットフォームは使いやすく、直感的に操作できます。

ご質問がありますか？コミュニティに参加して、ぜひ質問を投稿してください。