Edge AIデバイス上でのコンピュータビジョンアプリケーションのデプロイ

コンピュータビジョンと人工知能（AI）の最近の進歩により、かつては研究分野に過ぎなかったものが、現在ではさまざまな業界でインパクトのあるアプリケーションを推進しています。自動運転車から医療用画像診断、セキュリティに至るまで、コンピュータビジョンシステムは現実世界の問題を大規模に解決しています。

これらのアプリケーションの多くは画像や動画のリアルタイム分析を伴いますが、レイテンシ、コスト、プライバシーへの懸念から、クラウドコンピューティングへの依存が常に現実的とは限りません。エッジAIは、こうした状況において優れたソリューションとなります。ビジョンAIモデルをエッジデバイス上で直接実行することで、企業はより高速かつ低コストで、より高いセキュリティを維持しながらデータを処理でき、リアルタイムAIをより身近なものにできます。

Ultralyticsが主催する年次ハイブリッドイベント、YOLO Vision 2024 (YV24)の主要テーマの一つは、デプロイをよりユーザーフレンドリーかつ効率的にすることでビジョンAIを民主化することでした。NVIDIAのシニアソリューションアーキテクトであるGuy Dahan氏は、エッジコンピューティングデバイス、推論サーバー、最適化フレームワーク、AIデプロイSDKを含むNVIDIAのハードウェアおよびソフトウェアソリューションが、開発者がエッジでAIを最適化するのをどのように支援しているかについて解説しました。

本記事では、Guy Dahan氏のYV24キーノートから重要なポイントを紹介し、NVIDIAの最新のイノベーションがいかにビジョンAIのデプロイをより迅速かつスケーラブルにしているかを探ります。

Link to this sectionエッジAIとは何か#

Guy Dahan氏は、YV24にバーチャルで参加できたことへの熱意と、Ultralytics PythonパッケージおよびUltralytics YOLOモデルへの関心を表明し、冒頭の挨拶で次のように述べました。「私はUltralyticsが公開された初日から使用しています。Ultralyticsをとても気に入っており、それ以前からYOLOv5を使っていました。私はこのパッケージの真の熱狂的なファンです。」

次に彼はエッジAIの概念を紹介し、これがデータを処理のために遠くのクラウドサーバーに送信するのではなく、カメラ、ドローン、産業用機械などのデバイス上で直接AI計算を実行することを指すと説明しました。

画像や動画がアップロード、分析され、結果が返送されるのを待つ代わりに、エッジAIはデバイス自体で即座にデータを分析することを可能にします。これにより、ビジョンAIシステムはより高速かつ効率的になり、インターネット接続への依存度も低下します。エッジAIは、自動運転車、防犯カメラ、スマート工場など、リアルタイムの意思決定が必要なアプリケーションに特に役立ちます。

Link to this sectionエッジAIの主な利点#

エッジAIを紹介した後、Guy Dahan氏はその主な利点として、効率性、コスト削減、データセキュリティに焦点を当てました。彼は、最大の利点の一つは低レイテンシであると説明しました。AIモデルがデバイス上で直接データを処理するため、情報をクラウドに送信して応答を待つ必要がないからです。

また、エッジAIはコスト削減と機密データの保護にも役立ちます。特にビデオストリームのような大量のデータをクラウドに送信することは高コストになる可能性があります。しかし、ローカルで処理することで帯域幅とストレージのコストを削減できます。

もう一つの重要な利点はデータプライバシーです。情報が外部サーバーに転送されずデバイス内に留まるためです。これは、データをローカルで安全に保持することが最優先されるヘルスケア、金融、セキュリティのアプリケーションにおいて特に重要です。

図1. YV24でエッジAIの利点について遠隔プレゼンテーションを行うGuy Dahan氏。

これらの利点を踏まえ、Guy Dahan氏はエッジAIの採用が拡大していることについて触れました。NVIDIAが2014年にJetsonを導入して以来、利用数は10倍に増加したと指摘しています。現在、120万人以上の開発者がJetsonデバイスに取り組んでいます。

Link to this sectionNVIDIA Jetsonの概要：エッジAIデバイス#

続いてGuy Dahan氏は、低消費電力で高性能を発揮するように設計されたAIエッジコンピューティングデバイスのファミリーであるNVIDIA Jetsonデバイスに焦点を当てました。Jetsonデバイスは、ロボティクス、農業、ヘルスケア、産業オートメーションなどの分野におけるコンピュータビジョンアプリケーションに理想的です。「JetsonはAIのために特化して作られたエッジAIデバイスです。元々は主にコンピュータビジョンのために設計されたと付け加えても良いでしょう」とGuy Dahan氏は述べました。

Jetsonデバイスには3つのティアがあり、それぞれが異なるニーズに適しています：

• エントリーレベル: これらのデバイスは、10〜15Wの消費電力で20〜40 TOPSのAIパフォーマンスを提供し、エッジアプリケーションにとって手頃な選択肢となります。
• メインストリーム: パフォーマンスと効率のバランスが取れており、20〜40Wの消費電力で70〜200 TOPSを提供し、中程度のAIワークロードに適しています。
• ハイパフォーマンス: 60〜75Wの消費電力で最大275 TOPSを提供し、ロボティクスやオートメーションといった要求の厳しいAIアプリケーション向けに設計されています。

また、Guy Dahan氏は今年発売予定のJetson AGX Thorについても共有し、GPU（グラフィックス処理ユニット）パフォーマンスが8倍、メモリ容量が2倍、そしてCPU（中央演算処理装置）パフォーマンスが向上すると述べました。これは特に人型ロボットや高度なエッジAIアプリケーション向けに設計されています。

Link to this sectionコンピュータビジョンモデルのデプロイに関連する課題#

次にGuy Dahan氏はエッジAIのソフトウェア面に議論を移し、強力なハードウェアがあってもモデルを効率的にデプロイすることは難しい場合があると説明しました。

最大のハードルの一つは互換性です。AI開発者は多くの場合、PyTorchやTensorFlowなどの異なるAIフレームワークを扱います。これらのフレームワーク間を移行することは困難であり、すべてが正しく動作するように環境を再構築する必要があります。

スケーラビリティも重要な課題です。AIモデルは大きなコンピューティング能力を必要とし、Dahan氏が言うように「より少ない計算リソースを求めるAI企業など存在しない」からです。複数のデバイス間でAIアプリケーションを拡張するとすぐにコストがかさむため、最適化が不可欠です。

また、AIパイプラインは複雑であり、多くの場合、異なる種類のデータ、リアルタイム処理、システム統合が関わってきます。開発者は、モデルが既存のソフトウェアエコシステムとシームレスに連携するように多大な努力を払っています。これらの課題を克服することは、AIデプロイをより効率的かつスケーラブルにするための重要な要素です。

図2. モデルデプロイにおける課題。

Link to this sectionNVIDIA Triton Inference Serverによるデプロイの簡素化#

次にGuy Dahan氏はNVIDIAのTriton Inference Serverに注目しました。彼は、多くの企業やスタートアップがモデルを完全に最適化しないままAI開発を始めていると指摘しました。AIパイプライン全体をゼロから設計し直すことは、中断を招き、時間がかかるため、効率的なスケーリングを困難にします。

Tritonはシステム全体の見直しを必要とせず、開発者がAIワークフローを徐々に改善・最適化し、既存の設定を壊すことなくより効率的なコンポーネントを統合することを可能にします。TensorFlow、PyTorch、ONNX、TensorRTを含む複数のAIフレームワークをサポートしているため、Tritonは最小限の調整でクラウド環境、データセンター、エッジデバイス全体でのシームレスなデプロイを実現します。

図3. NVIDIAのTriton Inference Serverの概要。

NVIDIAのTriton Inference Serverの主な利点は以下の通りです：

• 自動バッチング: Tritonは複数のAIリクエストを処理前にグループ化することで、遅延（レイテンシ）を削減し、推論速度（AIモデルが結果を生成するまでにかかる時間）を向上させます。
• Kubernetes統合: Tritonはクラウドネイティブであり、Kubernetes（複数のコンピュータやクラウドサーバー間でAIアプリケーションを管理・拡張するシステム）とシームレスに動作します。
• オープンソースでカスタマイズ可能: 開発者はTritonを特定のニーズに合わせて変更でき、幅広いAIアプリケーションに対する柔軟性を確保できます。

Link to this sectionNVIDIA TensorRTを使用したAIパフォーマンスの最大化#

さらに加速を求めるなら、NVIDIA TensorRTはAIモデルを最適化するための興味深い選択肢です。Guy Dahan氏は、TensorRTはNVIDIA GPU向けに構築された高性能な深層学習オプティマイザーであると詳述しました。TensorFlow、PyTorch、ONNX、MXNetのモデルは、TensorRTを使用して効率性の高いGPU実行可能ファイルに変換できます。

TensorRTが信頼されている理由は、ハードウェア固有の最適化にあります。Jetsonデバイス用に最適化されたモデルは、ターゲットハードウェアに基づいてパフォーマンスが微調整されるため、他のGPU上ではそれほど効率的に動作しません。微調整されたコンピュータビジョンモデルは、未最適化のモデルと比較して、推論速度を最大36倍向上させることができます。

また、Guy Dahan氏はUltralyticsがTensorRTをサポートしていることにも注目し、AIモデルのデプロイをより迅速かつ効率的にする方法について語りました。Ultralytics YOLOモデルはTensorRT形式に直接エクスポートできるため、開発者は変更を加えることなくNVIDIA GPU向けに最適化できます。

Link to this sectionDeepStream 7.0：ストリーミング分析ツールキット#

トークを締めくくるにあたり、Guy Dahan氏はNVIDIA GPUを使用して動画、音声、センサーデータをリアルタイム処理するために設計されたAIフレームワーク、DeepStream 7.0を紹介しました。高速なコンピュータビジョンアプリケーションをサポートするために構築されており、自律システム、セキュリティ、産業オートメーション、スマートシティ全体で物体検出、追跡、分析を可能にします。AIをエッジデバイス上で直接実行することで、DeepStreamはクラウドへの依存をなくし、レイテンシを削減して効率を向上させます。

図4. YV24でGuy Dahan氏と共にDeepStream 7.0を探る。

具体的には、DeepStreamはAIを活用した動画処理の最初から最後までを処理できます。動画のデコードや前処理から、AI推論、後処理に至るまでのエンドツーエンドのワークフローをサポートしています。

最近、DeepStreamはAIデプロイを強化し、より利用しやすくスケーラブルにするためのいくつかのアップデートを導入しました。新しいツールは開発を簡素化し、マルチカメラ追跡を改善し、パフォーマンス向上のためにAIパイプラインを最適化します。

開発者は現在、Windows環境のサポート拡大、複数のソースからのデータ統合のためのセンサーフュージョン機能の強化、およびデプロイを加速するための構築済みリファレンスアプリケーションへのアクセスが可能になっています。これらの改善により、DeepStreamはリアルタイムAIアプリケーションにとってより柔軟で効率的なソリューションとなり、開発者がインテリジェントビデオ分析を容易にスケーリングできるよう支援します。

Link to this section重要なポイント#

YV24におけるGuy Dahan氏のキーノートで示されたように、エッジAIはコンピュータビジョンアプリケーションを再定義しています。ハードウェアとソフトウェアの進歩により、リアルタイム処理はより高速で効率的、かつ費用対効果の高いものになっています。

より多くの業界がエッジAIを採用するにつれ、断片化やデプロイの複雑さといった課題に対処することが、その潜在能力を最大限に引き出す鍵となるでしょう。これらのイノベーションを取り入れることは、よりスマートで応答性の高いAIアプリケーションを促進し、コンピュータビジョンの未来を形作ることにつながります。

私たちの成長するコミュニティの一員になりましょう！私たちのGitHubリポジトリを探索してAIについてさらに学び、私たちのライセンスオプションをチェックしてビジョンAIプロジェクトを立ち上げてください。ヘルスケアにおけるAIや製造業におけるコンピュータビジョンのようなイノベーションに興味がありますか？ぜひソリューションページにアクセスして詳細をご覧ください！