Edge AIデバイス上でのコンピュータビジョンアプリケーションのデプロイ
Edge AIおよびJetson、Triton、TensorRTといったNVIDIAの技術革新が、どのようにコンピュータビジョンアプリケーションのデプロイを簡素化しているかを探ります。
コンピュータビジョンと人工知能（AI）の最近の進歩により、かつては研究分野にとどまっていたものが、現在ではさまざまな業界でインパクトのあるアプリケーションを推進しています。自動運転車から医療画像処理、セキュリティに至るまで、コンピュータビジョンシステムは大規模な現実の課題を解決しています。
これらのアプリケーションの多くは画像や動画のリアルタイム分析を伴いますが、レイテンシ、コスト、プライバシーの懸念から、クラウドコンピューティングに依存することが常に実用的であるとは限りません。エッジAIは、こうした状況において優れたソリューションです。ビジョンAIモデルをエッジデバイス上で直接実行することで、企業はデータをより高速に、より低コストで、より高いセキュリティで処理できるようになり、リアルタイムAIがより身近なものになります。
Ultralyticsが主催する年次ハイブリッドイベントであるYOLO Vision 2024 (YV24)において、中心的なテーマの一つとなったのは、デプロイメントをよりユーザーフレンドリーかつ効率的にすることでビジョンAIを民主化することでした。NVIDIAのシニア・ソリューションズ・アーキテクトであるGuy Dahan氏は、エッジコンピューティングデバイス、推論サーバー、最適化フレームワーク、AIデプロイメントSDKなど、NVIDIAのハードウェアおよびソフトウェアソリューションが開発者のエッジでのAI最適化をどのように支援しているかについて議論しました。
本記事では、Guy Dahan氏のYV24キーノートから重要なポイントを紹介し、NVIDIAの最新のイノベーションがいかにビジョンAIのデプロイをより迅速かつスケーラブルにしているかを探ります。
エッジAIとは何か#
Guy Dahan氏は、YV24にバーチャル参加できることへの熱意と、UltralyticsのPythonパッケージおよびUltralytics YOLO modelsへの関心を表明して講演を始め、「私はUltralyticsがリリースされた初日から使っています。Ultralyticsが本当に気に入っており、それ以前からYOLOv5を使っていて、このパッケージの熱狂的なファンです」と述べました。
次に彼はエッジAIの概念を紹介し、これがデータを処理のために遠くのクラウドサーバーに送信するのではなく、カメラ、ドローン、産業用機械などのデバイス上で直接AI計算を実行することを指すと説明しました。
画像や動画がアップロード、分析され、結果が返送されるのを待つ代わりに、エッジAIはデバイス自体で即座にデータを分析することを可能にします。これにより、ビジョンAIシステムはより高速かつ効率的になり、インターネット接続への依存度も低下します。エッジAIは、自動運転車、防犯カメラ、スマート工場など、リアルタイムの意思決定が必要なアプリケーションに特に役立ちます。
エッジAIの主な利点#
エッジAIを紹介した後、Guy Dahan氏はその主な利点として、効率性、コスト削減、データセキュリティに焦点を当てました。彼は、最大の利点の一つは低レイテンシであると説明しました。AIモデルがデバイス上で直接データを処理するため、情報をクラウドに送信して応答を待つ必要がないからです。
また、エッジAIはコスト削減と機密データの保護にも役立ちます。特にビデオストリームのような大量のデータをクラウドに送信することは高コストになる可能性があります。しかし、ローカルで処理することで帯域幅とストレージのコストを削減できます。
もう一つの重要な利点はデータプライバシーです。情報が外部サーバーに転送されるのではなく、デバイス上に保持されるためです。これは、データをローカルかつ安全に保つことが最優先事項である医療、金融、セキュリティのアプリケーションにおいて特に重要です。
図1. YV24でエッジAIの利点について遠隔プレゼンテーションを行うGuy Dahan氏。
これらの利点を踏まえ、Guy Dahan氏はエッジAIの採用が拡大していることについて触れました。NVIDIAが2014年にJetsonを導入して以来、利用数は10倍に増加したと指摘しています。現在、120万人以上の開発者がJetsonデバイスに取り組んでいます。
NVIDIA Jetsonの概要：エッジAIデバイス#
次にGuy Dahan氏は、低消費電力で高性能を発揮するように設計されたAIエッジコンピューティングデバイスのファミリーであるNVIDIA Jetson devicesに焦点を当てました。Jetsonデバイスは、ロボティクス、農業、ヘルスケア、産業オートメーションなどの分野におけるコンピュータビジョンアプリケーションに最適です。「Jetsonは、AIのために特別に作られたEdge AIデバイスです。もともとは主にコンピュータビジョン向けに設計されていたと付け加えてもよいでしょう」とGuy Dahan氏は述べています。
Jetsonデバイスには3つのティアがあり、それぞれが異なるニーズに適しています：
- エントリーレベル: これらのデバイスは、10〜15Wの消費電力で20〜40 TOPSのAIパフォーマンスを提供し、エッジアプリケーションにとって手頃な選択肢となります。
- メインストリーム: パフォーマンスと効率のバランスが取れており、20〜40Wの消費電力で70〜200 TOPSを提供し、中程度のAIワークロードに適しています。
- ハイパフォーマンス: 60〜75Wの消費電力で最大275 TOPSを提供し、ロボティクスやオートメーションといった要求の厳しいAIアプリケーション向けに設計されています。
また、Guy Dahan氏は今年発売予定のJetson AGX Thorについても共有し、GPU（グラフィックス処理ユニット）パフォーマンスが8倍、メモリ容量が2倍、そしてCPU（中央演算処理装置）パフォーマンスが向上すると述べました。これは特に人型ロボットや高度なエッジAIアプリケーション向けに設計されています。
コンピュータビジョンモデルのデプロイに関連する課題#
次にGuy Dahan氏はエッジAIのソフトウェア面に議論を移し、強力なハードウェアがあってもモデルを効率的にデプロイすることは難しい場合があると説明しました。
最大のハードルの1つは互換性です。AI開発者は、PyTorchやTensorFlowなどの異なるAI frameworksを扱うことが多いためです。これらのフレームワーク間を行き来することは難しく、すべてが正しく動作することを確認するために開発者が環境を作り直す必要があります。
スケーラビリティも重要な課題です。AIモデルは大きなコンピューティング能力を必要とし、Dahan氏が言うように「より少ない計算リソースを求めるAI企業など存在しない」からです。複数のデバイス間でAIアプリケーションを拡張するとすぐにコストがかさむため、最適化が不可欠です。
また、AIパイプラインは複雑であり、多くの場合、さまざまなタイプのデータ、リアルタイム処理、システム統合を伴います。開発者は、モデルが既存のソフトウェアエコシステムとシームレスに連携するように多大な労力を費やしています。これらの課題を克服することは、AI deploymentsをより効率的でスケーラブルなものにするための重要な部分です。
図2. モデルデプロイにおける課題。
NVIDIA Triton Inference Serverによるデプロイの簡素化#
次に、Guy Dahan氏はNVIDIAのTriton Inference Serverに注目しました。彼は、多くの企業やスタートアップが、モデルを完全に最適化しないままAI開発を開始している点を指摘しました。AIパイプライン全体をゼロから再設計することは業務の妨げになり時間もかかるため、効率的にスケールすることが難しくなります。
Tritonはシステム全体の見直しを必要とせず、開発者がAIワークフローを徐々に改善・最適化し、既存の設定を壊すことなくより効率的なコンポーネントを統合することを可能にします。TensorFlow、PyTorch、ONNX、TensorRTを含む複数のAIフレームワークをサポートしているため、Tritonは最小限の調整でクラウド環境、データセンター、エッジデバイス全体でのシームレスなデプロイを実現します。
図3. NVIDIAのTriton Inference Serverの概要。
NVIDIAのTriton Inference Serverの主な利点は以下の通りです：
- 自動バッチング: Tritonは複数のAIリクエストを処理前にグループ化することで、遅延（レイテンシ）を削減し、推論速度（AIモデルが結果を生成するまでにかかる時間）を向上させます。
- Kubernetes統合: Tritonはクラウドネイティブであり、Kubernetes（複数のコンピュータやクラウドサーバー間でAIアプリケーションを管理・拡張するシステム）とシームレスに動作します。
- オープンソースでカスタマイズ可能: 開発者はTritonを特定のニーズに合わせて変更でき、幅広いAIアプリケーションに対する柔軟性を確保できます。
NVIDIA TensorRTを使用したAIパフォーマンスの最大化#
さらに高い加速を求めている場合、NVIDIA TensorRTはAIモデルを最適化するための興味深い選択肢です。Guy Dahan氏は、TensorRTがNVIDIA GPU向けに構築された高性能なディープラーニングオプタイマイザーであると詳細に説明しました。TensorRTを使用することで、TensorFlow、PyTorch、ONNX、MXNetのモデルを高効率なGPU実行可能ファイルに変換できます。
TensorRTが信頼されている理由は、ハードウェア固有の最適化にあります。Jetsonデバイス用に最適化されたモデルは、ターゲットハードウェアに基づいてパフォーマンスが微調整されるため、他のGPU上ではそれほど効率的に動作しません。微調整されたコンピュータビジョンモデルは、未最適化のモデルと比較して、推論速度を最大36倍向上させることができます。
また、Guy Dahan氏はTensorRTに対するUltralyticsのサポートにも言及し、AIモデルのデプロイメントをより迅速かつ効率的にする方法について語りました。UltralyticsのYOLOモデルはTensorRT形式に直接exportedできるため、開発者は変更を加えることなくNVIDIA GPU向けにモデルを最適化できます。
DeepStream 7.0：ストリーミング分析ツールキット#
講演を素晴らしい形で締めくくるにあたり、Guy Dahan氏は、NVIDIA GPUを使用して動画、音声、センサーデータをリアルタイム処理するために設計されたAIフレームワークであるDeepStream 7.0を紹介しました。高速なコンピュータビジョンアプリケーションをサポートするように構築されており、自動運転システム、セキュリティ、産業オートメーション、スマートシティ全体で物体検出、追跡、アナリティクスを可能にします。DeepStreamはAIをエッジデバイス上で直接実行することでクラウドへの依存をなくし、レイテンシを削減して効率を向上させます。
図4. YV24でGuy Dahan氏と共にDeepStream 7.0を探る。
具体的には、DeepStreamはAIを活用した動画処理の最初から最後までを処理できます。動画のデコードや前処理から、AI推論、後処理に至るまでのエンドツーエンドのワークフローをサポートしています。
最近、DeepStreamはAIデプロイを強化し、より利用しやすくスケーラブルにするためのいくつかのアップデートを導入しました。新しいツールは開発を簡素化し、マルチカメラ追跡を改善し、パフォーマンス向上のためにAIパイプラインを最適化します。
開発者は現在、Windows環境のサポート拡大、複数のソースからのデータ統合のためのセンサーフュージョン機能の強化、およびデプロイを加速するための構築済みリファレンスアプリケーションへのアクセスが可能になっています。これらの改善により、DeepStreamはリアルタイムAIアプリケーションにとってより柔軟で効率的なソリューションとなり、開発者がインテリジェントビデオ分析を容易にスケーリングできるよう支援します。
重要なポイント#
YV24におけるGuy Dahan氏のキーノートで示されたように、エッジAIはコンピュータビジョンアプリケーションを再定義しています。ハードウェアとソフトウェアの進歩により、リアルタイム処理はより高速で効率的、かつ費用対効果の高いものになっています。
より多くの業界がエッジAIを採用するにつれ、断片化やデプロイの複雑さといった課題に対処することが、その潜在能力を最大限に引き出す鍵となるでしょう。これらのイノベーションを取り入れることは、よりスマートで応答性の高いAIアプリケーションを促進し、コンピュータビジョンの未来を形作ることにつながります。
私たちが成長を続けるコミュニティの一員になりましょう！私たちのGitHub repositoryを探索してAIについてさらに学び、私たちのライセンスオプションをチェックしてビジョンAIプロジェクトを始動させましょう。医療分野のAIや製造業におけるコンピュータビジョンのようなイノベーションに興味がありますか？ソリューションページにアクセスして詳細をご覧ください！
