Edge AIと、NVIDIAのJetson、Triton、TensorRTなどのイノベーションが、コンピュータビジョンアプリケーションの展開をどのように簡素化しているかを探ります。
近年のコンピュータビジョンと人工知能（AI）の進歩のおかげで、かつては研究分野に過ぎなかったものが、今やさまざまな産業で影響力のあるアプリケーションを推進しています。自動運転車から医療画像処理、セキュリティまで、コンピュータビジョンシステムは現実の問題を大規模に解決しています。
これらのアプリケーションの多くは、画像をリアルタイムで分析し、クラウドコンピューティングに依存することは、レイテンシ、コスト、プライバシーの問題から、必ずしも実用的ではありません。エッジAIは、このような状況に最適なソリューションです。Vision AIモデルをエッジデバイス上で直接実行することにより、企業はより高速、より手頃な価格で、より安全にデータを処理できるため、リアルタイムAIがより利用しやすくなります。
Ultralyticsが主催する年次ハイブリッドイベントであるYOLO Vision 2024（YV24）では、Vision AIの導入をよりユーザーフレンドリーで効率的にすることで、民主化することが中心的なテーマの1つでした。NVIDIAのシニアソリューションアーキテクトであるGuy Dahan氏は、エッジコンピューティングデバイス、推論サーバー、最適化フレームワーク、AI導入SDKなどのNVIDIAのハードウェアおよびソフトウェアソリューションが、開発者がエッジでAIを最適化するのにどのように役立っているかについて説明しました。
この記事では、Guy Dahan氏のYV24基調講演からの重要なポイントと、NVIDIAの最新のイノベーションがVision AIの展開をどのように高速化し、よりスケーラブルにしているかを探ります。
Guy Dahan氏は、YV24にバーチャルで参加できたこと、そしてUltralytics PythonパッケージとUltralytics YOLOモデルへの関心を表明し、「Ultralyticsはリリースされた日から使っています。Ultralyticsが本当に好きです。YOLOv5もそれ以前から使っていて、このパッケージの熱心な愛好家です」と述べました。
次に、彼はエッジAIの概念を紹介し、AI計算を、処理のために遠隔のクラウドサーバーにデータを送信するのではなく、カメラ、ドローン、または産業用機械などのデバイス上で直接実行することを説明しました。
画像やビデオがアップロードされ、分析されて結果が返送されるのを待つ代わりに、エッジAIを使用すると、デバイス自体でデータを即座に分析できます。これにより、Vision AIシステムはより高速、より効率的になり、インターネット接続への依存度が低くなります。エッジAIは、自動運転車、セキュリティカメラ、スマートファクトリーなどのリアルタイムの意思決定アプリケーションに特に役立ちます。
Edge AIを紹介した後、Guy Dahan氏は、効率、コスト削減、データセキュリティに焦点を当て、その主な利点を強調しました。彼は、最大の利点の1つは低遅延であると説明しました。AIモデルはデバイス上で直接データを処理するため、情報をクラウドに送信して応答を待つ必要がないからです。
エッジAIは、コスト削減と機密データの保護にも役立ちます。大量のデータをクラウドに送信する、特にビデオストリームは、コストがかかる可能性があります。しかし、ローカルで処理することで、帯域幅とストレージのコストを削減できます。
もう一つの重要な利点は、情報が外部サーバーに転送されるのではなく、デバイス上に保持されるため、データプライバシーが確保されることです。これは、データをローカルに安全に保つことが最優先事項である医療、金融、セキュリティアプリケーションにとって特に重要です。
これらの利点を踏まえ、Guy Dahan氏はEdge AIの導入が拡大していることについてコメントしました。NVIDIAが2014年にJetsonを発表して以来、利用が10倍に増加したと述べています。現在、120万人以上の開発者がJetsonデバイスを使用しています。
ガイ・ダハン氏は次に、低消費電力で高性能を実現するように設計されたAIエッジコンピューティングデバイスのファミリーであるNVIDIA Jetsonデバイスに焦点を当てました。Jetsonデバイスは、ロボット工学、農業、ヘルスケア、産業オートメーションなどの分野におけるコンピュータビジョンアプリケーションに最適です。「Jetsonは、AI専用に特別に調整されたエッジAIデバイスです。元々は主にコンピュータビジョン用に設計されたと言ってもいいでしょう」とガイ・ダハン氏は付け加えました。
Jetsonデバイスには3つの階層があり、それぞれ異なるニーズに対応します。
また、Guy Dahan氏は、今年発売される予定のJetson AGX Thorについて、GPU（Graphics Processing Unit）の性能が8倍、メモリ容量が2倍になり、CPU（Central Processing Unit）の性能が向上すると述べました。これは、人型ロボット工学と高度なエッジAIアプリケーション向けに特別に設計されています。
ガイ・ダハン氏はその後、エッジAIのソフトウェア側に軸足を移し、強力なハードウェアがあっても、モデルを効率的にデプロイするのは難しい場合があると説明しました。
最大のハードルの1つは互換性です。AI開発者は、PyTorchやTensorFlowなどのさまざまなAIフレームワークを使用することがよくあります。これらのフレームワーク間を移動することは難しく、すべてが正しく実行されるように、開発者は環境を再作成する必要があります。
スケーラビリティもまた、重要な課題です。AIモデルは膨大な計算能力を必要とし、Dahan氏が言うように、「より少ない計算能力を求めるAI企業は存在しません。」複数のデバイスにAIアプリケーションを拡張すると、すぐにコストがかさむため、最適化が不可欠になります。
また、AIパイプラインは複雑で、多くの場合、さまざまな種類のデータ、リアルタイム処理、およびシステム統合が含まれます。開発者は、モデルが既存のソフトウェアエコシステムとシームレスに連携するように多大な努力を払っています。これらの課題を克服することは、AIデプロイメントをより効率的かつスケーラブルにする上で重要な部分です。
次に、Guy Dahan氏はNVIDIAのTriton Inference Serverに注目しました。彼は、多くの企業やスタートアップが、モデルを完全に最適化せずにAI開発を開始していると指摘しました。AIパイプライン全体をゼロから再設計すると、混乱を招き、時間がかかり、効率的に拡張することが難しくなります。
Tritonを使用すると、完全なシステムの見直しを必要とせずに、開発者は既存のセットアップを壊すことなく、AIワークフローを段階的に改良および最適化し、より効率的なコンポーネントを統合できます。TensorFlow、PyTorch、ONNX、TensorRTなどの複数のAIフレームワークをサポートすることで、Tritonは最小限の調整でクラウド環境、データセンター、エッジデバイス全体にシームレスなデプロイを可能にします。
以下に、NVIDIAのTriton Inference Serverの主な利点をいくつか示します。
さらに高速化を求めているとしましょう。NVIDIA TensorRTは、AIモデルを最適化するための興味深い選択肢です。Guy Dahan氏は、TensorRTはNVIDIA GPU用に構築された高性能な深層学習オプティマイザであると詳しく説明しました。TensorFlow、PyTorch、ONNX、MXNetのモデルは、TensorRTを使用して、非常に効率的なGPU実行可能ファイルに変換できます。
TensorRTが非常に信頼性の高い理由は、ハードウェア固有の最適化にあります。Jetsonデバイス用に最適化されたモデルは、ターゲットハードウェアに基づいてTensorRTがパフォーマンスを微調整するため、他のGPUでは効率的に機能しません。適切に微調整されたコンピュータビジョンモデルを使用すると、最適化されていないモデルと比較して、推論速度が最大36倍向上する可能性があります。
ガイ・ダハン氏はまた、UltralyticsのTensorRTサポートに注目し、AIモデルのデプロイをより高速かつ効率的にする方法について語りました。Ultralytics YOLOモデルは、TensorRT形式に直接エクスポートできるため、開発者は変更を加えることなくNVIDIA GPU用に最適化できます。
Guy Dahanは講演の最後に、NVIDIA GPUを使用してビデオ、オーディオ、センサーデータをリアルタイムで処理するために設計されたAIフレームワークであるDeepStream 7.0を紹介し、講演を締めくくりました。高速コンピュータビジョンアプリケーションをサポートするために構築されており、自律システム、セキュリティ、産業オートメーション、スマートシティ全体で、物体検出、追跡、分析を可能にします。AIをエッジデバイス上で直接実行することで、DeepStreamはクラウドへの依存をなくし、遅延を削減し、効率を向上させます。
具体的には、DeepStreamはAIを活用したビデオ処理を最初から最後まで処理できます。ビデオのデコードとプリプロセッシングから、AI推論とポストプロセッシングまで、エンドツーエンドのワークフローをサポートします。
最近、DeepStream は AI のデプロイメントを強化するためにいくつかのアップデートを導入し、よりアクセスしやすく、スケーラブルにしました。新しいツールは、開発を簡素化し、マルチカメラトラッキングを改善し、AI パイプラインを最適化してパフォーマンスを向上させます。
開発者は、Windows環境に対するサポートの拡大、複数のソースからのデータを統合するための高度なセンサーフュージョン機能、およびデプロイを加速するための構築済みのリファレンスアプリケーションへのアクセスを利用できるようになりました。これらの改善により、DeepStreamはリアルタイムAIアプリケーション向けのより柔軟で効率的なソリューションとなり、開発者はインテリジェントなビデオ分析を容易に拡張できます。
YV24でのガイ・ダハンの基調講演で説明されているように、エッジAIはコンピュータビジョンのアプリケーションを再定義しています。ハードウェアとソフトウェアの進歩により、リアルタイム処理はより高速、より効率的、そして費用対効果が高まっています。
より多くの産業がエッジAIを採用するにつれて、断片化や展開の複雑さなどの課題に対処することが、その潜在能力を最大限に引き出すための鍵となります。これらのイノベーションを受け入れることで、よりスマートで応答性の高いAIアプリケーションが推進され、コンピュータビジョンの未来が形作られるでしょう。
成長を続けるコミュニティに参加しませんか？GitHubリポジトリでAIについてさらに学び、ライセンスオプションをチェックして、Vision AIプロジェクトを始めましょう。ヘルスケアにおけるAIや製造業におけるコンピュータビジョンなどのイノベーションにご興味がありますか？ソリューションページで詳細をご覧ください。
.webp)