Edge AIデバイスへのコンピュータービジョンアプリケーションのデプロイ

コンピュータービジョンと人工知能（AI）の近年の進歩により、かつては研究分野にすぎなかった技術が、今ではさまざまな業界で大きな効果をもたらすアプリケーションを支えています。自動運転車から医療画像、セキュリティまで、コンピュータービジョンシステムは大規模に実際の問題を解決しています。

こうしたアプリケーションの多くは、画像や動画をリアルタイムで分析しますが、レイテンシ、コスト、プライバシー上の懸念から、クラウドコンピューティングが常に実用的とは限りません。このような状況ではエッジAIが有効です。エッジデバイス上でビジョンAIモデルを直接実行すれば、企業はより迅速かつ低コストで、さらに高いセキュリティを確保しながらデータを処理でき、リアルタイムAIをより利用しやすくなります。

Ultralytics主催の年次ハイブリッドイベントであるYOLO Vision 2024（YV24）では、デプロイをよりユーザーフレンドリーかつ効率的にしてビジョンAIを民主化することが主要なテーマの1つでした。NVIDIAのシニアソリューションアーキテクトであるGuy Dahanは、エッジコンピューティングデバイス、推論サーバー、最適化フレームワーク、AIデプロイSDKなどを含むNVIDIAのハードウェアおよびソフトウェアソリューションが、開発者によるエッジAIの最適化をどのように支援しているかを紹介しました。

この記事では、Guy DahanによるYV24の基調講演の主なポイントと、NVIDIAの最新技術がビジョンAIのデプロイをどのように高速化し、スケーラビリティを高めているかを紹介します。

エッジAIとは#

Guy Dahanは講演の冒頭で、YV24にオンラインで参加できることへの喜びと、Ultralytics PythonパッケージおよびUltralytics YOLOモデルへの関心を示し、「Ultralyticsが公開された日から使っています。とても気に入っています。それ以前からYOLOv5を使っていて、このパッケージの熱心なファンです」と述べました。

続いて、カメラ、ドローン、産業用機械などのデバイス上でAIの計算処理を直接実行し、処理のためにデータを遠隔地のクラウドサーバーへ送信しないエッジAIの概念を紹介しました。

画像や動画がアップロードされ、分析され、結果が返送されるのを待つ代わりに、エッジAIではデバイス自体でデータを即座に分析できます。これによりビジョンAIシステムが高速かつ効率的になり、インターネット接続への依存も軽減されます。エッジAIは、自動運転車、セキュリティカメラ、スマートファクトリーなど、リアルタイムの意思決定を必要とする用途で特に役立ちます。

エッジAIの主なメリット#

エッジAIを紹介した後、Guy Dahanはその主なメリットとして、効率性、コスト削減、データセキュリティに焦点を当てました。最大の利点の1つはレイテンシの低さです。AIモデルがデバイス上で直接データを処理するため、情報をクラウドに送って応答を待つ必要がありません。

エッジAIはコスト削減と機密データの保護にも役立ちます。大量のデータ、特に動画ストリームをクラウドに送信すると、費用がかかる場合があります。しかし、ローカルで処理すれば帯域幅とストレージのコストを削減できます。

もう1つの主な利点はデータプライバシーです。情報が外部サーバーに転送されず、デバイス上に保持されるためです。データをローカルで安全に保つことが最優先となる医療、金融、セキュリティの用途では、特に重要です。

図1. YV24でエッジAIのメリットについてリモート講演するGuy Dahan。

こうしたメリットを踏まえ、Guy DahanはエッジAIの導入が拡大していることに言及しました。NVIDIAが2014年にJetsonを発表して以来、利用は10倍に増加したと述べました。現在、120万人を超える開発者がJetsonデバイスを利用しています。

NVIDIA Jetsonの概要：エッジAIデバイス#

その後Guy Dahanは、高い性能と低い消費電力を実現するよう設計されたエッジAIコンピューティングデバイスのファミリーであるNVIDIA Jetsonデバイスに焦点を当てました。Jetsonデバイスは、ロボティクス、農業、医療、産業オートメーションなどの分野におけるコンピュータービジョンの用途に最適です。Guy Dahanはさらに、「JetsonはAI向けに特化して設計されたエッジAIデバイスです。もともとは主にコンピュータービジョン向けに設計されていたと言ってもよいでしょう」と述べました。

Jetsonデバイスは3つのティアに分かれており、それぞれ異なるニーズに適しています。

• エントリーレベル：これらのデバイスは、10～15Wの消費電力で20～40兆回/秒の演算性能 (TOPS) を提供し、エッジアプリケーション向けの手頃な選択肢となります。
• メインストリーム: 性能と効率のバランスが取れており、消費電力20～40Wで70～200 TOPSを提供するため、中規模のAIワークロードに適しています。
• ハイパフォーマンス: 消費電力60～75Wで最大275 TOPSを実現し、ロボティクスや自動化など、高い性能が求められるAIアプリケーション向けに設計されています。

また、Guy Dahan氏は今年発売予定のJetson AGX Thorについて紹介し、GPU（グラフィックス処理ユニット）の性能が8倍、メモリ容量が2倍になり、CPU（中央処理装置）の性能も向上すると述べました。ヒューマノイドロボティクスと高度なエッジAIアプリケーション向けに特化して設計されています。

コンピュータービジョンモデルのデプロイに関する課題#

続いてGuy Dahan氏は、エッジAIのソフトウェア面に話題を移し、高性能なハードウェアがあっても、モデルを効率的にデプロイするのは難しい場合があると説明しました。

大きな課題の一つは互換性です。AI開発者は、PyTorchやTensorFlowなど、さまざまなAIフレームワークを使用することがよくあります。フレームワーク間の移行は難しく、すべてが正しく動作するように環境を再構築する必要があります。

スケーラビリティも重要な課題です。AIモデルには大きな計算能力が必要であり、Dahan氏の言葉を借りれば、「計算リソースを減らしたいAI企業など、これまで存在しません」。AIアプリケーションを複数のデバイスに拡張すると、すぐにコストが膨らむため、最適化が不可欠です。

さらに、AIパイプラインは複雑で、さまざまな種類のデータ、リアルタイム処理、システム統合を伴うことがよくあります。開発者は、モデルが既存のソフトウェアエコシステムと円滑に連携するよう、多くの労力を費やしています。こうした課題の克服は、AIのデプロイをより効率的かつ拡張可能にするうえで重要です。

図2. モデルのデプロイにおける課題。

NVIDIA Triton Inference Serverでデプロイを簡素化#

次にGuy Dahan氏は、NVIDIAのTriton Inference Serverに注目しました。同氏は、多くの企業やスタートアップがモデルを十分に最適化しないままAI開発を始めると指摘しました。AIパイプライン全体をゼロから再設計すると、既存の業務に支障をきたし、時間もかかるため、効率的なスケーリングが難しくなります。

システム全体の刷新を求めるのではなく、Tritonを使えば、開発者は既存の環境を壊すことなく、より効率的なコンポーネントを統合しながらAIワークフローを段階的に改善および最適化できます。TensorFlow、PyTorch、ONNX、TensorRTなど複数のAIフレームワークをサポートするTritonは、最小限の調整でクラウド環境、データセンター、エッジデバイスへのデプロイを可能にします。

図3. NVIDIA Triton Inference Serverの概要。

NVIDIA Triton Inference Serverの主な利点をいくつか紹介します。

• 自動バッチ処理：Tritonは、処理前に複数のAIリクエストをまとめることで、スループットとGPUの使用率を向上させます。
• Kubernetesとの統合：Tritonはクラウドネイティブであり、複数のコンピューターやクラウドサーバーにまたがるAIアプリケーションの管理とスケーリングを支援するシステム、Kubernetesと統合できます。
• オープンソースでカスタマイズ可能: 開発者は特定のニーズに合わせてTritonを変更できるため、幅広いAIアプリケーションに柔軟に対応できます。

NVIDIA TensorRTでAI性能を最大化#

さらなる高速化を目指す場合、NVIDIA TensorRTはAIモデルの最適化に有効な選択肢です。Guy Dahan氏によると、TensorRTはNVIDIA GPU向けに構築された高性能なディープラーニングオプティマイザーです。TensorFlow、PyTorch、ONNX、MXNetのモデルをTensorRTで変換すると、GPUで実行する高効率なファイルを生成できます。

TensorRTの高い信頼性を支えているのは、ハードウェア固有の最適化です。Jetsonデバイス向けに最適化されたモデルは、TensorRTがターゲットハードウェアに合わせて性能を微調整するため、ほかのGPUでは同じように効率的に動作しません。NVIDIAによると、TensorRTはCPUのみのプラットフォームと比べて推論を最大36倍高速化できます。

Guy Dahan氏は、TensorRTに対するUltralyticsのサポートにも言及し、AIモデルのデプロイをより高速かつ効率的にする仕組みについて説明しました。Ultralytics YOLOモデルはTensorRT形式に直接エクスポートできるため、開発者は変更を加えることなくNVIDIA GPU向けに最適化できます。

DeepStream 7.0: ストリーミング分析ツールキット#

講演の締めくくりとして、Guy Dahan氏は、NVIDIA GPUを使用して動画、音声、センサーデータをリアルタイム処理するためのAIフレームワーク、DeepStream 7.0を紹介しました。高速なコンピュータービジョンアプリケーションを支えるよう設計されており、自律システム、セキュリティ、産業オートメーション、スマートシティにおける物体検出、追跡、分析を可能にします。AIをエッジデバイス上で直接実行することで、DeepStreamはクラウドへの依存をなくし、レイテンシを低減して効率を高めます。

図4. YV24でGuy Dahan氏とDeepStream 7.0を紹介。

具体的には、DeepStreamはAIを活用した動画処理を最初から最後まで実行できます。動画のデコードや前処理から、AI推論、後処理までのエンドツーエンドのワークフローに対応しています。

最近、DeepStreamではAIデプロイをより利用しやすく、スケーラブルにするため、複数のアップデートが導入されました。新しいツールによって開発が簡素化され、マルチカメラ追跡が強化され、性能向上に向けてAIパイプラインが最適化されています。

開発者は、Windows環境への対応拡大、複数のソースからデータを統合するセンサーフュージョン機能の強化、デプロイを加速する事前構築済みのリファレンスアプリケーションを利用できるようになりました。こうした改善により、DeepStreamはリアルタイムAIアプリケーション向けの、より柔軟で効率的なソリューションとなり、開発者はインテリジェントな動画分析を容易にスケーリングできます。

重要なポイント#

YV24でのGuy Dahan氏の基調講演で示されたように、エッジAIはコンピュータービジョンアプリケーションを再定義しています。ハードウェアとソフトウェアの進歩により、リアルタイム処理はより高速で効率的になり、コストも抑えられています。

エッジAIを採用する業界が増えるなか、その可能性を最大限に引き出すには、断片化やデプロイの複雑さといった課題への対処が重要です。こうしたイノベーションを取り入れることで、よりスマートで応答性の高いAIアプリケーションが実現し、コンピュータービジョンの未来が形作られていきます。

成長を続けるコミュニティに参加しませんか。AIについて詳しく知るにはGitHubリポジトリをご覧いただき、ビジョンAIプロジェクトを始める際にはライセンスオプションをご確認ください。医療分野のAIや製造業のコンピュータービジョンなどのイノベーションに関心がありますか。ソリューションページで詳細をご覧ください。