Edge AI

エッジAIとは、データをリモートのデータセンターに送るのではなく、スマートフォン、カメラ、車両、ロボット、工場のゲートウェイなど、データを生成するデバイス上またはその近くで人工知能（AI）モデルを実行することです。カメラフレームや音声クリップを取得した場所で処理することで、ネットワークの往復遅延がなくなり、数ミリ秒で判断できます。接続がなくてもデバイスは動作し続け、機密性の高い入力はデータプライバシーのためにローカルに保持され、生の動画をクラウドへストリーミングする必要もないため、帯域幅を節約できます。一方で、メモリ、計算能力、電力の予算が限られ、多数のデバイスでモデルを更新する作業も必要です。

エッジAIの仕組み#

モデルは通常、GPUを使ってクラウドで学習し、対象デバイスで動かせるように小型化・高速化します。モデル量子化によるFP16またはINT8化、モデルの枝刈り、知識蒸留によってモデルを縮小し、エクスポートによって、デバイス上の推論エンジンが実行できる形式に変換します。たとえば、NVIDIAハードウェア上のTensorRT、Android上のLiteRT、Appleデバイス上のCore ML、ARM CPU上のNCNNなどです。デバイスはその後、ローカルで推論を実行し、アラート、カウント、短い動画など、必要な情報だけを上位システムに送ります。アップロードデータは改善サイクルにも役立ちます。現場で収集した難しい事例にラベルを付け、モデルを再学習し、新しいバージョンを無線経由でデバイスに配信します。

エッジAIのハードウェア#

• ニューラルプロセッシングユニット（NPUs）：AppleのNeural EngineやQualcommのHexagon NPUなど、現在の多くのスマートフォンやノートPCのチップに内蔵された専用アクセラレーターです。スマートフォンの電力予算内で量子化モデルを実行します。
• NVIDIA Jetson：ARM CPUとNVIDIA GPUを組み合わせた組み込みモジュールです。GPUクラスの処理能力を必要とするロボット、ドローン、スマートカメラに適しています。
• Raspberry Pi：ARM CPU上、または追加アクセラレーターボード上で小型モデルを実行する、低価格のシングルボードコンピューターです。
• マイクロコントローラー：最小クラスのデバイスで、数百キロバイトのモデルをミリワット単位の電力で実行します。

モデルをエッジにデプロイする#

デバイスの種類ごとに、適したエクスポート形式は異なります。Raspberry Piでは、UltralyticsがUltralytics YOLO26についてベンチマークした形式の中でNCNNが最速です。一度エクスポートしてエクスポート済みフォルダーを読み込めば、同じ検出器をそのエンジンで実行できます。

from ultralytics import YOLO

# 最小のYOLO26検出モデルを読み込む
model = YOLO("yolo26n.pt")

# ARM CPU向けに最適化された推論フレームワーク、NCNNにエクスポートします
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# デバイス上と同様に、エクスポート済みモデルで推論を実行します
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

保存された画像には、NCNNエンジンが計算した検出結果が表示されます。デバイス上のアプリケーションは、多くの場合Dockerコンテナーとしてパッケージ化されるため、同一ボードのデバイス群で同じイメージを実行できます。

エッジAIと関連用語の比較#

• エッジコンピューティング：センサー値のフィルタリングからコンテンツのキャッシュまで、あらゆるデータを発生源の近くで処理する広義の手法です。エッジAIは、機械学習モデルをワークロードとするエッジコンピューティングです。
• TinyML：キロバイト単位のメモリしかないマイクロコントローラー上で動作する、エッジAIの最小クラスです。
• 連合学習：生データではなく重みの更新分を送信することで、多数のデバイス間で共有モデルを学習します。エッジAIは通常、推論を指しますが、連合学習では同じデバイス上で学習も行います。

エッジAIの用途#

• 自動運転車：車や配送ロボットは、車載環境で歩行者、車両、車線を検出します。接続の遅延や切断によってブレーキが遅れることは許されないためです。
• スマートカメラ：小売、交通、セキュリティ向けのカメラは、物体検出をローカルで実行し、連続動画ではなくカウントやアラートを送信します。
• 産業検査：生産ライン上のカメラはミリ秒単位で不良部品を排除し、機械の振動センサーはダウンタイムが発生する前に異常を検出します。
• スマートフォン：写真の処理、音声の文字起こし、小型言語モデルのデバイス上での実行を行います。たとえばApple IntelligenceがAppleデバイス上で実行する約30億パラメーターのモデルがあり、アプリはAppleのFoundation Modelsフレームワークを通じて利用できます。