Edge Computing

エッジコンピューティングとは、すべてを遠隔地のクラウドリージョンに送るのではなく、デバイス、オンプレミスのサーバーやゲートウェイ、通信ネットワークのエッジにある小規模データセンターなど、データが生成または使用される場所の近くで計算とデータ保存を行う手法です。データ発生源の近くで処理することで、応答時間を短縮し、生データの転送に必要な帯域幅を削減し、機密データを現場に保持できます。また、ネットワークが切断されてもシステムの動作を継続できます。この考え方は、1990年代後半にユーザーの近くでWebページをキャッシュするコンテンツデリバリーネットワークから発展しました。Mahadev Satyanarayananらの研究者は2009年にモバイルデバイス向けの近隣「クラウドレット」を提案し、Ciscoは2012年にフォグコンピューティングという用語を導入しました。欧州の標準化機関ETSIは2014年にモバイルネットワーク向けのマルチアクセスエッジコンピューティングの標準化を開始しました。このインフラ上で機械学習モデルを実行することをエッジAIと呼びます。

エッジの階層#

「エッジ」は、センサーとクラウドの間にある複数の階層を指します。

• デバイスエッジ: カメラ、スマートフォン、ドローン、ロボット、車両など、多くの場合は組み込みアクセラレーターを備え、自身のプロセッサー上でデータを処理するデバイスです。
• オンプレミスエッジ: 工場、店舗、病院、農場などに設置し、多数のデバイスからデータを集約するゲートウェイや小型サーバーです。たとえば、1台のGPU搭載マシンで数十本のカメラストリームを分析します。
• ネットワークエッジ: 通信基地局や地域のPoPに設置されたサーバーです。モバイルユーザーから数ミリ秒の距離にあり、ローカルで処理するには小さすぎるデバイス向けのワークロードを実行します。
• クラウド: モデルの学習、長期データの保存、エッジデバイス群の管理を行う中央リージョンです。

エッジでデータを処理する理由#

第一の理由はレイテンシです。光ファイバー内の光の速度は約1ミリ秒あたり200キロメートルです。そのため、1,000 km離れたデータセンターとの通信では、ルーティング、キューイング、処理時間を含める前から、往復で少なくとも10 msの遅延が加わります。数ミリ秒以内に反応する必要がある自動運転車やロボットは、機上でリアルタイム推論を実行します。第二の理由は帯域幅です。1080pのH.264カメラストリーム1本でも数Mbpsが必要なため、カメラが100台ある施設では、毎秒数百Mbpsを継続的にアップロードすることになります。一方、検出イベントをJSONで送れば数キロバイトで済みます。現場で処理すれば、人が写った生画像もローカルに保持でき、建物の外に送るのは人数、アラート、匿名化済みの結果だけになります。これによりデータプライバシーに関する義務への対応が簡素化され、農場、船舶、鉱山、遠隔地のインフラでもネットワーク障害中にシステムを動作させられます。

実際には、エッジとクラウドがループを形成します。デバイスは各フレームをローカルで処理してイベントと選択したサンプルだけを上位に送信し、クラウドはそのサンプルを使ってモデルを再学習し、改善したモデルを再配信します。

このパターンは、次の製品が到着する前に不良品を排除する必要がある生産ラインの品質検査、接続が不安定な農地での作物・家畜モニタリング、交差点のカメラ映像をもとに信号を調整する交通管理システムで活用されています。

エッジコンピューティングと関連用語の比較#

クラウドコンピューティングは、大規模なデータセンターに柔軟に拡張できる計算能力を集約します。エッジコンピューティングはそこから計算処理を外側へ広げるため、ほとんどのシステムは両方を利用します。エッジAIは、AIモデルを実行するエッジコンピューティングの一種です。Ciscoが用いた用語であるフォグコンピューティングは、デバイスとクラウドの間にあるゲートウェイやローカルサーバーの階層を指し、オンプレミスエッジとネットワークエッジのほぼ同義語です。モノのインターネット（IoT）は、接続されたセンサーやデバイスのネットワークを指し、エッジコンピューティングは、それらが生成するデータの多くを処理する場所です。

エッジデバイスへのモデルのデプロイ#

エッジハードウェアが利用できるメモリ、演算能力、電力の予算はデータセンターGPUのごく一部で、その範囲はミリワット単位の電力を消費するマイクロコントローラーからNVIDIA JetsonモジュールやRaspberry Piボードまで及びます。モデルは、8ビット整数へのモデル量子化、プルーニング、知識蒸留によって小型化・高速化され、その後、対象のランタイムとアクセラレーター（NVIDIA GPU向けのTensorRT、OpenVINO（Intel CPUおよびNPUに対応）、Android向けのLiteRT、Appleデバイス向けのCore MLなど）用にコンパイルされます。Ultralytics YOLOのエクスポートモードでは、1つの学習済みモデルからこれらの形式を生成します。この例では、YOLO26を、モバイルおよびARM CPU向けのTencentの推論フレームワークであるNCNNにエクスポートし、エクスポートしたモデルを実行します:

from ultralytics import YOLO

# Export YOLO26n to NCNN, a lightweight runtime for ARM CPUs and mobile devices
model = YOLO("yolo26n.pt")
ncnn_path = model.export(format="ncnn")  # writes the yolo26n_ncnn_model folder

# Load the exported model and run it on this machine's CPU
ncnn_model = YOLO(ncnn_path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
print(f"Inference: {results[0].speed['inference']:.1f} ms")

エクスポートすると、ネットワーク構造を含むmodel.ncnn.param、重みを含むmodel.ncnn.bin、クラス名と入力サイズを含むmetadata.yamlを格納したyolo26n_ncnn_modelフォルダーが作成されます。表示される時間は、実行マシンでの画像あたりの推論レイテンシです。この値によって、モデルがエッジアプリケーションのフレームレート予算に収まるかどうかが決まります。