STMicroelectronicsはMCU上で推論あたりわずか9.4 mJでUltralytics YOLOを実行します

業界全体でAIの採用が進むにつれ、エッジでリアルタイム推論を実行できる高性能かつ低消費電力のソリューションに対する需要が高まっています。この技術的ニーズに応えるため、STMicroelectronicsは組み込みAIワークロード向けに設計されたニューラルプロセッシングユニット(NPU)を統合したSTM32N6マイクロコントローラを発表しました。

Ultralytics YOLOモデルをSTM32N6上で実行することで、STMicroelectronicsはマイクロコントローラ上で正確かつ効率的な組み込みVision AIが可能であることを実証しました。これにより、スマートシティ、ヘルスケア、家電製品などのセクターにおいて、スケーラブルなデバイス内インテリジェンスの新たな機会が開かれます。

Link to this sectionエッジにおける低消費電力デバイスのためのVision AIの探求#

STMicroelectronicsは半導体技術の世界的リーダーであり、世界中で50,000人以上の従業員と200,000社以上の顧客を抱えています。電気自動車や産業機器から、スマートホームデバイスや家電製品に至るまでのアプリケーションを実現するチップを設計・製造しています。

デバイスをよりスマートで応答性の高いものにするためにAIに注目する業界が増える中、STMicroelectronicsはその機能を直接エッジにもたらすことに注力してきました。例えば、高性能でエネルギー効率の高いチップであるSTM32N6マイクロコントローラは、computer visionのようなデバイス内AIタスクを処理できます。

開発者がSTM32N6上で組み込みビジョンアプリケーションを構築できるよう、STMicroelectronicsはマイクロコントローラ上で効率的に動作する柔軟で高性能なモデルを探していました。Ultralytics YOLOモデルは、スピード、精度、統合の容易さの信頼できる組み合わせを提供し、最適な選択肢となりました。

Link to this sectionAI駆動型組み込みシステムを実現する上での制約#

Edge AIの概念が広く受け入れられる前は、コンピュータビジョンモデルは通常、クラウドサーバーやGPU(Graphics Processing Units)などの大規模で中央集権的なシステムで実行されるように開発されていました。これらのプラットフォームは大規模なモデルのトレーニングとデプロイに必要なコンピューティング能力を提供しましたが、高いエネルギー消費、ネットワーク依存性、レイテンシ、運用コストの増大といった制約も伴いました。

ヘルスケア、家電、スマートシティなどの業界で、よりスマートなreal-time applicationsの実装に対する関心が高まるにつれ、AI処理をデータが生成される場所、つまりデバイス自体により近づけることが、技術的な必要性であり、戦略的な機会でもあることが明らかになりました。

しかし、低消費電力のマイクロコントローラ上でAIモデルを実行することは困難な場合があります。これらのデバイスは一般的にメモリ、コンピューティング能力、エネルギー容量が制限されており、パフォーマンスや精度を犠牲にせずに複雑なビジョンモデルをデプロイすることが困難です。

STMicroelectronicsは、開発者がモデルやワークフローを大幅に簡素化することなく、信頼性の高いリアルタイムのコンピュータビジョン機能をSTM32N6マイクロコントローラにもたらすことができる、汎用性の高いモデルスイートを特定する必要がありました。彼らの目標は、組み込みシステムの厳しい制約の範囲内で、有意義なデバイス内AIを提供することでした。

Link to this sectionマイクロコントローラ上での効率的なYOLOモデルデプロイ#

低消費電力の組み込みデバイスで高度なAIを実現するため、STMicroelectronicsはNeural-ART Accelerator™を搭載した高性能マイクロコントローラSTM32N6を発表しました。これは、エッジAIワークロード専用に構築された社内のニューラルプロセッシングユニット(NPU)です。この技術により、開発者はデバイス上で直接AI推論を実行することが可能になり、クラウドコンピューティングへの依存を減らしながら、スピード、応答性、エネルギー効率を向上させることができます。

STMicroelectronicsはUltralyticsと提携し、STM32N6上でUltralytics YOLOモデルを実行することで、その能力を評価し実証しました。スピードと精度のバランスで知られるUltralytics YOLOモデルは、リソースが制限された環境や組み込みデプロイに適しています。

Fig 1。STM32N6上でUltralytics YOLOモデルを実行する例です。

STM32N6上でさまざまなYOLOモデルのバリエーションを直接実行することにより、STMicroelectronicsは、object detection、分類、トラッキングといった、マイクロコントローラの電力とメモリの制限内でのさまざまなVision AIユースケースを実証することができました。このコラボレーションは、開発者がスケーラブルでプロダクションレディなビジョンモデルを使用して、リアルタイムのAI駆動型組み込みシステムをデプロイするための信頼できる選択肢を提供します。

Link to this sectionなぜUltralytics YOLOモデルが選ばれるのか#

Ultralytics YOLOモデルは、AI駆動型組み込みシステムに必要な精度、効率、汎用性の適切な組み合わせをSTMicroelectronicsに提供しました。これらのモデルは、STM32N6のような低消費電力のマイクロコントローラ上で動作するのに十分軽量でありながら、リアルタイムのオブジェクト検出およびインスタンスセグメンテーションのパフォーマンスを実現するのに十分な強力さを備えています。

例えば、STM32N6上で256 x 256解像度のUltralytics YOLOv8nモデルを実行した場合、システムは毎秒34フレームを達成し、各推論には約29ミリ秒かかりました。電力測定では、推論あたりわずか9.4 millijoulesしか消費しないことが示され、低消費電力デバイスでのリアルタイムビジョンタスクに非常に適していることがわかりました。

複数のYOLOモデルバリエーションのサポートにより、開発者はアプリケーションの制約に応じて、スピード、サイズ、または精度を微調整する柔軟性があります。統合が容易なアーキテクチャは、強力なコミュニティやドキュメントによるサポートと相まって、幅広い組み込みユースケースでVision AIの採用を加速させるというSTMicroelectronicsの目標に対して、Ultralytics YOLOを自然な適合させています。

Ultralytics Enterprise licenseを通じて、STMicroelectronicsは内部テストおよび開発のためにYOLOモデルの全スイートへのアクセスを顧客に提供しています。ただし、商用デプロイについては、顧客はライセンスフォームから直接Ultralyticsに自身の商用ライセンスを申請する必要があります。これにより、コンプライアンスが確保され、プロダクションレディなVision AIソリューションへのスケーラブルな道がサポートされます。

Link to this sectionスマートシティからヘルスケアまで：実戦で活用されるスケーラブルなEdge AI#

Ultralytics YOLOモデルをSTM32N6マイクロコントローラ上で直接実行できる能力は、STMicroelectronicsとその開発エコシステムにとって、幅広いVision AIアプリケーションの可能性を切り開きました。外部処理やクラウド接続に頼らずにデバイス上で高速かつ正確な推論を提供することで、このソリューションはコンパクトで低消費電力のシステムにインテリジェントな機能をデプロイすることを可能にします。

顧客は、スマートシティインフラにおけるリアルタイムの歩行者および車両検出、産業オートメーションにおけるデバイス内の安全性チェックと品質管理、ポータブルヘルスケアツールにおけるAI支援診断など、さまざまなセクターでユースケースを検討しています。同様に、家電の分野でも、YOLOモデルはプレゼンス検出、ジェスチャー認識、object trackingなどの応答性の高い機能を実現し、これらすべてがバッテリー駆動デバイスのパフォーマンス制約内で行われます。

Link to this section明日のVision AIソリューションを今日構築する#

AIが進化し続ける中、STMicroelectronicsは、エッジデバイスに強力かつ効率的なソリューションをより簡単に導入できるようにすることに注力しています。Ultralyticsのようなパートナーと緊密に連携することで、すぐに使用できるモデル、ツール、STM32互換のリソースを活用し、開発者がより迅速に作業を開始できるよう支援しています。

Edge AIイノベーションの次のステップに進みましょう。GitHub repositoryにアクセスして、Ultralytics YOLOモデルがどのように組み込みビジョンを変革しているかをご確認ください。AI in healthcareやcomputer vision in retailのアプリケーションを探索し、今すぐlicensing optionsをチェックしてください。