Sony IMX500とAITRIOSによるエッジAIの強化

Edge AIにより、スマートフォン、カメラ、ドローンなどのデバイス上で直接人工知能（AI）モデルを稼働させることができます。主な利点は、クラウドに依存せず、より高速なリアルタイムの意思決定をサポートできる点です。実際、エッジプラットフォーム上でAIを使用すると、業務効率を最大40%向上させることができるという研究結果が出ています。

エッジAI、特にコンピュータービジョンにおける近年の進歩により、これは、AI愛好家や専門家が集まってビジョンAIの最新情報を探求するUltralyticsの年次ハイブリッドイベントであるYOLO Vision 2024 (YV24)の中心的なトピックとなりました。イベントハイライトの1つは、Sonyの基調講演であり、そこで最先端のAIハードウェアおよびソフトウェアソリューションが披露されました。IMX500センサーとAITRIOSプラットフォームが取り上げられ、Ultralytics YOLO11やUltralytics YOLOv8などのUltralytics YOLOモデルをエッジにデプロイすることが、これらの革新によっていかに簡単かつ効率的になっているかがSonyによって実証されました。

セッションは、Sonyのイメージングソリューションを担当するビジネス開発マネージャーのWei Tang氏と、エッジデバイスへのディープラーニングモデルのデプロイに関する専門知識を持つエッジディープラーニングプロダクトマネージャーのAmir Servi氏によって進行されました。

本記事では、YV24でのSonyの講演を振り返り、IMX500センサーとAITRIOSプラットフォームがどのようにYOLOモデルの利用を最適化し、より高速なリアルタイムのエッジAI処理を実現しているのかを探ります。それでは始めましょう！

Sonyのビジョン：エッジデバイスにおけるAIの民主化#

Wei Tang氏は、数年前に写真技術において実現したのと同様に、エッジAIを誰もが利用しやすいものにするというSonyの目標について語り、セッションを開始しました。彼女は、Sonyがエッジコンピューティングを通じて高度なビジョンAIをより多くの人々に届けることに現在注力している点を強調しました。これを推進する要因の1つは、エッジAIが環境に与えるポジティブな影響です。巨大なデータセンターに依存するのではなく、デバイス上で直接データを処理することで、エッジコンピューティングはエネルギー使用量を削減し、二酸化炭素排出量を減らすのに役立ちます。これは、より優れた機能を発揮するだけでなく、より持続可能な未来の創造に貢献するテクノロジーの構築というSonyのコミットメントに完璧に合致する、よりスマートで環境に優しいアプローチです。

Wei氏は続けて、イメージングおよびセンシング技術を専門とするSonyの部門であるソニーセミコンダクタソリューションズが、どのように高度なイメージセンサーを製造しているかについて説明しました。これらのセンサーはさまざまなデバイスで使用され、光を電子信号に変換して画像をキャプチャします。年間12億個以上のセンサーが出荷されており、世界の携帯電話のほぼ半分に搭載されているため、Sonyはイメージング業界における主要なプレイヤーとなっています。

図1 Sonyのイメージセンサーの例

この専門知識を基盤として、Sonyはさらに歩みを進め、これらのセンサーを単なる画像キャプチャデバイスから、リアルタイムでデータを処理し、デバイス上で直接AIを活用したインサイトを可能にするスマートツールへと変革させています。この移行をサポートするためにSonyが使用しているハードウェアおよびソフトウェアソリューションについて議論する前に、これらのイノベーションが解決を目指すエッジAIの課題について理解しましょう。

エッジデバイスでのAI画像処理に関する課題#

エッジAI ソリューションの開発には、特にカメラやセンサーなどのデバイスを扱う場合、いくつかの重要な課題が伴います。これらのデバイスの多くは電力や処理能力が限られており、高度なAIモデルを効率的に実行することを困難にしています。

その他に主な制限事項として以下のものがあります：

• ソフトウェアの複雑性：異なるハードウェア構成を持つさまざまなエッジデバイスで動作するようにAIモデルを適応させる作業は複雑であり、調整や最適化が必要になる場合があります。
• 後処理のボトルネック：大量のデータをデバイスからホストに転送して後処理を行う際に、遅延が発生することがよくあります。これは多くの場合、実際のAI モデル推論よりも多くの時間を消費します。
• データの爆発的増加：多くのIoTデバイスが継続的にデータを生成しているため、ローカルで処理する必要のあるデータの量が増大し、エッジデバイスにさらに大きな負荷をかけることになります。

Sony IMX500インテリジェントビジョンセンサーを知る#

Sony IMX500インテリジェントビジョンセンサーは、エッジAI処理におけるゲームチェンジャーとなるハードウェアです。これは、オンチップAI機能を備えた世界初のインテリジェントビジョンセンサーです。このセンサーは、データ処理のボトルネック、プライバシーの懸念、パフォーマンスの制限など、エッジAIにおける多くの課題を克服するのに役立ちます。

他のセンサーが単に画像やフレームを渡すだけであるのに対し、IMX500は完全なストーリーを伝えます。センサー上で直接データを処理するため、デバイスはリアルタイムでインサイトを生成できます。セッション中、Wei Tang氏は次のように述べています。「当社の高度なイメージセンサー技術を活用することで、日常生活を向上させることができる新世代のアプリケーションを強化することを目指しています。」IMX500は、処理のためにクラウドに送信することなく、センサー上で直接デバイスがデータを処理する方法を変革し、この目標を達成するように設計されています。

主な機能の一部を以下に紹介します。

• メタデータ出力: 完全な画像を送信する代わりにメタデータを出力するため、データサイズを大幅に削減でき、帯域幅の使用量とコストを抑えることができます。
• プライバシーの強化：デバイス上でデータを処理することにより、IMX500はプライバシーを向上させます。これは、人数のカウントなど、人間に関連するコンピュータービジョンタスクなど、機密情報が関わる状況において特に重要です。
• リアルタイム処理：データを素早く処理するセンサーの能力は、自律システムなどのエッジAIアプリケーションを可能にする高速でリアルタイムな意思決定をサポートすることを意味します。

IMX500は単なるカメラセンサーではなく、デバイスが周囲の世界を知覚し相互作用する方法を変革する強力なセンシングツールです。AIをセンサーに直接組み込むことで、Sonyは自動車、ヘルスケア、スマートシティなどの業界にとってエッジAIをよりアクセシブルなものにしています。続くセクションでは、IMX500がUltralytics YOLOモデルとどのように連携してエッジデバイスでの物体検出とデータ処理を改善するかについて詳しく掘り下げます。

図2. YOLO Vision 2024のステージでSony IMX500インテリジェントビジョンセンサーを紹介するWei Tang氏。

SonyのAITRIOSプラットフォーム：エッジAIの簡素化#

IMX500センサーを紹介した後、Wei Tang氏は、ハードウェアは不可欠であるものの、エッジAIデプロイに関わる課題の全範囲に対処するにはそれだけでは不十分であると述べました。彼女は、カメラやセンサーなどのデバイスにAIを統合するには、高度なハードウェアだけでなく、それを管理するためのスマートなソフトウェアが必要であることについて語りました。ここでSonyのAITRIOSプラットフォームが登場し、エッジデバイスへのAIのデプロイをよりシンプルかつ効率的に行うために設計された信頼性の高いソフトウェアソリューションを提供します。

AITRIOSは、複雑なAIモデルとエッジデバイスの制限との間の架け橋として機能します。事前トレーニングされたAIモデルを素早くデプロイするためのさまざまなツールを開発者に提供します。さらに重要なことに、AIモデルが現実世界の変化に適応し続けられるように、継続的な再学習をサポートします。

また、Wei氏は、AITRIOSが深いAI専門知識を持たない人々にとってもプロセスを簡素化し、特定のエッジAIユースケースに合わせてAIモデルをカスタマイズする柔軟性を提供する方法についても強調しました。さらに、メモリの制約やパフォーマンスの低下といった一般的な課題にも対処し、精度や速度を犠牲にすることなく、より小さなデバイスにAIを統合しやすくしています。

図3. エッジAIのユースケース例。画像ソース：SONY Semicon | AITRIOS。

IMX500上でのYOLOモデルの最適化#

トークの第2部では、マイクがAmir氏に引き継がれ、IMX500センサー上でSonyがどのようにYOLOモデルを最適化したかについての技術的な側面に入りました。

Amir氏は次のように述べてトークを開始しました。「Glennとチームのおかげで、YOLOモデルはエッジ対応であり、比較的最適化が容易です。皆さんを納得させますので、ご心配なく。」次にAmir氏は、AIモデル自体の最適化に多くの焦点が当てられがちである一方、このアプローチでは「後処理のボトルネック」という重要な懸念事項がしばしば見落とされていると説明しました。

Amir氏は、多くの場合、AIモデルがタスクを完了した後、ホストデバイスでデータを転送し後処理を処理するプロセスが大幅な遅延を引き起こす可能性があると指摘しました。デバイスとホストの間でのこの往復のデータ転送はレイテンシをもたらし、最高のパフォーマンスを達成する上で大きな障害となる可能性があります。

図4. YOLO Vision 2024のステージでポスト処理のボトルネックについて解説するAmir Servi氏。

これに対処するため、Amir氏は、AIモデルだけに焦点を当てるのではなく、エンドツーエンドのシステム全体を見る重要性を強調しました。IMX500センサーを使用することで、彼らは後処理こそがすべてを遅らせている主なボトルネックであることを見出しました。真のブレークスルーは、オンチップの非最大抑制（NMS）を解放することであったと彼は共有しました。

これにより、ポスト処理をセンサー上で直接行うことが可能となり、ホストデバイスへ大量のデータを転送する必要がなくなりました。IMX500上で直接NMSを実行することで、SonyはAmir氏の言う「ポスト処理のガラスの天井」を突き破り、大幅なパフォーマンス向上とレイテンシの削減を達成しました。

図5. ポスト処理のボトルネックの克服。画像ソース：SONY Semicon | AITRIOS

次に、この革新がYOLOモデル、特にUltralytics YOLOv8 Nanoのエッジデバイスでの効率的な実行にどのように寄与し、より小型でリソースの限られたハードウェア上でリアルタイムAI処理の新たな可能性を切り開いたのかを見ていきます。

Ultralytics YOLOv8モデルがソニーのIMX500により4倍の高速化を実現#

Wrapping up the talk on a high note, Amir demonstrated how they were able to quadruple the performance of the Ultralytics YOLOv8 Nano model by running NMS on edge. He showcased this on a Raspberry Pi 5, which was integrated with the IMX500 AI sensor. Amir compared the performance when post-processing was handled on a host device versus on the IMX500 chip.

結果は、オンチップで処理を行った場合に、秒間フレーム数（FPS）と全体的な効率が大幅に向上したことを明確に示しました。この最適化により、物体検出がより高速かつスムーズになり、Raspberry Piのような小型でリソースの限られたデバイスでのリアルタイムAI処理の実用性も証明されました。

重要なポイント#

SonyのIMX500センサー、AITRIOSプラットフォーム、そしてUltralytics YOLOモデルは、エッジAI開発を再形成しています。オンチップのAI処理は、データの転送とレイテンシを削減し、同時にプライバシー、セキュリティ、効率を向上させます。AIモデルだけでなくシステム全体に焦点を当てることで、これらのイノベーションは、エッジAIを開発者やAIに深い専門知識を持たない人々にとっても、より利用しやすいものにしています。エッジAI技術が進化し続けるにつれ、幅広い業界やアプリケーションにおいて、よりスマートなデバイス、より迅速な意思決定、そしてより強力なプライバシー保護が可能になるでしょう。

AIについての学習を続けるために、私たちのcommunityにつながりましょう。GitHub repositoryをチェックして、agricultureやmanufacturingなどのさまざまな産業で革新的なソリューションを作成するためにAIをどのように使用できるかを発見してください。🚀