Sony IMX500とAITRIOSによるエッジAIの強化

Edge AIは、人工知能 (AI) モデルがスマートフォン、カメラ、ドローンなどのデバイス上で直接動作することを可能にします。その主な利点は、クラウドに依存せずに、より高速なリアルタイムの意思決定をサポートできることです。実際、調査によるとエッジプラットフォーム上のAIを使用することで、運用効率を最大40%向上させることができると示されています。

Recent advancements in edge AI, particularly in computer vision, made it a central topic at YOLO Vision 2024 (YV24), Ultralytics' annual hybrid event that brings together AI enthusiasts and experts to explore the latest in Vision AI. One of the event's highlights was Sony's keynote presentation, where they showcased their new cutting-edge AI hardware and software solutions. The IMX500 sensor and AITRIOS platform were featured, and Sony demonstrated how these innovations are making it easier and more efficient to deploy Ultralytics YOLO models like Ultralytics YOLO11 and Ultralytics YOLOv8 on edge.

The session was led by Wei Tang, a Business Development Manager who focuses on Sony's imaging solutions, and Amir Servi, an Edge Deep Learning Product Manager with expertise in deploying deep learning models on edge devices.

本記事では、YV24でのSonyの講演を振り返り、IMX500センサーとAITRIOSプラットフォームがどのようにYOLOモデルの利用を最適化し、より高速なリアルタイムのエッジAI処理を実現しているのかを探ります。それでは始めましょう！

Link to this sectionSonyのビジョン：エッジデバイスにおけるAIの民主化#

Wei Tang氏は、かつて写真技術を誰もが利用できるようにしたように、エッジAIも同様に普及させるというSonyの目標を語り、セッションを開始しました。彼女は、Sonyがいかにしてエッジコンピューティングを通じて、より多くの人々に高度なVision AIを届けることに注力しているかを強調しました。これを推進する要因の一つは、エッジAIが環境にもたらすポジティブな影響です。巨大なデータセンターに頼るのではなく、デバイス上で直接データを処理することで、エッジコンピューティングはエネルギー消費の削減と炭素排出量の低減を支援します。これは、より優れた性能を実現するだけでなく、持続可能な未来の創造に貢献する技術を構築するというSonyのコミットメントと完全に一致した、よりスマートで環境に配慮したアプローチです。

Wei氏は、イメージングおよびセンシング技術を専門とするSonyの部門であるSony Semiconductor Solutionsが、どのようにして高度なイメージセンサーを開発しているかを説明しました。これらのセンサーは多様なデバイスで使用され、光を電子信号に変換して画像をキャプチャします。毎年12億個以上のセンサーが出荷されており、世界中のモバイルフォンのほぼ半数に搭載されていることから、Sonyはイメージング業界における主要なプレーヤーとなっています。

図1 Sonyのイメージセンサーの例。

この専門知識を基盤として、Sonyは現在、センサーを単なる画像キャプチャデバイスから、リアルタイムでデータ処理を行い、デバイス上で直接AIを活用したインサイトを提供できるスマートなツールへと変革を進めています。このシフトを支えるSonyのハードウェアおよびソフトウェアソリューションについて議論する前に、これらのイノベーションが解決を目指すエッジAIの課題について理解しましょう。

Link to this sectionエッジデバイスでのAI画像処理に関する課題#

エッジAI ソリューションの開発には、特にカメラやセンサーのようなデバイスを扱う場合に、いくつかの主要な課題が伴います。これらのデバイスの多くは電力や処理能力が限られており、高度なAIモデルを効率的に実行することが困難です。

その他に主な制限事項として以下のものがあります：

• ソフトウェアの複雑性: さまざまなハードウェア構成を持つ多様なエッジデバイスで動作するようにAIモデルを適合させることは複雑であり、調整や最適化が必要となる場合があります。
• ポスト処理のボトルネック: 大量のデータをデバイスからホストへ転送してポスト処理を行う際には、しばしば遅延が発生します。多くの場合、これは実際のAI モデル推論よりも多くの時間を消費します。
• データの爆発的増加: 多くのIoTデバイスが絶えずデータを生成する中で、ローカルで処理する必要のあるデータ量は膨大になり、エッジデバイスにさらなる負荷をかけています。

Link to this sectionSony IMX500インテリジェントビジョンセンサーを知る#

Sony IMX500インテリジェントビジョンセンサーは、エッジAI処理におけるゲームチェンジャーとなるハードウェアです。これは、オンチップAI機能を備えた世界初のインテリジェントビジョンセンサーです。このセンサーは、データ処理のボトルネック、プライバシーへの懸念、性能の制限など、エッジAIにおける多くの課題を克服する助けとなります。

他のセンサーが画像やフレームを渡すだけであるのに対し、IMX500は完全な情報を伝えます。センサー上で直接データを処理するため、デバイスはリアルタイムでインサイトを生成できます。セッション中、Wei Tang氏は「私たちは先進的なイメージセンサー技術を活用することで、日常生活を豊かにできる新世代のアプリケーションを支援したいと考えています」と述べました。IMX500はこの目標を満たすように設計されており、データをクラウドに送って処理する必要なく、センサー上で直接処理することで、デバイスがどのようにデータを扱うかを変革します。

主な機能の一部を以下に紹介します。

• メタデータ出力: 完全な画像を送信する代わりにメタデータを出力するため、データサイズを大幅に削減でき、帯域幅の使用量とコストを抑えることができます。
• Enhanced privacy: By processing data on the device, the IMX500 improves privacy, especially in situations where sensitive information is involved, such as human-related computer vision tasks like person counting.
• リアルタイム処理: データを迅速に処理できるセンサーの能力は、高速でリアルタイムの意思決定をサポートし、自律システムのようなエッジAIアプリケーションを可能にします。

The IMX500 is not just a camera sensor - it’s a powerful sensing tool that transforms how devices perceive and interact with the world around them. By embedding AI directly into the sensor, Sony is making edge AI more accessible for industries like automotive, healthcare, and smart cities. In subsequent sections, we'll dive deeper into how the IMX500 works with Ultralytics YOLO models to improve object detection and data processing on edge devices.

図2. YOLO Vision 2024のステージでSony IMX500インテリジェントビジョンセンサーを紹介するWei Tang氏。

Link to this sectionSonyのAITRIOSプラットフォーム：エッジAIの簡素化#

IMX500センサーを紹介した後、Wei Tang氏はハードウェアは重要ですが、それだけではエッジでのAIデプロイに関わる課題の全容に対処するには不十分であると語りました。彼女は、カメラやセンサーのようなデバイスにAIを統合するには、高度なハードウェア以上のものが必要であり、それを管理するためのスマートなソフトウェアが必要であると述べました。ここでSonyのAITRIOSプラットフォームの出番となり、エッジデバイスへのAI デプロイをよりシンプルかつ効率的にするために設計された、信頼性の高いソフトウェアソリューションを提供します。

AITRIOSは、複雑なAIモデルとエッジデバイスの制約との間の架け橋として機能します。開発者に対して、学習済みAIモデルを迅速にデプロイするための幅広いツールを提供します。さらに重要なのは、AIモデルが現実世界の変化に適応し続けられるよう、継続的な再学習をサポートしている点です。

Wei氏はまた、AITRIOSがいかにしてAIの深い専門知識を持たない人々にとってもプロセスを簡素化し、特定のエッジAIユースケースに合わせてAIモデルをカスタマイズする柔軟性を提供するかを強調しました。また、メモリの制約やパフォーマンスの低下といった一般的な課題にも取り組み、精度や速度を犠牲にすることなく、小型デバイスへAIを統合しやすくしています。

図3. エッジAIのユースケース例。画像ソース：SONY Semicon | AITRIOS。

Link to this sectionIMX500上でのYOLOモデルの最適化#

講演の後半では、Amir氏にマイクが渡され、彼がどのようにしてIMX500センサー上でYOLOモデルを最適化したのか、その技術的な詳細について語りました。

Amir氏は冒頭で、「YOLOモデルはエッジ対応であり、Glennとチームのおかげで最適化はかなり容易です。皆さんに納得していただけるよう説明しますのでご安心ください」と述べました。続いて、AIモデル自体の最適化に焦点が当てられることが多い一方で、このアプローチではポスト処理のボトルネックという重大な問題が見過ごされがちであることを説明しました。

Amir氏は、多くの場合、AIモデルがタスクを完了した後、ホストデバイス上でデータの転送やポスト処理を行う過程で大幅な遅延が発生する可能性があると指摘しました。デバイスとホスト間のこのデータのやり取りがレイテンシ（遅延）を引き起こし、パフォーマンスを最大化するための大きな障害となる可能性があります。

図4. YOLO Vision 2024のステージでポスト処理のボトルネックについて解説するAmir Servi氏。

これに対処するため、Amir氏はAIモデルだけでなく、エンドツーエンドのシステム全体を見ることの重要性を強調しました。IMX500センサーを使用することで、ポスト処理こそが全体の速度を低下させている主要なボトルネックであることを突き止めました。彼は、真のブレイクスルーはオンチップでの非最大値抑制（NMS）の活用にあったと語りました。

これにより、ポスト処理をセンサー上で直接行うことが可能となり、ホストデバイスへ大量のデータを転送する必要がなくなりました。IMX500上で直接NMSを実行することで、SonyはAmir氏の言う「ポスト処理のガラスの天井」を突き破り、大幅なパフォーマンス向上とレイテンシの削減を達成しました。

図5. ポスト処理のボトルネックの克服。画像ソース：SONY Semicon | AITRIOS

続いて、このイノベーションがYOLOモデル、特にYOLOv8 Nanoがエッジデバイス上でより効率的に実行されるのをどのように助け、リソースが限られた小型ハードウェア上でのリアルタイムAI処理に新たな可能性をもたらしたのかを見ていきます。

Link to this sectionYOLOv8モデルがSony IMX500により4倍の速度向上を実現#

講演の締めくくりとして、Amir氏は、エッジ上でNMSを実行することでYOLOv8 Nanoモデルのパフォーマンスを4倍に向上させた方法を実演しました。これはIMX500 AIセンサーと統合されたRaspberry Pi 5上で披露されました。Amir氏は、ホストデバイス上でポスト処理が行われる場合と、IMX500チップ上でポスト処理が行われる場合のパフォーマンスを比較しました。

結果は、オンチップで処理が行われた場合に、フレーム毎秒（FPS）と全体的な効率が大きく向上したことを明確に示しました。この最適化により物体検出はより速く、よりスムーズになり、Raspberry Piのようなリソースが限られた小型デバイス上でのリアルタイムAI処理の実用性も示されました。

Link to this section重要なポイント#

SonyのIMX500センサー、AITRIOSプラットフォーム、そしてUltralytics YOLOモデルは、エッジAI開発を再形成しています。オンチップのAI処理は、データの転送とレイテンシを削減し、同時にプライバシー、セキュリティ、効率を向上させます。AIモデルだけでなくシステム全体に焦点を当てることで、これらのイノベーションは、エッジAIを開発者やAIに深い専門知識を持たない人々にとっても、より利用しやすいものにしています。エッジAI技術が進化し続けるにつれ、幅広い業界やアプリケーションにおいて、よりスマートなデバイス、より迅速な意思決定、そしてより強力なプライバシー保護が可能になるでしょう。

私たちのコミュニティに参加して、AIについて学び続けましょう！私たちのGitHubリポジトリをチェックして、農業や製造業などの様々な業界で、AIを使ってどのように革新的なソリューションを創出できるかを発見してください。🚀