Sony IMX500とAITRIOSによるエッジAIの強化

エッジAIを使うと、スマートフォン、カメラ、ドローンなどのデバイス上でAIモデルを直接動作させることができます。大きな利点は、クラウドに頼らず、より迅速にリアルタイムの意思決定を行えることです。実際、エッジプラットフォーム上でAIを活用すると、運用効率が最大40%向上することが調査で示されています。

エッジAI、特にコンピュータービジョンの近年の進歩により、最新のビジョンAIを探求するためにAI愛好家や専門家が集うUltralyticsの年次ハイブリッドイベントであるYOLO Vision 2024（YV24）では、エッジAIが主要なテーマとなりました。イベントの目玉の1つはソニーの基調講演で、同社の新しいAIハードウェアおよびソフトウェアソリューションが紹介されました。IMX500センサーとAITRIOSプラットフォームが取り上げられ、これらの技術によって、Ultralytics YOLO11やUltralytics YOLOv8などのUltralytics YOLOモデルをエッジにデプロイする作業が、より簡単かつ効率的になることが実演されました。

セッションを進行したのは、ソニーのイメージングソリューションを専門とする事業開発マネージャーのWei Tangと、エッジデバイスへのディープラーニングモデルのデプロイに精通したエッジディープラーニング製品マネージャーのAmir Serviです。

この記事では、YV24でのソニーの講演を振り返り、IMX500センサーとAITRIOSプラットフォームがYOLOモデルをどのように最適化し、エッジでより高速なリアルタイムAI処理を実現するかを紹介します。

Sonyのビジョン：エッジデバイスでAIを誰もが利用できるようにする#

Wei Tangはセッションの冒頭で、ソニーがかつて写真撮影を普及させたように、エッジAIを誰もが利用できるものにしたいという目標について話しました。エッジコンピューティングを通じて、より多くの人々に高度なビジョンAIを届けることにソニーが注力していると強調しました。その背景にある要因の1つが、エッジAIが環境に与える好影響です。大規模なデータセンターに頼らず、デバイス上で直接データを処理すれば、エネルギー消費と二酸化炭素排出量を削減できます。より優れた技術の構築だけでなく、より持続可能な未来の実現にも貢献するというソニーの方針に合致した、よりスマートで環境に優しいアプローチです。

Weiは続けて、イメージング技術とセンシング技術を専門とするソニーの事業部門、ソニーセミコンダクタソリューションズが高度なイメージセンサーをどのように開発しているかを説明しました。こうしたセンサーはさまざまなデバイスに搭載され、光を電子信号に変換して画像を撮影します。年間12億個を超えるセンサーを出荷しており、世界の携帯電話のほぼ半数に搭載されていることから、ソニーはイメージング業界の主要企業となっています。

図1. Sonyのイメージセンサーの例。

この専門知識を基盤として、ソニーはセンサーを画像撮影デバイスから、リアルタイムでデータを処理できるスマートツールへと進化させ、デバイス上で直接AIによる分析情報を得られるようにしています。ソニーがこの変革を支えるために採用しているハードウェアとソフトウェアのソリューションを説明する前に、こうした技術革新が解決を目指すエッジAIの課題を確認しましょう。

エッジデバイスでのAI画像処理に関する課題#

エッジAIソリューションの開発には、特にカメラやセンサーのようなデバイスを扱う場合、いくつかの重要な課題があります。こうしたデバイスの多くは電力と処理能力に制限があるため、高度なAIモデルを効率よく実行するのは簡単ではありません。

その他の主な制約は次のとおりです。

• ソフトウェアの複雑さ：ハードウェア構成の異なるさまざまなエッジデバイスでAIモデルを動作させるには、複雑な対応が必要となり、調整や最適化が求められる場合があります。
• 後処理のボトルネック：後処理のために大量のデータをデバイスからホストへ転送する際、遅延が発生することがよくあります。その処理にかかる時間は、実際のAIのモデル推論より長くなる場合があります。
• データの急増：多数のIoTデバイスが継続的にデータを生成するため、ローカルで処理する必要があるデータ量が膨大になり、エッジデバイスにさらに負荷がかかる可能性があります。

Sony IMX500インテリジェントビジョンセンサーを知る#

ソニーのIMX500インテリジェントビジョンセンサーは、エッジAI処理を支える重要なハードウェアです。ソニーは、チップ上でAIを実行できる機能を備えた世界初のインテリジェントビジョンセンサーと説明しています。このセンサーは、データ処理のボトルネック、プライバシーへの懸念、パフォーマンスの制約など、エッジAIにおける多くの課題の解決に役立ちます。

画像やフレームを転送するだけの他のセンサーとは異なり、IMX500はデータを直接センサー上で処理し、デバイスがリアルタイムで分析情報を生成できるようにします。セッションでWei Tangは、「高度なイメージセンサー技術を活用し、日常生活をより豊かにする新世代のアプリケーションを実現したいと考えています」と述べました。IMX500はこの目標を実現するために設計されており、処理のためにクラウドへデータを送信することなく、センサー上で直接データを処理することで、デバイスのデータ処理方法を変革します。

主な特徴は以下のとおりです。

• メタデータ出力：画像全体を送信する代わりにメタデータを出力するため、データサイズが大幅に削減され、帯域幅の使用量とコストを抑えられます。
• プライバシーの強化：デバイス上でデータを処理するIMX500は、特に機微情報を扱う場面でプライバシーを向上させます。これには、人数カウントなどの人を対象とするコンピュータービジョンタスクが含まれます。
• リアルタイム処理：センサーがデータを迅速に処理できるため、高速なリアルタイム意思決定を支援し、自律システムなどのエッジAIアプリケーションを可能にします。

IMX500は単なるカメラセンサーではなく、デバイスが周囲の世界を認識し、やり取りする方法を変える高性能なセンシングツールです。AIをセンサーに直接組み込むことで、ソニーは自動車、医療、スマートシティなどの業界でエッジAIを利用しやすくしています。以降のセクションでは、IMX500がUltralytics YOLOモデルと連携し、エッジデバイス上の物体検出とデータ処理をどのように改善するかを詳しく説明します。

図2. YOLO Vision 2024のステージでSony IMX500インテリジェントビジョンセンサーを紹介するWei Tang。

SonyのAITRIOSプラットフォーム：エッジAIの簡素化#

IMX500センサーの紹介に続いて、Wei Tangは、ハードウェアは重要ですが、それだけではエッジでのAIデプロイに関する幅広い課題すべてに対処できないと述べました。カメラやセンサーなどのデバイスにAIを組み込むには、高度なハードウェアだけでなく、それを管理するスマートなソフトウェアも必要だと説明しました。そこで活用されるのがソニーのAITRIOSプラットフォームです。エッジデバイスへのAIデプロイをより簡単かつ効率的にする、信頼性の高いソフトウェアソリューションを提供します。

AITRIOSは、複雑なAIモデルとエッジデバイスの制約をつなぐ役割を果たします。事前トレーニング済みAIモデルを迅速にデプロイするためのさまざまなツールを開発者に提供します。さらに重要なのは、継続的な再トレーニングに対応し、AIモデルを実環境の変化に適応させられることです。

Weiは、AITRIOSがAIの深い専門知識を持たない人にもプロセスを簡素化し、特定のエッジAIユースケースに合わせてAIモデルを柔軟にカスタマイズできる点も強調しました。また、メモリ制約やパフォーマンスの低下などの一般的な課題にも対処するため、精度や速度を犠牲にせず、小型デバイスにAIを組み込みやすくなります。

図3. エッジAIのユースケースの例。画像提供：SONY Semicon | AITRIOS。

IMX500上でのYOLOモデルの最適化#

講演の後半ではAmirにマイクが渡され、IMX500センサー上でソニーがYOLOモデルをどのように最適化したか、技術的な側面が説明されました。

Amirは冒頭で次のように述べました。「YOLOモデルはエッジでの利用に適しており、Glennとチームのおかげで、かなり簡単に最適化できます。ご心配なく。これからそのことをお伝えします。」続けて、AIモデル自体の最適化に重点が置かれがちですが、そのアプローチでは後処理のボトルネックという重要な問題が見落とされることが多いと説明しました。

Amirは、多くの場合、AIモデルがタスクを完了した後にホストデバイスでデータ転送や後処理を行うと、大幅な遅延が発生する可能性があると指摘しました。デバイスとホスト間でデータを何度もやり取りするとレイテンシが発生し、最高のパフォーマンスを実現するうえで大きな障害となる場合があります。

図4. YOLO Vision 2024のステージで、後処理のボトルネックについて説明するAmir Servi。

この課題に対処するには、AIモデルだけに注目するのではなく、エンドツーエンドのシステム全体を見ることが重要だとAmirは強調しました。IMX500センサーを使った検証では、後処理が全体の速度を低下させる主なボトルネックであることがわかりました。画期的な成果は、チップ上の非最大抑制（NMS）を利用可能にしたことだと述べました。

これにより、センサー上で直接後処理を行えるようになり、大量のデータをホストデバイスに転送する必要がなくなりました。IMX500上でNMSを直接実行することで、SonyはAmirが「後処理のガラスの天井」と呼んだ制約を打ち破り、パフォーマンスを大幅に向上させ、レイテンシを削減しました。

図5. 後処理のボトルネックの解消。画像提供：SONY Semicon | AITRIOS

次に、この技術革新によってYOLOモデル、特にUltralytics YOLOv8 Nanoがエッジデバイス上でより効率的に動作し、小型でリソースに制約のあるハードウェアでリアルタイムAI処理を行う新たな可能性がどのように生まれたかを見ていきます。

Ultralytics YOLOv8モデルがSony IMX500で4倍の速度向上を達成#

講演の締めくくりに、Amirはエッジ上でNMSを実行し、Ultralytics YOLOv8 Nanoモデルのパフォーマンスを4倍に高めた方法を実演しました。IMX500 AIセンサーを組み込んだRaspberry Pi 5でデモを行い、ホストデバイスとIMX500チップのそれぞれで後処理を行った場合のパフォーマンスを比較しました。

処理をチップ上で行うと、フレーム/秒（FPS）と全体的な効率が大幅に向上することが、結果から明確に示されました。この最適化によって物体検出がより高速かつスムーズになり、Raspberry Piのような小型でリソースに制約のあるデバイス上でのリアルタイムAI処理が実用的であることも示されました。

重要なポイント#

Ultralyticsとソニーのパートナーシップによって結び付いたソニーのIMX500センサー、AITRIOSプラットフォーム、Ultralytics YOLOモデルは、エッジAI開発を変革しています。チップ上でAIを処理することで、データ転送とレイテンシを抑えながら、プライバシー、セキュリティ、効率性を高めます。AIモデルだけではなくシステム全体に注目することで、これらの技術革新は、AIの深い専門知識を持たない開発者や人々にとってもエッジAIを利用しやすくします。エッジAI技術がさらに進歩すれば、幅広い業界や用途で、よりスマートなデバイス、迅速な意思決定、強固なプライバシー保護が実現すると期待されます。

AIについて学び続けるには、コミュニティにご参加ください。GitHubリポジトリでは、農業や製造業など、さまざまな業界でAIを活用して革新的なソリューションを生み出す方法をご覧いただけます。