Sony IMX500とAITRIOSでエッジAIを強化

エッジAIにより、人工知能（AI）モデルをスマートフォン、カメラ、ドローンなどのデバイス上で直接動作させられます。主な利点は、クラウドに依存せず、より高速なリアルタイムの意思決定を実現できることです。実際、エッジプラットフォームでAIを利用することで、運用効率が最大40%向上する可能性があることが研究で示されています。

エッジAI、特にコンピュータビジョンの最近の進歩により、エッジAIはYOLO Vision 2024（YV24）の中心的なトピックになりました。これは、AI愛好家や専門家が集まり、最新のVision AIを探求するUltralyticsの年次ハイブリッドイベントです。イベントのハイライトの一つはSonyの基調講演で、同社は最先端の新しいAIハードウェアとソフトウェアソリューションを紹介しました。IMX500センサーとAITRIOSプラットフォームが取り上げられ、Sonyはこれらのイノベーションによって、Ultralytics YOLOモデルであるUltralytics YOLO11やUltralytics YOLOv8などをエッジ上により簡単かつ効率的にデプロイできることを実演しました。

このセッションは、Sonyのイメージングソリューションを担当するBusiness Development ManagerのWei Tangと、エッジデバイスへのディープラーニングモデルのデプロイに精通したEdge Deep Learning Product ManagerのAmir Serviが主導しました。

この記事では、YV24でのSonyの講演を振り返り、IMX500センサーとAITRIOSプラットフォームがYOLOモデルの利用をどのように最適化し、より高速なリアルタイムのオンエッジAI処理を実現するのかを探ります。さっそく始めましょう。

Sonyのビジョン：エッジデバイス上のAIを民主化#

Wei Tangは、数年前に写真で実現したように、エッジAIを誰もが利用できるものにするというSonyの目標について語り、セッションを開始しました。Sonyは現在、エッジコンピューティングを通じて高度なVision AIをより多くの人に届けることに注力していると強調しました。その原動力の一つが、エッジAIが環境に与えられるプラスの影響です。大規模なデータセンターに依存するのではなくデバイス上で直接データを処理することで、エッジコンピューティングはエネルギー使用量を削減し、二酸化炭素排出量を減らします。これは、より優れた動作を実現するだけでなく、より持続可能な未来の創出にも貢献する技術を構築するというSonyの取り組みに完全に合致した、よりスマートで環境に配慮したアプローチです。

Weiは続けて、イメージング技術とセンシング技術を専門とするSonyの部門、Sony Semiconductor Solutionsが高度なイメージセンサーを開発していることを説明しました。これらのセンサーはさまざまなデバイスで使用され、光を電子信号に変換して画像を取得します。毎年12億個以上のセンサーが出荷されており、世界の携帯電話のほぼ半数に搭載されていることから、Sonyはイメージング業界の主要企業となっています。

図1. Sonyのイメージセンサーの例

この専門知識を基盤に、Sonyはセンサーを画像を取得するデバイスから、リアルタイムでデータを処理できるスマートツールへと変革し、デバイス上で直接AIを活用したインサイトを生成できるようにしています。Sonyがこの変化を支えるために使用しているハードウェアとソフトウェアソリューションについて説明する前に、これらのイノベーションが解決を目指すエッジAIの課題を理解しましょう。

エッジデバイスにおけるAI画像処理の課題#

エッジAI ソリューションの開発には、いくつかの重要な課題があります。特にカメラやセンサーなどのデバイスを扱う場合が該当します。これらのデバイスの多くは電力と処理能力に制限があるため、高度なAIモデルを効率的に実行することが難しくなります。

その他の主な制約は次のとおりです。

• ソフトウェアの複雑さ：異なるハードウェア構成を持つさまざまなエッジデバイスで動作するようにAIモデルを適応させるには、複雑な作業が必要となり、調整や最適化が求められる場合があります。
• 後処理のボトルネック：後処理のためにデバイスからホストへ大量のデータを転送する際、遅延が発生することがよくあります。これには、実際のAI モデル推論よりも多くの時間がかかる場合があります。
• データの爆発的増加：多くのIoTデバイスが常にデータを生成しているため、ローカルで処理する必要のあるデータ量が膨大になり、エッジデバイスにさらなる負荷がかかる可能性があります。

Sony IMX500インテリジェントビジョンセンサーを知る#

Sony IMX500インテリジェントビジョンセンサーは、エッジAI処理における画期的なハードウェアです。これは、チップ上のAI機能を備えた世界初のインテリジェントビジョンセンサーです。このセンサーは、データ処理のボトルネック、プライバシーに関する懸念、パフォーマンスの制約など、エッジAIにおける多くの課題の克服に役立ちます。

他のセンサーが単に画像やフレームを渡すだけなのに対し、IMX500はデータから一連の情報を導き出します。センサー上で直接データを処理するため、デバイスはリアルタイムでインサイトを生成できます。セッション中、Wei Tangは「高度なイメージセンサー技術を活用することで、日常生活を向上させる新世代のアプリケーションを実現したいと考えています」と述べました。IMX500はこの目標を達成するために設計されており、処理のためにクラウドへ送信することなく、デバイスがセンサー上で直接データを処理する方法を変革します。

主な特徴は次のとおりです。

• メタデータ出力：完全な画像を送信する代わりにメタデータを出力するため、データサイズを大幅に削減し、帯域幅の使用量とコストを抑えます。
• プライバシーの強化：デバイス上でデータを処理することで、IMX500はプライバシーを向上させます。特に、人物カウントなどの人に関連するコンピュータビジョンタスクのように、機密情報が関わる状況で効果を発揮します。
• リアルタイム処理：センサーはデータを高速に処理できるため、迅速なリアルタイムの意思決定を支援し、自律システムなどのエッジAIアプリケーションを実現します。

IMX500は単なるカメラセンサーではありません。デバイスが周囲の世界を認識し、そこに働きかける方法を変革する強力なセンシングツールです。AIをセンサーに直接組み込むことで、Sonyは自動車、ヘルスケア、スマートシティなどの業界でエッジAIをより利用しやすくしています。以降のセクションでは、IMX500がUltralytics YOLOモデルと連携して、エッジデバイス上の物体検出とデータ処理をどのように改善するのかを詳しく説明します。

図2. YOLO Vision 2024でSony IMX500インテリジェントビジョンセンサーを紹介するWei Tang

SonyのAITRIOSプラットフォーム：エッジAIを簡素化#

IMX500センサーの紹介後、Wei Tangは、ハードウェアは重要ですが、エッジAIデプロイに伴う課題の全体に単独で対処するには不十分だと述べました。カメラやセンサーなどのデバイスにAIを統合するには、高度なハードウェアだけでなく、それを管理するスマートなソフトウェアも必要だと説明しました。そこで登場するのがSonyのAITRIOSプラットフォームです。エッジデバイスへのAIのデプロイをより簡単かつ効率的にする、信頼性の高いソフトウェアソリューションを提供します。

AITRIOSは、複雑なAIモデルとエッジデバイスの制約の間をつなぐ役割を果たします。開発者に、学習済みAIモデルを迅速にデプロイするためのさまざまなツールを提供します。さらに重要なのは、継続的な再学習をサポートし、AIモデルを現実世界の変化に適応し続けられるようにすることです。

Weiはまた、AITRIOSによってAIの専門知識が深くない人でもプロセスを簡素化でき、特定のエッジAIのユースケースに合わせてAIモデルを柔軟にカスタマイズできる点を強調しました。さらに、メモリ制約やパフォーマンス低下などの一般的な課題にも対処し、精度や速度を犠牲にすることなく、小型デバイスへのAIの統合を容易にします。

図3. エッジAIのユースケースの例。画像提供：SONY Semicon | AITRIOS

IMX500上でYOLOモデルを最適化#

講演の後半では、Amirにマイクが渡され、SonyがIMX500センサー上でYOLOモデルをどのように最適化したのか、その技術的な側面について詳しく説明しました。

Amirはまず、「Glennとチームのおかげで、YOLOモデルはエッジ対応であり、かなり簡単に最適化できます。心配しないでください、皆さんに納得してもらいます」と述べました。続けて、AIモデル自体の最適化に多くの注目が集まりがちですが、このアプローチでは重要な懸念事項である後処理のボトルネックが見落とされることが多いと説明しました。

Amirは、多くの場合、AIモデルがタスクを完了した後、ホストデバイス上でのデータ転送と後処理により、大幅な遅延が発生する可能性があると指摘しました。デバイスとホスト間でデータを何度も転送することでレイテンシが生じ、最高のパフォーマンスを実現するうえで大きな障壁となる可能性があります。

図4. YOLO Vision 2024で後処理のボトルネックについて説明するAmir Servi

これに対処するため、AmirはAIモデルだけに焦点を当てるのではなく、エンドツーエンドのシステム全体を見ることの重要性を強調しました。IMX500センサーを使った結果、すべての処理を遅くしている主なボトルネックは後処理であることが判明しました。Amirは、真のブレークスルーはチップ上の非最大抑制（NMS）を利用可能にしたことだと説明しました。

これにより、後処理をセンサー上で直接実行できるようになり、大量のデータをホストデバイスへ転送する必要がなくなりました。IMX500上で直接NMSを実行することで、SonyはAmirが「後処理のガラスの天井」と呼んだ壁を突破し、パフォーマンスを大幅に向上させ、レイテンシを削減しました。

図5. 後処理のボトルネックの克服。画像提供：SONY Semicon | AITRIOS

次に、このイノベーションによって、特にUltralytics YOLOv8 NanoなどのYOLOモデルがエッジデバイス上でより効率的に動作し、小型でリソースに制約のあるハードウェア上でのリアルタイムAI処理に新たな機会が生まれた様子を見ていきます。

Ultralytics YOLOv8モデル、SonyのIMX500により速度が4倍に向上#

講演の最後に、Amirはエッジ上でNMSを実行することで、Ultralytics YOLOv8 Nanoモデルのパフォーマンスを4倍に向上させられたことを実演しました。IMX500 AIセンサーを統合したRaspberry Pi 5上でデモを行い、後処理をホストデバイスで実行した場合とIMX500チップ上で実行した場合のパフォーマンスを比較しました。

処理をチップ上で実行した場合、1秒あたりのフレーム数（FPS）と全体的な効率が大幅に向上することが結果から明確に示されました。この最適化により、物体検出がより高速かつスムーズになり、Raspberry Piのような小型でリソースに制約のあるデバイス上でのリアルタイムAI処理の実用性も実証されました。

主なポイント#

SonyのIMX500センサー、AITRIOSプラットフォーム、Ultralytics YOLOモデルは、エッジAI開発を大きく変えつつあります。チップ上のAI処理により、データ転送とレイテンシが削減される一方で、プライバシー、セキュリティ、効率が向上します。AIモデルだけでなくシステム全体に焦点を当てることで、これらのイノベーションは、開発者やAIの専門知識が深くない人にとってもエッジAIをより利用しやすくします。エッジAI技術が進歩し続けるにつれて、幅広い業界やアプリケーションで、よりスマートなデバイス、高速な意思決定、強固なプライバシー保護が実現される可能性があります。

AIについて学び続けるために、ぜひコミュニティにご参加ください。GitHubリポジトリでは、農業や製造など、さまざまな業界でAIを活用して革新的なソリューションを生み出す方法をご覧いただけます。🚀