IMX500センサーとAITRIOSプラットフォームによる、エッジAI処理におけるソニーの画期的な進歩を振り返り、Ultralytics YOLOモデルの最適化に役立てる方法をご紹介します。
エッジAIにより、人工知能（AI）モデルをスマートフォン、カメラ、ドローンなどのデバイス上で直接動作させることが可能になります。その主な利点は、クラウドに頼らずに、より高速なリアルタイムの意思決定をサポートできることです。実際、エッジプラットフォームでAIを使用すると、運用効率が最大40%向上することが研究で示されています。
エッジAI、特にコンピュータビジョンにおける最近の進歩により、Ultralyticsの年次ハイブリッドイベントであるYOLO Vision 2024 (YV24)で中心的なトピックとなりました。このイベントには、AI愛好家や専門家が集まり、Vision AIの最新情報を探求します。イベントのハイライトの1つは、ソニーの基調講演でした。そこでは、最先端のAIハードウェアとソフトウェアソリューションが紹介されました。IMX500センサーとAITRIOSプラットフォームが取り上げられ、ソニーはこれらのイノベーションが、Ultralytics YOLOモデル（Ultralytics YOLO11やUltralytics YOLOv8など）をエッジに実装することを、いかに容易かつ効率的にしているかを実演しました。
このセッションは、ソニーのイメージングソリューションに注力する事業開発マネージャーのWei Tang氏と、エッジデバイスへの深層学習モデルの実装に関する専門知識を持つエッジ深層学習プロダクトマネージャーのAmir Servi氏が主導しました。
この記事では、YV24でのソニーの講演を振り返り、IMX500センサーとAITRIOSプラットフォームが、より高速なリアルタイムのエッジAI処理のためにYOLOモデルの使用をどのように最適化するかを探ります。それでは始めましょう！
Wei Tang氏は、写真が数年前に行ったように、エッジAIをアクセスしやすくするというソニーの目標について話すことからセッションを始めました。彼女は、ソニーが現在、エッジコンピューティングを通じて、より多くの人々に高度なVision AIを提供することに注力していることを強調しました。この背景にある推進要因の1つは、エッジAIが環境に与えることができるプラスの影響です。大規模なデータセンターに頼る代わりに、デバイス上で直接データを処理することにより、エッジコンピューティングはエネルギー使用量を削減し、二酸化炭素排出量を削減するのに役立ちます。これは、より優れた動作だけでなく、より持続可能な未来の創造にも役立つテクノロジーを構築するというソニーのコミットメントに完全に適合する、よりスマートで環境に優しいアプローチです。
Wei氏は続けて、イメージングおよびセンシング技術を専門とするソニーの部門であるソニーセミコンダクタソリューションズが、高度なイメージセンサーをどのように作成しているかを説明しました。これらのセンサーはさまざまなデバイスで使用されており、光を電気信号に変換して画像をキャプチャします。毎年12億個以上のセンサーが出荷されており、世界の携帯電話のほぼ半分に搭載されており、ソニーはイメージング業界の主要なプレーヤーとなっています。
この専門知識に基づいて、ソニーはこれらのセンサーを画像キャプチャデバイスから、リアルタイムでデータを処理できるスマートツールに変革することで、さらに前進しています。これにより、デバイス上で直接AIを活用した洞察が可能になります。ソニーがこの移行をサポートするために使用しているハードウェアおよびソフトウェアソリューションについて説明する前に、これらのイノベーションが解決を目指すエッジAIの課題を理解しましょう。
エッジAIソリューションの開発には、特にカメラやセンサーなどのデバイスを扱う場合、いくつかの重要な課題が伴います。これらのデバイスの多くは、電力と処理能力が限られているため、高度なAIモデルを効率的に実行することが困難です。
その他の主な制限事項を以下に示します。
ソニーIMX500インテリジェントビジョンセンサーは、エッジAI処理における画期的なハードウェアです。オンチップAI機能を備えた世界初のインテリジェントビジョンセンサーです。このセンサーは、データ処理のボトルネック、プライバシーの懸念、パフォーマンスの制限など、エッジAIの多くの課題を克服するのに役立ちます。
他のセンサーは単に画像とフレームを渡すだけですが、IMX500は全体像を伝えます。センサー上で直接データを処理し、デバイスがリアルタイムで洞察を生成できるようにします。セッション中、Wei Tang氏は次のように述べています。「当社の高度なイメージセンサー技術を活用することで、日常生活を向上させることができる新世代のアプリケーションを支援することを目指しています。」IMX500はこの目標を達成するように設計されており、データを処理するためにクラウドに送信する必要なく、センサー上で直接データを処理する方法を変革します。
主な機能の一部を以下に示します。
IMX500は単なるカメラセンサーではなく、デバイスが周囲の世界を認識し、相互作用する方法を変革する強力なセンシングツールです。AIをセンサーに直接組み込むことで、ソニーは自動車、ヘルスケア、スマートシティなどの業界向けにエッジAIをよりアクセスしやすくしています。次のセクションでは、IMX500がUltralytics YOLOモデルと連携して、エッジデバイスでの物体検出とデータ処理をどのように改善するかを詳しく掘り下げます。
IMX500センサーの発表後、Wei Tang氏は、ハードウェアが重要である一方、エッジAIの導入に関わる課題の全範囲に対処するにはそれだけでは不十分であると述べました。カメラやセンサーのようなデバイスにAIを統合するには、高度なハードウェアだけでなく、それを管理するためのスマートなソフトウェアが必要であると語りました。そこで、ソニーのAITRIOSプラットフォームが登場し、エッジデバイスへのAIの実装をよりシンプルかつ効率的に行うための信頼性の高いソフトウェアソリューションを提供します。
AITRIOSは、複雑なAIモデルとエッジデバイスの制約との間の橋渡し役として機能します。開発者に対して、事前学習済みのAIモデルを迅速に実装するためのさまざまなツールを提供します。さらに重要なのは、継続的な再トレーニングをサポートし、AIモデルが現実世界の変化に適応し続けられるようにすることです。
Wei氏はまた、AITRIOSがAIに関する深い専門知識を持たない人々のために、特定のEdge AIのユースケースに合わせてAIモデルをカスタマイズするプロセスをどのように簡素化するかを強調しました。また、メモリ制約やパフォーマンスの低下といった一般的な課題にも取り組み、精度や速度を犠牲にすることなく、より小型のデバイスへのAIの統合を容易にします。
講演の後半では、マイクがAmirに渡され、ソニーがIMX500センサー上でYOLOモデルをどのように最適化したかという技術的な側面について詳しく説明しました。
Amirはまず、「YOLOモデルはエッジに対応しており、Glennとチームのおかげで、かなり簡単に最適化できます。ご心配なく、そう確信していただけるでしょう」と述べました。そして、通常はAIモデル自体の最適化に多くの焦点が当てられますが、このアプローチでは、ポストプロセッシングのボトルネックという重要な懸念が見過ごされがちであると説明しました。
Amirは、多くの場合、AIモデルがタスクを完了すると、ホストデバイス上でのデータ転送とポストプロセッシングの処理が大幅な遅延を引き起こす可能性があると指摘しました。デバイスとホスト間のこのデータのやり取りが遅延を招き、最高のパフォーマンスを達成する上で大きな障害となる可能性があるのです。
これに対処するため、AmirはAIモデルだけに焦点を当てるのではなく、エンドツーエンドのシステム全体を見ることが重要であると強調しました。IMX500センサーでは、ポストプロセッシングがすべてを遅らせる主なボトルネックであることがわかりました。彼は、真のブレークスルーは、オンチップでのNon-Maximum Suppression（NMS）の実現であったと語りました。
これにより、ポストプロセッシングをセンサー上で直接行うことができ、大量のデータをホストデバイスに転送する必要がなくなりました。IMX500上で直接NMSを実行することで、ソニーはAmirが言うところの「ポストプロセッシングのガラスの天井」を打ち破り、はるかに優れたパフォーマンスと遅延の削減を達成しました。
次に、このイノベーションがYOLOモデル、特にYOLOv8 Nanoがエッジデバイス上でより効率的に動作するのにどのように役立ち、より小型でリソースに制約のあるハードウェア上でリアルタイムAI処理を行うための新たな機会を創出しているかを見ていきましょう。
講演の締めくくりとして、Amirは、エッジでNMSを実行することで、YOLOv8 Nanoモデルのパフォーマンスを4倍に向上させることができたことを実証しました。彼はこれを、IMX500 AIセンサーと統合されたRaspberry Pi 5で紹介しました。Amirは、ポストプロセッシングをホストデバイスで処理した場合とIMX500チップで処理した場合のパフォーマンスを比較しました。
その結果、オンチップで処理を行った場合、フレーム/秒（FPS）と全体的な効率が大幅に向上することが明確に示されました。この最適化により、物体検出がより高速かつスムーズになり、Raspberry Piのような小型でリソースに制約のあるデバイス上でのリアルタイムAI処理の実用性も実証されました。
ソニーのIMX500センサー、AITRIOSプラットフォーム、そしてUltralytics YOLOモデルは、エッジAI開発を再構築しています。オンチップAI処理は、データ転送と遅延を削減すると同時に、プライバシー、セキュリティ、効率を高めます。AIモデルだけでなく、システム全体に焦点を当てることで、これらのイノベーションは、AIに関する深い専門知識を持たない開発者や人々にとって、エッジAIをより身近なものにしています。エッジAI技術が進化し続けるにつれて、よりスマートなデバイス、より迅速な意思決定、そして幅広い業界やアプリケーションにわたるより強力なプライバシー保護が実現される可能性が高いでしょう。
AIについてもっと学ぶために、私たちのコミュニティと繋がりましょう！GitHubリポジトリをチェックして、農業や製造業など、さまざまな業界で革新的なソリューションをAIでどのように活用できるかを発見してください。🚀
.webp)