Ultralytics YOLO モデルの最適化に役立つ、IMX500センサーとAITRIOSプラットフォームによるソニーの最先端AI処理のブレークスルーをご紹介します。
エッジAIにより、人工知能（AI）モデルをスマートフォン、カメラ、ドローンなどのデバイス上で直接動作させることが可能になります。その主な利点は、クラウドに頼らずに、より高速なリアルタイムの意思決定をサポートできることです。実際、エッジプラットフォームでAIを使用すると、運用効率が最大40%向上することが研究で示されています。
エッジAI、特にコンピュータ・ビジョンにおける最近の進歩は、AI愛好家や専門家が集まり、最新のビジョンAIを探求するUltralytics 年次ハイブリッド・イベントであるYOLO Vision 2024（YV24）において、中心的なトピックとなった。このイベントのハイライトのひとつは、ソニーの基調講演で、最先端のAIハードウェアとソフトウェア・ソリューションを紹介した。IMX500センサーとAITRIOSプラットフォームが紹介され、ソニーはこれらのイノベーションが、以下のようなUltralytics YOLO モデルの 展開をいかに簡単かつ効率的にするかを実演した。 Ultralytics YOLO11や Ultralytics YOLOv8エッジに
このセッションは、ソニーのイメージングソリューションに注力する事業開発マネージャーのWei Tang氏と、エッジデバイスへの深層学習モデルの実装に関する専門知識を持つエッジ深層学習プロダクトマネージャーのAmir Servi氏が主導しました。
この記事では、YV24でのソニーの講演を再考し、IMX500センサーとAITRIOSプラットフォームが、より高速でリアルタイムのオンエッジAI処理のために、YOLO モデルの使用をどのように最適化するかを探る。始めよう！
Wei Tang氏は、写真が数年前に行ったように、エッジAIをアクセスしやすくするというソニーの目標について話すことからセッションを始めました。彼女は、ソニーが現在、エッジコンピューティングを通じて、より多くの人々に高度なVision AIを提供することに注力していることを強調しました。この背景にある推進要因の1つは、エッジAIが環境に与えることができるプラスの影響です。大規模なデータセンターに頼る代わりに、デバイス上で直接データを処理することにより、エッジコンピューティングはエネルギー使用量を削減し、二酸化炭素排出量を削減するのに役立ちます。これは、より優れた動作だけでなく、より持続可能な未来の創造にも役立つテクノロジーを構築するというソニーのコミットメントに完全に適合する、よりスマートで環境に優しいアプローチです。
Wei氏は続けて、イメージングおよびセンシング技術を専門とするソニーの部門であるソニーセミコンダクタソリューションズが、高度なイメージセンサーをどのように作成しているかを説明しました。これらのセンサーはさまざまなデバイスで使用されており、光を電気信号に変換して画像をキャプチャします。毎年12億個以上のセンサーが出荷されており、世界の携帯電話のほぼ半分に搭載されており、ソニーはイメージング業界の主要なプレーヤーとなっています。
この専門知識に基づいて、ソニーはこれらのセンサーを画像キャプチャデバイスから、リアルタイムでデータを処理できるスマートツールに変革することで、さらに前進しています。これにより、デバイス上で直接AIを活用した洞察が可能になります。ソニーがこの移行をサポートするために使用しているハードウェアおよびソフトウェアソリューションについて説明する前に、これらのイノベーションが解決を目指すエッジAIの課題を理解しましょう。
エッジAIソリューションの開発には、特にカメラやセンサーなどのデバイスを扱う場合、いくつかの重要な課題が伴います。これらのデバイスの多くは、電力と処理能力が限られているため、高度なAIモデルを効率的に実行することが困難です。
その他の主な制限事項を以下に示します。
ソニーIMX500インテリジェントビジョンセンサーは、エッジAI処理における画期的なハードウェアです。オンチップAI機能を備えた世界初のインテリジェントビジョンセンサーです。このセンサーは、データ処理のボトルネック、プライバシーの懸念、パフォーマンスの制限など、エッジAIの多くの課題を克服するのに役立ちます。
他のセンサーは単に画像とフレームを渡すだけですが、IMX500は全体像を伝えます。センサー上で直接データを処理し、デバイスがリアルタイムで洞察を生成できるようにします。セッション中、Wei Tang氏は次のように述べています。「当社の高度なイメージセンサー技術を活用することで、日常生活を向上させることができる新世代のアプリケーションを支援することを目指しています。」IMX500はこの目標を達成するように設計されており、データを処理するためにクラウドに送信する必要なく、センサー上で直接データを処理する方法を変革します。
主な機能の一部を以下に示します。
IMX500は単なるカメラセンサーではなく、デバイスが周囲の世界を認識し、相互作用する方法を変える強力なセンシングツールです。AIをセンサーに直接組み込むことで、ソニーは自動車、ヘルスケア、スマートシティなどの業界にとって、エッジAIをより身近なものにしようとしている。以降のセクションでは、IMX500がUltralytics YOLO モデルとどのように連携し、エッジデバイスの物体検出と データ処理を向上させるかについて、さらに深く掘り下げていきます。
IMX500センサーの発表後、Wei Tang氏は、ハードウェアが重要である一方、エッジAIの導入に関わる課題の全範囲に対処するにはそれだけでは不十分であると述べました。カメラやセンサーのようなデバイスにAIを統合するには、高度なハードウェアだけでなく、それを管理するためのスマートなソフトウェアが必要であると語りました。そこで、ソニーのAITRIOSプラットフォームが登場し、エッジデバイスへのAIの実装をよりシンプルかつ効率的に行うための信頼性の高いソフトウェアソリューションを提供します。
AITRIOSは、複雑なAIモデルとエッジデバイスの制約との間の橋渡し役として機能します。開発者に対して、事前学習済みのAIモデルを迅速に実装するためのさまざまなツールを提供します。さらに重要なのは、継続的な再トレーニングをサポートし、AIモデルが現実世界の変化に適応し続けられるようにすることです。
Wei氏はまた、AITRIOSがAIに関する深い専門知識を持たない人々のために、特定のEdge AIのユースケースに合わせてAIモデルをカスタマイズするプロセスをどのように簡素化するかを強調しました。また、メモリ制約やパフォーマンスの低下といった一般的な課題にも取り組み、精度や速度を犠牲にすることなく、より小型のデバイスへのAIの統合を容易にします。
講演の第2部ではアミールにマイクが渡され、ソニーがIMX500センサーでYOLO モデルをどのように最適化したのか、技術的な側面に切り込んだ。
アミールはまず、「YOLO モデルはエッジが効くし、グレンとチームのおかげで最適化もかなり簡単だ。それは私が納得させるから心配しないで "と言った。そしてアミールは、一般的にAIモデル自体の最適化に多くの焦点が当てられるが、このアプローチでは重要な懸念事項である後処理のボトルネックが見落とされがちだと説明した。
Amirは、多くの場合、AIモデルがタスクを完了すると、ホストデバイス上でのデータ転送とポストプロセッシングの処理が大幅な遅延を引き起こす可能性があると指摘しました。デバイスとホスト間のこのデータのやり取りが遅延を招き、最高のパフォーマンスを達成する上で大きな障害となる可能性があるのです。
これに取り組むため、アミールはAIモデルだけに注目するのではなく、エンドツーエンドのシステム全体を見ることの重要性を強調した。IMX500センサーでは、後処理がすべてを遅らせる主なボトルネックであることがわかった。彼は、真のブレークスルーはオンチップの非最大抑制（NMS）を解除することであったと話した。
これにより、後処理をセンサー上で直接行えるようになり、大量のデータをホスト機器に転送する必要がなくなった。NMS IMX500上で直接実行することで、ソニーはアミールが「ポストプロセッシングのガラスの天井」と呼ぶものを打ち破り、はるかに優れたパフォーマンスとレイテンシーの低減を達成した。
次に、このイノベーションがYOLO モデル、特に YOLOv8Nanoがエッジ・デバイス上でより効率的に動作し、より小型でリソースに制約のあるハードウェア上でリアルタイムのAI処理を行う新たな機会を創出した。
最後にアミールは、エッジでNMS 実行することで、YOLOv8 Nanoモデルのパフォーマンスを4倍にすることができたことを示した。彼は、IMX500 AIセンサーと統合されたRaspberry Pi5上でこれを披露した。アミールは、後処理をホスト・デバイス上で処理した場合とIMX500チップ上で処理した場合の性能を比較した。
その結果、オンチップで処理を行った場合、フレーム/秒（FPS）と全体的な効率が大幅に向上することが明確に示されました。この最適化により、物体検出がより高速かつスムーズになり、Raspberry Piのような小型でリソースに制約のあるデバイス上でのリアルタイムAI処理の実用性も実証されました。
ソニーのIMX500センサー、AITRIOSプラットフォーム、Ultralytics YOLO モデルは、エッジAI開発を再形成している。オンチップAI処理は、プライバシー、セキュリティ、効率を高めながら、データ転送とレイテンシを削減します。AIモデルだけでなく、システム全体に焦点を当てることで、これらのイノベーションは、開発者やAIの深い専門知識を持たない人々にとって、エッジAIをより身近なものにします。エッジAI技術が進歩し続けることで、よりスマートなデバイス、より迅速な意思決定、より強固なプライバシー保護が、幅広い業界やアプリケーションで実現されることになるだろう。
AIについてもっと学ぶために、私たちのコミュニティと繋がりましょう！GitHubリポジトリをチェックして、農業や製造業など、さまざまな業界で革新的なソリューションをAIでどのように活用できるかを発見してください。🚀
