SonyのMCT：AI研究をリアルタイムエッジAIにつなぐ

マドリードのGoogle for Startups Campusで開催されたYOLO Vision 2023 (YV23)では、AIコミュニティのさまざまな分野から登壇者が集まりました。その一人である、Sonyのエッジディープラーニング担当プロダクトマネージャーのAmir Servi氏は、AI研究とリアルタイムエッジのギャップを埋める方法について発表し、SonyのModel Compression Toolkit (MCT)を紹介しました。

Amir Serviの紹介：研究とリアルタイムAIをつなぐ#

Amir氏の講演では、エッジAIの効率的なデプロイに適したモデル圧縮と量子化の手法に焦点が当てられました。

MCTで取り組むエッジAIの課題#

Amir氏は、エッジデバイスへのAIモデルのデプロイに伴う課題を取り上げ、リソースの制約やハードウェアの制限がもたらす難しさを強調しました。講演では、PyTorchおよびTensorFlowのモデルに対応するオープンソースツール、SonyのModel Compression Toolkit (MCT)を紹介しました。MCTは、UltralyticsのSony IMX500エクスポートにも活用されています。

MCTの可能性を引き出す#

Amir氏は、ハードウェアを考慮した量子化から最先端のアルゴリズム、自動パラメーター検索まで、MCTの主要機能を解説しました。これらの機能により、MCTは実際のAIデプロイに対応できる汎用性の高いツールキットとなっています。

図1. マドリードのGoogle for Startups Campusで開催されたYOLO Vision 2023にて発表するAmir Servi氏。

量子化手法を分かりやすく解説：結果が何よりも雄弁に語る#

Amir氏は、学習後量子化 (PTQ) やGPTQなどの量子化手法を説明し、その結果を共有しました。これには、混合精度のPTQによる高い精度や、Ultralytics YOLOv8モデルの高い圧縮率が含まれます。

まとめ#

Amir氏の講演では、特にエッジデバイス上で動作するYOLOモデルにおいて、MCTのようなツールがAI研究とリアルタイム実装の橋渡しに役立つことが示されました。

さらに詳しく知りたい方は、Sony MCTに関する講演の全編をご覧ください。