借助 Sony IMX500 和 AITRIOS 赋能边缘 AI

边缘 AI让人工智能（AI）模型可以直接在智能手机、摄像头和无人机等设备上运行。它的主要优势是不依赖云端，即可支持更快速的实时决策。事实上，研究表明，在边缘平台上使用 AI可将运营效率提高多达 40%。

边缘 AI 近期取得了许多进展，尤其是在计算机视觉领域，这也让它成为 YOLO Vision 2024 (YV24) 的核心议题。该活动是 Ultralytics 的年度混合式活动，汇聚了 AI 爱好者和专家，共同探索视觉 AI 的最新进展。活动的一大亮点是 Sony 的主题演讲，会上展示了 Sony 新推出的 AI 硬件和软件解决方案。演讲重点介绍了 IMX500 传感器和 AITRIOS 平台，Sony 还展示了这些创新如何让在边缘设备上部署 Ultralytics YOLO 模型变得更简单、更高效，包括 Ultralytics YOLO11 和 Ultralytics YOLOv8。

本次演讲由 Wei Tang 和 Amir Servi 主讲。Wei Tang 是一位专注于 Sony 成像解决方案的业务开发经理；Amir Servi 是一位边缘深度学习产品经理，擅长在边缘设备上部署深度学习模型。

本文将回顾 Sony 在 YV24 上的演讲，并探讨 IMX500 传感器和 AITRIOS 平台如何优化 YOLO 模型的使用，从而在边缘设备上实现更快速的实时 AI 处理。

Sony 的愿景：让边缘设备上的 AI 普惠大众#

Wei Tang 在演讲开场时谈到，Sony 的目标是让边缘 AI 像多年前的摄影技术一样触手可及。她强调，Sony 目前正专注于通过边缘计算，让更多人能够使用先进的视觉 AI。边缘 AI 对环境的积极影响是推动这一发展的因素之一。边缘计算直接在设备上处理数据，而非依赖大型数据中心，因此有助于减少能源使用和碳排放。这种方式更智能、更环保，也符合 Sony 致力于打造更好用的技术、助力实现更可持续未来的承诺。

Wei 接着介绍了 Sony Semiconductor Solutions 如何研发先进的图像传感器。Sony Semiconductor Solutions 是 Sony 专注于成像和传感技术的部门。这些传感器用于各种设备，可将光转换为电子信号以捕捉图像。Sony 每年出货超过 12 亿个传感器，几乎全球一半的手机都采用了这些传感器，使 Sony 成为成像行业的重要企业。

图 1. Sony 图像传感器示例。

凭借这些专业技术，Sony 正进一步将传感器从图像捕捉设备转变为能够实时处理数据的智能工具，让设备可以直接生成 AI 驱动的洞察。在讨论 Sony 用于推动这一转型的硬件和软件解决方案之前，我们先来了解这些创新旨在解决哪些边缘 AI 难题。

边缘设备上的 AI 图像处理面临的挑战#

开发边缘 AI 解决方案面临一些关键挑战，尤其是在使用摄像头和传感器等设备时。许多此类设备的功耗和处理能力有限，因此很难高效运行先进的 AI 模型。

以下是其他一些主要限制：

• 软件复杂性：要让 AI 模型适配各种硬件配置不同的边缘设备，过程可能很复杂，且需要进行调整和优化。
• 后处理瓶颈：将大量数据从设备传输到主机进行后处理时，往往会产生延迟。后处理耗费的时间通常比实际的 AI 模型推理还要长。
• 数据激增：随着大量 IoT 设备持续生成数据，需要在本地处理的数据量可能会大到难以应对，进一步加重边缘设备的负担。

认识 Sony IMX500 智能视觉传感器#

Sony IMX500 智能视觉传感器是边缘 AI 处理的重要硬件。Sony 称其为全球首款具备片上 AI 能力的智能视觉传感器。该传感器有助于克服边缘 AI 中的诸多挑战，包括数据处理瓶颈、隐私问题和性能限制。

其他传感器只会传输图像和帧，而 IMX500 能够讲述一个完整的故事。它直接在传感器上处理数据，让设备能够实时生成洞察。演讲中，Wei Tang 表示：“借助我们先进的图像传感器技术，我们希望赋能新一代应用，提升人们的日常生活。”IMX500 正是为实现这一目标而设计：它改变了设备直接在传感器上处理数据的方式，无需将数据发送到云端处理。

以下是它的一些主要特性：

• 元数据输出：它不再发送完整图像，而是输出元数据，大幅缩减数据量，从而降低带宽使用量和成本。
• 增强隐私保护：IMX500 在设备上处理数据，从而提升隐私保护能力，尤其适用于涉及敏感信息的情况，例如人数统计等与人有关的计算机视觉任务。
• 实时处理：传感器能够快速处理数据，因此支持快速的实时决策，让自主系统等边缘 AI 应用成为可能。

IMX500 不只是摄像头传感器，更是一种强大的感知工具，彻底改变了设备感知周围世界并与之交互的方式。通过将 AI 直接嵌入传感器，Sony 正让汽车、医疗保健和智慧城市等行业更容易使用边缘 AI。在后续章节中，我们将深入探讨 IMX500 如何与 Ultralytics YOLO 模型协同工作，改进边缘设备上的目标检测和数据处理。

图 2. Wei Tang 在 YOLO Vision 2024 现场介绍 Sony IMX500 智能视觉传感器。

Sony AITRIOS 平台：简化边缘 AI#

介绍 IMX500 传感器后，Wei Tang 指出，硬件固然重要，但仅凭硬件还不足以应对边缘AI 部署面临的全部挑战。她谈到，要在摄像头和传感器等设备上集成 AI，光有先进硬件还不够，还需要智能软件来管理。这正是 Sony AITRIOS 平台发挥作用的地方，它提供可靠的软件解决方案，让在边缘设备上部署 AI 变得更简单、更高效。

AITRIOS 在复杂的 AI 模型与边缘设备的限制之间架起桥梁。它为开发者提供了一系列工具，帮助快速部署预训练 AI 模型。更重要的是，它支持持续重新训练，让 AI 模型能够适应现实世界的变化。

Wei 还强调，AITRIOS 简化了没有深厚 AI 专业知识的用户的操作流程，并支持针对特定边缘 AI 用例灵活定制 AI 模型。它还能应对内存受限和性能下降等常见挑战，让你更轻松地在小型设备中集成 AI，而不会牺牲准确率或速度。

图 3. 边缘 AI 应用场景示例。图片来源：SONY Semicon | AITRIOS。

在 IMX500 上优化 YOLO 模型#

演讲的第二部分由 Amir 接棒，他深入介绍了 Sony 如何在 IMX500 传感器上优化 YOLO 模型的技术细节。

Amir 开场说道：“YOLO 模型能够在边缘设备上运行，而且相当容易优化，这要感谢 Glenn 和他的团队。我会让你信服的，放心。”随后，Amir 解释说，虽然人们通常会把大量精力放在优化 AI 模型本身，但这种做法往往忽视了一个关键问题：后处理瓶颈。

Amir 指出，在许多情况下，AI 模型完成任务后，向主机设备传输数据并进行后处理的过程会造成明显延迟。设备与主机之间来回传输数据会引入延迟，成为实现最佳性能的一大障碍。

图 4. Amir Servi 在 YOLO Vision 2024 现场讲解后处理瓶颈。

为了解决这一问题，Amir 强调，应着眼于完整的端到端系统，而不只是关注 AI 模型。通过 IMX500 传感器，他们发现后处理是拖慢整个流程的主要瓶颈。他表示，真正的突破在于实现了芯片端的非极大值抑制（NMS）。

这使后处理可以直接在传感器上完成，不必再向主机设备传输大量数据。通过直接在 IMX500 上运行 NMS，Sony 突破了 Amir 所说的“后处理天花板”，大幅提升性能并减少延迟。

图 5. 突破后处理瓶颈。图片来源：SONY Semicon | AITRIOS

接下来，我们将看看这项创新如何帮助 YOLO 模型（尤其是 Ultralytics YOLOv8 Nano）在边缘设备上更高效地运行，为资源受限的小型硬件带来实时 AI 处理的新机遇。

Ultralytics YOLOv8 模型借助 Sony IMX500 实现 4 倍速度提升#

演讲接近尾声时，Amir 展示了如何通过在边缘设备上运行 NMS，将 Ultralytics YOLOv8 Nano 模型的性能提升至原来的四倍。他在与 IMX500 AI 传感器集成的 Raspberry Pi 5 上进行了演示。Amir 比较了在主机设备和 IMX500 芯片上进行后处理时的性能。

结果清楚地表明，在芯片上进行处理后，帧率（FPS）和整体效率都大幅提升。这项优化让目标检测更快、更流畅，也证明了在 Raspberry Pi 等资源受限的小型设备上进行实时 AI 处理切实可行。

要点#

通过Ultralytics 与 Sony 的合作，Sony IMX500 传感器、AITRIOS 平台和 Ultralytics YOLO 模型汇聚一堂，正在重塑边缘 AI 开发。片上 AI 处理减少了数据传输和延迟，同时提升了隐私保护、安全性和效率。通过关注整个系统而不只是 AI 模型，这些创新让开发者以及缺乏深厚 AI 专业知识的人也能更容易使用边缘 AI。随着边缘 AI 技术不断进步，它很可能会在各行业和应用中推动更智能的设备、更快速的决策以及更强有力的隐私保护。

加入我们的社区，持续学习 AI！查看我们的 GitHub 代码仓库，了解如何利用 AI 为农业和制造业等行业打造创新解决方案。