借助 Sony IMX500 和 AITRIOS 赋能边缘 AI

边缘 AI 让人工智能模型（AI）能够直接在智能手机、摄像头和无人机等设备上运行。它的主要优势在于，无需依赖云端，即可支持更快速的实时决策。事实上，研究表明，在边缘平台上使用 AI最多可将运营效率提升 40%。

近期边缘 AI领域，尤其是计算机视觉领域的进展，使其成为 YOLO Vision 2024（YV24） 的核心议题。YV24 是 Ultralytics 举办的年度混合活动，汇聚了 AI 爱好者和专家，共同探索 Vision AI 的最新进展。活动的一大亮点是Sony 的主题演讲，他们展示了全新的尖端AI 硬件和软件解决方案。演讲介绍了 IMX500 传感器和 AITRIOS 平台，Sony 还演示了这些创新如何让在边缘设备上部署Ultralytics YOLO 模型（例如 Ultralytics YOLO11 和 Ultralytics YOLOv8）变得更加简单高效。

本次演讲由 Wei Tang 主持。她是一名专注于 Sony 成像解决方案的业务开发经理；另一位演讲者是 Amir Servi，一名边缘深度学习产品经理，擅长在边缘设备上部署深度学习模型。

本文将回顾 Sony 在 YV24 上的演讲，并探讨 IMX500 传感器和 AITRIOS 平台如何优化 YOLO 模型的使用，从而实现更快速的实时边缘 AI 处理。让我们开始吧！

Sony 的愿景：让边缘设备上的 AI 惠及大众#

Wei Tang 在演讲开场谈到了 Sony 的目标：像多年前让摄影变得普及一样，让边缘 AI 也变得触手可及。她强调，Sony 目前正专注于通过边缘计算，让更多人能够使用先进的 Vision AI。推动这一目标的重要因素之一，是边缘 AI 能够对环境产生积极影响。边缘计算直接在设备上处理数据，而不是依赖大型数据中心，因此有助于降低能耗和碳排放。这是一种更智能、更绿色的方法，与 Sony 打造不仅性能更好、还能助力构建可持续未来的技术这一承诺完美契合。

Wei 继续介绍道，Sony Semiconductor Solutions 是 Sony 专注于成像和传感技术的部门，负责开发先进的图像传感器。这些传感器广泛应用于各种设备，将光线转换为电子信号以捕捉图像。Sony 每年出货超过 12 亿个传感器，全球近一半的手机都在使用这些传感器，使 Sony 成为成像行业的重要参与者。

图 1. Sony 图像传感器示例。

凭借这一专业优势，Sony 目前正进一步将这些传感器从图像捕捉设备转变为能够实时处理数据的智能工具，从而直接在设备上生成AI 驱动的洞察。在讨论 Sony 用于支持这一转变的硬件和软件解决方案之前，我们先了解这些创新旨在解决的边缘 AI 挑战。

边缘设备上的 AI 图像处理相关挑战#

开发边缘 AI 解决方案面临一些关键挑战，尤其是在使用摄像头和传感器等设备时。许多此类设备的功耗和处理能力有限，因此很难高效地运行高级 AI 模型。

以下是其他一些主要限制：

• 软件复杂性：要让AI 模型适配具有不同硬件配置的各种边缘设备，过程可能十分复杂，并且需要进行调整和优化。
• 后处理瓶颈：将大量数据从设备传输到主机进行后处理时，通常会产生延迟。后处理往往比实际的 AI 模型推理耗时更长。
• 数据爆炸：随着众多物联网设备不断生成数据，需要在本地处理的数据量可能大到难以应对，进一步加重边缘设备的负担。

认识 Sony IMX500 智能视觉传感器#

Sony IMX500 智能视觉传感器是边缘 AI 处理领域的一项颠覆性硬件。它是全球首款具备芯片上 AI 能力的智能视觉传感器。该传感器有助于解决边缘 AI 中的诸多挑战，包括数据处理瓶颈、隐私问题和性能限制。

其他传感器只能传递图像和帧，而 IMX500 能够完成完整的处理流程。它直接在传感器上处理数据，让设备能够实时生成洞察。在演讲中，Wei Tang 表示：“借助先进的图像传感器技术，我们希望赋能新一代应用，改善日常生活。”IMX500 正是为实现这一目标而设计的：它改变了设备直接在传感器上处理数据的方式，无需将数据发送到云端处理。

以下是它的一些主要特性：

• 元数据输出：它不发送完整图像，而是输出元数据，大幅减小数据量，从而降低带宽使用量和成本。
• 增强隐私：IMX500 在设备上处理数据，从而改善隐私，尤其适用于涉及敏感信息的场景，例如与人相关的计算机视觉任务，包括人数统计。
• 实时处理：该传感器能够快速处理数据，因此支持快速的实时决策，为自主系统等边缘 AI 应用提供支持。

IMX500 不仅仅是一个相机传感器，它更是一个强大的感知工具，正在改变设备感知和与周围世界交互的方式。通过将人工智能直接嵌入传感器中，Sony 正在让边缘人工智能为汽车、医疗保健和智慧城市等行业变得更加触手可及。在接下来的章节中，我们将深入探讨 IMX500 如何与 Ultralytics YOLO 模型配合使用，以改善边缘设备上的目标检测和数据处理。

图 2. Wei Tang 在 YOLO Vision 2024 现场介绍 Sony IMX500 智能视觉传感器。

Sony 的 AITRIOS 平台：简化边缘 AI#

在介绍 IMX500 传感器后，Wei Tang 表示，虽然硬件至关重要，但仅靠硬件不足以应对边缘AI 部署涉及的全部挑战。她谈到，将 AI 集成到摄像头和传感器等设备中，不仅需要先进硬件，还需要能够管理这些硬件的智能软件。这正是 Sony 的 AITRIOS 平台发挥作用的地方：它提供可靠的软件解决方案，让在边缘设备上部署 AI 变得更加简单高效。

AITRIOS 充当复杂 AI 模型与边缘设备限制之间的桥梁。它为开发者提供一系列工具，用于快速部署预训练 AI 模型。更重要的是，它支持持续再训练，让 AI 模型能够适应现实世界的变化。

Wei 还强调，AITRIOS 简化了缺乏深厚 AI 专业知识的用户的操作流程，同时提供了针对特定边缘 AI 用例定制 AI 模型的灵活性。它还解决了内存限制和性能下降等常见挑战，让你能够更轻松地将 AI 集成到更小的设备中，而不会牺牲准确率或速度。

图 3. 边缘 AI 用例示例。图片来源：SONY Semicon | AITRIOS。

在 IMX500 上优化 YOLO 模型#

演讲的第二部分由 Amir 接棒，他深入讲解了 Sony 如何在 IMX500 传感器上优化 YOLO 模型。

Amir 开场说道：“YOLO 模型能够赋能边缘设备，而且相当容易优化，这要感谢 Glenn 和团队。我会让你相信这一点，别担心。”随后 Amir 解释道，虽然人们通常会将大量精力放在优化 AI 模型本身，但这种方法往往忽略了一个关键问题：后处理瓶颈。

Amir 指出，在许多情况下，AI 模型完成任务后，在主机设备上进行数据传输和后处理可能会造成明显延迟。设备与主机之间来回传输数据会引入延迟，成为实现最佳性能的主要障碍。

图 4. Amir Servi 在 YOLO Vision 2024 现场讲解后处理瓶颈。

为了解决这一问题，Amir 强调应关注整个端到端系统，而不只是 AI 模型。借助 IMX500 传感器，他们发现后处理是拖慢整体流程的主要瓶颈。他分享道，真正的突破在于解锁了芯片上的非极大值抑制（NMS）。

这样一来，后处理便可直接在传感器上完成，无需将大量数据传输到主机设备。在 IMX500 上直接运行 NMS 后，Sony 突破了 Amir 所称的“后处理玻璃天花板”，显著提升了性能并降低了延迟。

图 5. 克服后处理瓶颈。图片来源：SONY Semicon | AITRIOS

接下来，我们将了解这项创新如何帮助 YOLO 模型，尤其是 Ultralytics YOLOv8 Nano，在边缘设备上更高效地运行，为在更小、资源受限的硬件上进行实时 AI 处理创造新机会。

Ultralytics YOLOv8 模型借助 Sony IMX500 实现 4 倍速度提升#

在精彩的演讲收尾环节，Amir 演示了如何通过在边缘设备上运行 NMS，将 Ultralytics YOLOv8 Nano 模型的性能提升至原来的四倍。他在一台与 IMX500 AI 传感器集成的 Raspberry Pi 5 上进行了展示。Amir 对比了后处理在主机设备上执行和在 IMX500 芯片上执行时的性能。

结果清楚地表明，在芯片上完成处理时，每秒帧数（FPS）和整体效率都有显著提升。这项优化让目标检测更快速流畅，也展示了在 Raspberry Pi 等更小型、资源受限的设备上进行实时 AI 处理的可行性。

要点总结#

Sony 的 IMX500 传感器、AITRIOS 平台和 Ultralytics YOLO 模型正在重塑边缘 AI 开发。芯片上的 AI 处理减少了数据传输和延迟，同时提升了隐私、安全性和效率。通过关注整个系统，而不仅仅是 AI 模型，这些创新让边缘 AI 对开发者以及缺乏深厚 AI 专业知识的用户更加易于使用。随着边缘 AI 技术不断发展，它很可能推动各种行业和应用实现更智能的设备、更快速的决策以及更强的隐私保护。

通过关注我们的社区，持续了解 AI 的最新动态！查看我们的 GitHub 代码仓库，了解我们如何利用 AI 在农业和制造业等各个行业打造创新解决方案。🚀