用 Sony IMX500 和 AITRIOS 赋能 Edge AI

Edge AI 使 人工智能 (AI) 模型 能够直接在 智能手机、相机 和 无人机 等设备上运行。其核心优势在于它支持更快、更实时的决策，而无需依赖 云端。事实上，研究表明，在 边缘平台上使用 AI 可以将运营效率提高多达 40%。

边缘 AI（尤其是 计算机视觉 领域）的最新进展，使其成为了 YOLO Vision 2024 (YV24) 上的核心议题。这是 Ultralytics 的 年度混合活动，汇聚了 AI 爱好者和专家，共同探索 Vision AI 的最新发展。活动的亮点之一是 索尼的主题演讲，他们在演讲中展示了其全新的前沿 AI 硬件 和软件解决方案。活动重点介绍了 IMX500 传感器和 AITRIOS 平台，索尼展示了这些创新如何让在边缘端 部署 Ultralytics YOLO 模型（如 Ultralytics YOLO11 和 Ultralytics YOLOv8）变得更加轻松高效。

本场会议由专注于索尼成像解决方案的业务开发经理 Wei Tang，以及拥有在 边缘设备 上 部署 深度学习 模型专业知识的边缘深度学习产品经理 Amir Servi 共同主持。

在本文中，我们将回顾 Sony 在 YV24 上的演讲，并探索 IMX500 传感器和 AITRIOS 平台如何优化 YOLO 模型的使用，从而实现更快速、实时的边缘 AI 处理。让我们开始吧！

Sony 的愿景：让边缘 AI 实现大众化#

Wei Tang 在开场时谈到了索尼的目标，即像多年前普及摄影一样，让边缘 AI 变得同样触手可及。她强调了索尼现在如何致力于通过边缘计算将先进的 Vision AI 带给更多人。背后的驱动因素之一是边缘 AI 对环境产生的积极影响。通过直接在设备上处理数据，而不是依赖庞大的数据中心，边缘计算有助于减少能源使用并降低碳排放。这是一种更智能、更环保的方法，完全符合索尼打造不仅性能更好、还能助力创造更可持续未来的技术的承诺。

Wei 接着解释了索尼半导体解决方案公司（Sony Semiconductor Solutions，即索尼专注于成像和传感技术的部门）如何制造先进的图像传感器。这些传感器用于各种设备中，将光转换为电子信号以捕捉图像。凭借每年 出货 超过 12 亿个传感器的规模，它们出现在全球近一半的 手机 中，使索尼成为 成像 行业的主要参与者。

图 1. 索尼图像传感器示例。

在此专业知识的基础上，索尼现在进一步将这些传感器从 图像捕捉设备 转变为了能够实时 处理数据 的智能工具，从而直接在设备上实现 AI 驱动的洞察。在我们讨论索尼用于支持这一转变的硬件和软件解决方案之前，让我们先了解这些创新旨在解决的边缘 AI 挑战。

边缘设备上 AI 图像处理的相关挑战#

开发边缘 AI 解决方案 会带来一些关键挑战，在处理 相机 和传感器等设备时尤其如此。其中许多设备的功率和处理能力有限，这使得高效 运行先进的 AI 模型 变得棘手。

以下是其他一些主要的局限性：

• 软件复杂性：调整 AI 模型 以使其在具有不同硬件配置的各种边缘设备上运行可能很复杂，并且需要进行调整和 优化。
• 后处理瓶颈：将大量数据从设备传输到主机进行后处理时，通常会出现延迟。它通常比实际的 AI 模型推理 消耗更多时间。
• 数据爆炸：由于许多物联网设备不断 生成数据，需要在本地处理的数据量可能会势不可挡，从而进一步给边缘设备带来压力。

了解 Sony IMX500 智能视觉传感器#

索尼 IMX500 智能视觉传感器是边缘 AI 处理领域具有变革意义的硬件。它是世界上第一个具有片上 AI 功能的智能视觉传感器。该传感器有助于克服边缘 AI 中的许多挑战，包括数据处理瓶颈、隐私问题 和性能限制。

虽然其他传感器只是简单地传递图像和帧，但 IMX500 却能讲述一个完整的故事。它直接在传感器上处理数据，使设备能够实时生成洞察。在会议期间，Wei Tang 表示：“通过利用我们先进的图像传感器技术，我们的目标是赋能新一代能够增强 日常生活 的应用。”IMX500 旨在实现这一目标，改变设备直接在传感器上处理数据的方式，而无需将其发送到云端进行处理。

以下是其部分关键特性：

• 元数据输出：它输出的是元数据而非全尺寸图像，从而大幅减小了数据规模，降低了带宽使用和成本。
• 增强隐私：通过在设备上处理数据，IMX500 提高了 隐私性，特别是在涉及 敏感信息 的情况下，例如与人类相关的 计算机视觉任务，如 人数统计。
• 实时处理：该传感器快速处理数据的能力意味着它支持快速、实时的决策，从而实现 自主系统 等边缘 AI 应用。

IMX500 不仅仅是一个相机传感器，它还是一个强大的传感工具，改变了设备感知周围世界并与之交互的方式。通过将 AI 直接嵌入传感器中，索尼正在让 汽车、医疗保健 和 智能城市 等行业的边缘 AI 变得更加容易使用。在随后的章节中，我们将深入探讨 IMX500 如何与 Ultralytics YOLO 模型配合使用，以改善边缘设备上的 目标检测 和 数据处理。

图 2. Wei Tang 在 YOLO Vision 2024 舞台上介绍 Sony IMX500 智能视觉传感器。

Sony 的 AITRIOS 平台：简化边缘 AI#

在介绍完 IMX500 传感器后，Wei Tang 表示，虽然 硬件 至关重要，但仅靠它本身并不足以解决边缘 AI 部署 中涉及的全部挑战。她谈到，在相机和传感器等设备上集成 AI 不仅需要先进的硬件，还需要智能软件来管理它。这就是索尼的 AITRIOS 平台发挥作用的地方，它提供了一个可靠的软件解决方案，旨在让在边缘设备上 部署 AI 变得更简单、更高效。

AITRIOS 充当了复杂的 AI 模型与边缘设备局限性之间的桥梁。它为开发者提供了一系列用于快速 部署 预训练 AI 模型的工具。但更重要的是，它支持持续的 再训练，以便 AI 模型能够保持对现实世界变化的适应能力。

Wei 还强调了 AITRIOS 如何为那些没有深厚 AI 专业知识的人简化流程，并提供灵活性来为特定的边缘 AI 用例定制 AI 模型。它还解决了内存限制和 性能 下降等常见挑战，从而更容易在不牺牲准确性或速度的情况下将 AI 集成 到较小的设备中。

图 3. 边缘 AI 用例示例。图片来源：SONY Semicon | AITRIOS。

在 IMX500 上优化 YOLO 模型#

在演讲的第二部分，话筒交给了 Amir，他深入探讨了索尼如何在 IMX500 传感器上优化 YOLO 模型 的技术细节。

Amir 开场说道：“多亏了 Glenn 和团队，YOLO 模型具备边缘赋能特性，并且相当容易优化。我会说服你们相信这一点的，别担心。”Amir 随后解释说，虽然很多精力通常都投入到优化 AI 模型本身上，但这种方法往往忽略了一个关键问题：后处理瓶颈。

Amir 指出，在许多情况下，一旦 AI 模型完成任务，在主机设备上传输数据和处理后处理的过程就会导致严重的延迟。设备与主机之间这种来回的数据传输会引入延迟，这可能是实现最佳 性能 的主要障碍。

图 4. Amir Servi 在 YOLO Vision 2024 舞台上解释后处理瓶颈。

为了解决这个问题，Amir 强调了审视整个端到端系统的重要性，而不仅仅是关注 AI 模型。通过 IMX500 传感器，他们发现后处理是减慢一切速度的主要瓶颈。他分享说，真正的突破是解锁了片上 非极大值抑制 (NMS)。

这使得后处理能够直接在传感器上完成，消除了将大量数据传输到主机设备的需要。通过直接在 IMX500 上运行 NMS，Sony 打破了 Amir 所说的“后处理天花板”，实现了显著提升的性能和延迟缩减。

图 5. 克服后处理瓶颈。图片来源：SONY Semicon | AITRIOS

接下来，我们将看看这项创新如何帮助 YOLO 模型（特别是 Ultralytics YOLOv8 Nano）在边缘设备上更高效地运行，为在较小、资源受限的硬件上进行实时 AI 处理创造新的机遇。

Ultralytics YOLOv8 模型借助 Sony 的 IMX500 实现 4 倍速度提升#

演讲在热烈的高潮中结束，Amir 演示了他们如何通过在边缘运行 NMS 将 Ultralytics YOLOv8 Nano 模型的性能提升四倍。他在集成有 IMX500 AI 传感器的 Raspberry Pi 5 上展示了这一点。Amir 比较了在主机设备上处理后处理与在 IMX500 芯片上处理时的性能。

结果清楚地表明，当在芯片上进行处理时，每秒帧数 (FPS) 和整体效率有了显著提升。该优化使 目标检测 变得更快、更流畅，同时也证明了在像 Raspberry Pi 这样较小、资源受限的设备上进行实时 AI 处理的可行性。

关键要点#

Sony 的 IMX500 传感器、AITRIOS 平台和 Ultralytics YOLO 模型正在重塑边缘 AI 开发。片上 AI 处理减少了数据传输和延迟，同时增强了隐私、安全性和效率。通过关注整个系统而不仅仅是 AI 模型，这些创新使得边缘 AI 对于开发者以及那些缺乏深入 AI 专业知识的人来说变得更加易于获取。随着边缘 AI 技术的不断进步，它很可能会在广泛的行业和应用中实现更智能的设备、更快速的决策以及更强大的隐私保护。

与我们的community保持联系，继续了解 AI！查看我们的GitHub repository，探索我们如何利用 AI 在agriculture和manufacturing等各行各业中打造创新解决方案。🚀