用 Sony IMX500 和 AITRIOS 赋能 Edge AI
加入我们，回顾 Sony 在边缘 AI 处理方面的突破，包括 IMX500 传感器和 AITRIOS 平台，以帮助优化 Ultralytics YOLO 模型。
边缘 AI 让 人工智能 (AI) 模型能够直接在智能手机、摄像头和无人机等设备上运行。其关键优势在于支持更快速的实时决策，而无需依赖云端。事实上，研究表明，在边缘平台上使用 AI 可将运营效率提高多达 40%。
边缘 AI，特别是在计算机视觉领域的最新进展，使其成为了 YOLO Vision 2024 (YV24) 的核心议题。这是 Ultralytics 的年度混合活动，旨在汇聚 AI 爱好者和专家，共同探索 视觉 AI 的前沿技术。活动的亮点之一是 Sony 的主题演讲，他们展示了最新的尖端 AI 硬件和软件解决方案。IMX500 传感器和 AITRIOS 平台在此次活动中亮相，Sony 演示了这些创新成果如何更轻松、更高效地在边缘设备上部署 Ultralytics YOLO 模型，例如 Ultralytics YOLO11 和 Ultralytics YOLOv8。
本次会议由 Wei Tang 主持，他是一位专注于索尼成像解决方案的业务发展经理；另一位主持人是 Amir Servi，他是一位边缘深度学习产品经理，在部署 深度学习模型到边缘设备方面拥有丰富的专业知识。
在本文中，我们将回顾 Sony 在 YV24 上的演讲，并探索 IMX500 传感器和 AITRIOS 平台如何优化 YOLO 模型的使用，从而实现更快速、实时的边缘 AI 处理。让我们开始吧！
Link to this sectionSony 的愿景：让边缘 AI 实现大众化#
Wei Tang 在开场时谈到了 Sony 的目标，即让边缘 AI 像多年前的摄影技术一样普及。她强调，Sony 目前正致力于通过边缘计算将先进的 视觉 AI 带给更多人。推动这一目标的因素之一是边缘 AI 对环境的积极影响。通过在设备上直接处理数据，而非依赖庞大的数据中心，边缘计算有助于减少能源消耗和碳排放。这是一种更智能、更环保的方法，与 Sony 致力于构建不仅能提高效率，还能助力可持续未来的技术承诺完美契合。
Wei 进一步解释了 Sony Semiconductor Solutions（Sony 专门从事成像和传感技术的部门）如何制造先进的图像传感器。这些传感器广泛应用于各种设备，通过将光转化为电子信号来捕捉图像。每年有超过 12 亿个传感器出货，几乎遍布全球半数的手机中，这使得 Sony 成为成像行业的重要参与者。
图 1. Sony 图像传感器示例。
基于此专业能力，Sony 正在更进一步，将这些图像捕捉设备转化为能够实时处理数据的智能工具，直接在设备上实现人工智能驱动的洞察。在我们讨论 Sony 为支持这一转变所使用的硬件和软件解决方案之前，让我们先了解这些创新旨在解决的边缘 AI 挑战。
Link to this section边缘设备上 AI 图像处理的相关挑战#
开发边缘 AI 解决方案会面临一些关键挑战，尤其是在处理摄像头和传感器等设备时。许多此类设备的功率和处理能力有限，这使得高效运行先进的 AI 模型变得十分棘手。
以下是其他一些主要的局限性：
- 软件复杂性：调整 AI 模型以适配具有不同硬件配置的各种边缘设备可能非常复杂，需要进行调整和优化。
- 后处理瓶颈：当需要将大量数据从设备传输到主机进行后处理时，通常会出现延迟。这往往比实际的 AI 模型推理消耗更多时间。
- 数据爆炸：随着大量物联网设备不断生成数据，需要在本地处理的数据量可能令人不堪重负，从而进一步给边缘设备造成压力。
Link to this section了解 Sony IMX500 智能视觉传感器#
Sony IMX500 智能视觉传感器是边缘 AI 处理领域的变革性硬件。它是全球首款具备片上 AI 功能的智能视觉传感器。该传感器有助于克服边缘 AI 中的许多挑战，包括数据处理瓶颈、隐私顾虑以及性能限制。
其他传感器只是传输图像和帧，而 IMX500 则展现了完全不同的能力。它直接在传感器上处理数据，使设备能够实时生成洞察。在会议期间，Wei Tang 表示：“通过利用我们先进的图像传感器技术，我们旨在赋能新一代应用，从而改善日常生活。”IMX500 专为实现这一目标而设计，改变了设备直接在传感器上处理数据的方式，无需将其发送到云端进行处理。
以下是其部分关键特性：
- 元数据输出：它输出的是元数据而非全尺寸图像，从而大幅减小了数据规模，降低了带宽使用和成本。
- 增强隐私保护：通过在设备上处理数据，IMX500 提高了隐私性，特别是在涉及敏感信息的情况下，例如人脸相关的计算机视觉任务（如人员计数）。
- 实时处理：该传感器快速处理数据的能力意味着它能够支持快速、实时的决策，从而实现自动驾驶系统等边缘 AI 应用。
IMX500 不仅仅是一个摄像头传感器，它还是一个功能强大的传感工具，能够改变设备感知世界并与周围环境交互的方式。通过将 AI 直接嵌入传感器中，索尼正在让边缘 AI 变得更加易于使用，并惠及汽车、医疗保健和智慧城市等行业。在接下来的章节中，我们将深入探讨 IMX500 如何与 Ultralytics YOLO 模型配合，以提升边缘设备上的目标检测和数据处理能力。
图 2. Wei Tang 在 YOLO Vision 2024 舞台上介绍 Sony IMX500 智能视觉传感器。
Link to this sectionSony 的 AITRIOS 平台：简化边缘 AI#
在介绍完 IMX500 传感器后，Wei Tang 表示，虽然硬件至关重要，但仅凭硬件不足以解决边缘 AI 部署中涉及的所有挑战。她谈到，在摄像头和传感器等设备上集成 AI 不仅需要先进的硬件，还需要智能软件进行管理。这就是 Sony AITRIOS 平台的用武之地，它提供了一种可靠的软件解决方案，旨在使边缘设备的 AI 部署变得更简单、更高效。
AITRIOS 在复杂的 AI 模型与边缘设备的局限性之间架起了一座桥梁。它为开发者提供了一系列工具，以便快速部署预训练 AI 模型。更重要的是，它支持持续的再训练，确保 AI 模型能够适应现实世界的变化。
Wei 还强调了 AITRIOS 如何为那些缺乏深厚 AI 专业知识的人简化流程，提供了定制化 AI 模型以满足特定边缘 AI 用例的灵活性。它还解决了内存限制和性能下降等常见问题，使得在不牺牲精度或速度的前提下，将 AI 集成到小型设备中变得更加容易。
图 3. 边缘 AI 用例示例。图片来源：SONY Semicon | AITRIOS。
Link to this section在 IMX500 上优化 YOLO 模型#
在演讲的第二部分，麦克风交给了 Amir，他深入探讨了 Sony 如何在 IMX500 传感器上优化 YOLO 模型的技术细节。
Amir 开场便说：“YOLO 模型是边缘赋能型的，而且非常容易优化，这要归功于 Glenn 和团队。别担心，我会说服你的。”Amir 随后解释说，虽然很多注意力通常集中在优化 AI 模型本身上，但这种方法往往忽略了一个关键问题：后处理瓶颈。
Amir 指出，在许多情况下，一旦 AI 模型完成任务，在主机设备上进行数据传输和后处理的过程可能会导致严重的延迟。这种设备与主机之间的反复数据传输会引入延迟，而这可能是实现最佳性能的一大障碍。
图 4. Amir Servi 在 YOLO Vision 2024 舞台上解释后处理瓶颈。
为了解决这个问题，Amir 强调了从整个端到端系统角度看待问题的重要性，而不是仅仅关注 AI 模型。通过 IMX500 传感器，他们发现后处理是减慢整体速度的主要瓶颈。他分享说，真正的突破在于解锁了片上非极大值抑制 (NMS)。
这使得后处理能够直接在传感器上完成，消除了将大量数据传输到主机设备的需要。通过直接在 IMX500 上运行 NMS，Sony 打破了 Amir 所说的“后处理天花板”，实现了显著提升的性能和延迟缩减。
图 5. 克服后处理瓶颈。图片来源：SONY Semicon | AITRIOS
接下来，我们将看看这项创新如何帮助 YOLO 模型，特别是 YOLOv8 Nano，在边缘设备上运行得更高效，从而为在资源受限的小型硬件上实现实时 AI 处理创造了新机会。
Link to this sectionYOLOv8 模型在 Sony IMX500 的加持下性能提升 4 倍#
Amir 在演讲的最后部分，演示了他们如何通过在边缘运行 NMS，将 YOLOv8 Nano 模型的性能提升了四倍。他在一个集成了 IMX500 AI 传感器的 Raspberry Pi 5 上进行了演示。Amir 比较了在主机设备上处理后处理与在 IMX500 芯片上进行处理时的性能差异。
结果清楚地表明，当在芯片上进行处理时，每秒帧数 (FPS) 和整体效率都有显著提升。这种优化使物体检测更快、更流畅，同时也证明了在 Raspberry Pi 等资源受限的小型设备上进行实时 AI 处理的可行性。
Link to this section关键要点#
Sony 的 IMX500 传感器、AITRIOS 平台和 Ultralytics YOLO 模型正在重塑边缘 AI 开发。片上 AI 处理减少了数据传输和延迟，同时增强了隐私、安全性和效率。通过关注整个系统而不仅仅是 AI 模型，这些创新使得边缘 AI 对于开发者以及那些缺乏深入 AI 专业知识的人来说变得更加易于获取。随着边缘 AI 技术的不断进步，它很可能会在广泛的行业和应用中实现更智能的设备、更快速的决策以及更强大的隐私保护。
保持关注我们的社区以持续了解 AI！查看我们的 GitHub 仓库，了解我们如何利用 AI 在农业和制造业等各个行业创造创新解决方案。🚀
