边缘人工智能使人工智能 (AI) 模型能够直接在智能手机、相机和无人机等设备上运行。它的主要优势在于，它支持更快的实时决策，而无需依赖云。事实上，研究表明，在边缘平台上使用人工智能可以将运营效率提高多达 40%。 

边缘 AI 领域的最新进展，尤其是在 计算机视觉 方面，使其成为 YOLO Vision 2024 (YV24) 的核心议题，这是 Ultralytics 的 年度混合活动，汇集了 AI 爱好者和专家，共同探索 视觉 AI 的最新进展。本次活动的亮点之一是 索尼的主题演讲，他们展示了其最新的尖端 AI 硬件 和软件解决方案。IMX500 传感器和 AITRIOS 平台是重点，索尼展示了这些创新如何使在边缘 部署 Ultralytics YOLO 模型（如 Ultralytics YOLO11 和 Ultralytics YOLOv8）变得更加容易和高效。

本次会议由专注于索尼成像解决方案的业务发展经理 Wei Tang 和在部署 深度学习模型到边缘设备方面具有专业知识的边缘深度学习产品经理 Amir Servi 主持。 

在本文中，我们将回顾索尼在 YV24 上的演讲，并探讨 IMX500 传感器和 AITRIOS 平台如何优化 YOLO 模型的使用，从而实现更快的实时边缘 AI 处理。让我们开始吧！

索尼的愿景：在边缘设备上普及 AI

魏唐在会议开始时谈到了索尼的目标，即像多年前的摄影一样，使边缘AI变得易于访问。她强调，索尼现在专注于通过边缘计算将先进的视觉AI带给更多的人。这背后的驱动因素之一是边缘AI对环境的积极影响。通过直接在设备上处理数据，而不是依赖大型数据中心，边缘计算有助于减少能源消耗和减少碳排放。这是一种更智能、更环保的方法，与索尼致力于构建不仅工作得更好，而且有助于创造更可持续未来的技术的承诺完美契合。

魏接着解释了索尼半导体解决方案公司（索尼专门从事成像和传感技术的分部）如何创建先进的图像传感器。这些传感器用于各种设备，将光转换为电子信号以捕获图像。每年出货超过12亿个传感器，它们几乎存在于全球一半的手机中，这使索尼成为成像行业的主要参与者。 

​

凭借这一专业知识，索尼现在通过将这些传感器从 图像捕获设备 转变为可以实时 处理数据 的智能工具，从而更进一步，从而可以直接在设备上实现 AI 驱动的洞察。在讨论索尼用于支持这种转变的硬件和软件解决方案之前，让我们了解一下这些创新旨在解决的边缘 AI 挑战。

与边缘设备上的人工智能图像处理相关的挑战

开发边缘 AI 解决方案 会带来一些关键挑战，尤其是在使用 摄像头 和传感器等设备时。 许多此类设备的功率和处理能力有限，这使得高效运行高级 AI 模型 变得非常棘手。

以下是一些其他的局限性：

• 软件复杂性：使 AI 模型 能够跨具有不同硬件配置的各种边缘设备工作可能很复杂，并且需要调整和优化。
  ‍
• 后处理瓶颈: 将大量数据从设备传输到主机进行后处理时，通常会存在延迟。它通常比实际的 AI 模型推理 消耗更多时间。
  ‍
• 数据爆炸：随着许多 IoT 设备不断生成数据，需要在本地处理的数据量可能会非常大，从而进一步加剧边缘设备的负担。

了解 Sony IMX500 智能视觉传感器

Sony IMX500 智能视觉传感器是边缘 AI 处理领域的一款颠覆性硬件。它是世界上第一款具有片上 AI 功能的智能视觉传感器。该传感器有助于克服边缘 AI 中的许多挑战，包括数据处理瓶颈、隐私问题和性能限制。

虽然其他传感器只是传递图像和帧，但IMX500讲述了一个完整的故事。它直接在传感器上处理数据，允许设备实时生成洞察。在会议期间，魏唐表示：“通过利用我们先进的图像传感器技术，我们的目标是赋能新一代应用，从而提升日常生活。”IMX500旨在实现这一目标，改变设备直接在传感器上处理数据的方式，而无需将其发送到云端进行处理。

以下是它的一些主要特性：

• 元数据输出：它不发送完整的图像，而是输出元数据，从而大大减少了数据大小，降低了带宽使用和成本。
  ‍
• 增强的隐私: 通过在设备上处理数据，IMX500 提高了隐私，尤其是在涉及敏感信息的情况下，例如与人类相关的计算机视觉任务，如人数统计。
  ‍
• 实时处理：该传感器快速处理数据的能力意味着它支持快速的实时决策，从而支持边缘 AI 应用，例如自主系统。

IMX500 不仅仅是一个摄像头传感器，它还是一个强大的传感工具，可以改变设备感知和与周围世界互动的方式。通过将 AI 直接嵌入到传感器中，索尼正在使边缘 AI 对于汽车、医疗保健和智慧城市等行业更易于访问。在后续章节中，我们将更深入地探讨 IMX500 如何与 Ultralytics YOLO 模型协同工作，以改进边缘设备上的目标检测和数据处理。

​

索尼的 AITRIOS 平台：简化边缘 AI

在介绍了 IMX500 传感器之后，魏唐表示，虽然硬件至关重要，但仅靠硬件本身并不足以应对边缘 AI 部署 所涉及的全部挑战。她谈到，在摄像头和传感器等设备上集成 AI，需要的不仅仅是先进的硬件，还需要智能软件来管理它。这就是索尼 AITRIOS 平台的作用所在，它提供了一个可靠的软件解决方案，旨在使在边缘设备上部署 AI 更加简单高效。

AITRIOS 充当复杂 AI 模型和边缘设备限制之间的桥梁。它为开发人员提供了一系列工具，用于快速部署预训练的 AI 模型。但更重要的是，它支持持续再训练，以便 AI 模型能够适应现实世界的变化。 

魏还强调了AITRIOS如何简化那些没有深厚AI专业知识的人的流程，提供灵活性来为特定的边缘AI用例定制AI模型。它还解决了常见的挑战，如内存限制和性能下降，从而更容易将AI集成到更小的设备中，而不会牺牲准确性或速度。 

​

在 IMX500 上优化 YOLO 模型

在演讲的第二部分，麦克风交给了 Amir，他深入探讨了索尼如何在 IMX500 传感器上优化 YOLO 模型 的技术细节。 

Amir 首先说道：“得益于 Glenn 及其团队的努力，YOLO 模型能够支持边缘计算，并且相当容易优化。我会让你们相信这一点，不用担心。” 然后 Amir 解释说，虽然通常很多人专注于优化 AI 模型本身，但这种方法往往忽略了一个关键问题：后处理瓶颈。

Amir 指出，在许多情况下，一旦 AI 模型完成其任务，在主机设备上传输数据和处理后处理的过程可能会导致严重的延迟。设备和主机之间来回的数据传输会引入延迟，这可能是实现最佳性能的主要障碍。

​

为了解决这个问题，Amir 强调了关注整个端到端系统的重要性，而不仅仅是关注 AI 模型。通过 IMX500 传感器，他们发现后处理是减缓一切速度的主要瓶颈。他分享说，真正的突破是解锁片上 非极大值抑制 (NMS)。 

它允许在传感器上直接进行后处理，无需将大量数据传输到主机设备。通过直接在 IMX500 上运行 NMS，索尼突破了 Amir 所谓的“后处理瓶颈”，实现了更好的性能和延迟降低。

​

接下来，我们将了解这项创新如何帮助 YOLO 模型，尤其是 YOLOv8 Nano，在边缘设备上更高效地运行，从而为在更小、资源受限的硬件上进行实时 AI 处理创造了新的机会。

YOLOv8 模型通过索尼 IMX500 实现 4 倍速度提升

Amir 在演讲的结尾展示了他们如何在边缘端运行 NMS，从而使 YOLOv8 Nano 模型的性能提高了四倍。他在一个集成了 IMX500 AI 传感器的 Raspberry Pi 5 上展示了这一点。Amir 比较了在主机设备上处理后处理与在 IMX500 芯片上处理后处理时的性能。 

结果清楚地表明，在芯片上完成处理时，每秒帧数 (FPS) 和整体效率都有了显着提高。这种优化使目标检测更快、更流畅，也证明了在 Raspberry Pi 等较小的、资源受限的设备上进行实时 AI 处理的实用性。

主要要点

索尼的 IMX500 传感器、AITRIOS 平台和 Ultralytics YOLO 模型正在重塑边缘 AI 开发。片上 AI 处理减少了数据传输和延迟，同时提高了隐私性、安全性和效率。通过关注整个系统，而不仅仅是 AI 模型，这些创新使边缘 AI 更易于开发人员和那些没有深厚 AI 专业知识的人使用。随着边缘 AI 技术的不断发展，它可能会在广泛的行业和应用中实现更智能的设备、更快的决策制定和更强的隐私保护。

与我们的社区保持联系，继续学习有关 AI 的知识！查看我们的 GitHub 仓库，了解我们如何使用 AI 在农业和制造业等各个行业中创建创新解决方案。🚀