与我们一起回顾索尼在尖端人工智能处理方面取得的突破，IMX500 传感器和 AITRIOS 平台可帮助优化Ultralytics YOLO 模型。
Cookie 设置
点击“接受所有 Cookie”，即表示您同意在您的设备上存储 Cookie，以增强网站导航、分析网站使用情况并协助我们的营销工作。更多信息
与我们一起回顾索尼在尖端人工智能处理方面取得的突破，IMX500 传感器和 AITRIOS 平台可帮助优化Ultralytics YOLO 模型。
边缘人工智能使人工智能 (AI) 模型能够直接在智能手机、相机和无人机等设备上运行。它的主要优势在于，它支持更快的实时决策，而无需依赖云。事实上，研究表明，在边缘平台上使用人工智能可以将运营效率提高多达 40%。
边缘人工智能，尤其是计算机视觉领域的最新进展，使其成为YOLO Vision 2024（YV24） 活动的核心话题，该活动是Ultralytics 的年度混合活动，汇集了人工智能爱好者和专家，共同探讨视觉人工智能的最新发展。索尼公司的主题演讲是此次活动的亮点之一，他们在演讲中展示了新的尖端人工智能硬件和软件解决方案。索尼展示了 IMX500 传感器和 AITRIOS 平台，并演示了这些创新是如何让Ultralytics YOLO 模型的部署变得更简单、更高效的，例如 Ultralytics YOLO11和 Ultralytics YOLOv8边缘。
本次会议由专注于索尼成像解决方案的业务发展经理 Wei Tang 和在部署 深度学习模型到边缘设备方面具有专业知识的边缘深度学习产品经理 Amir Servi 主持。
在本文中，我们将重温索尼在 YV24 上的演讲，探讨 IMX500 传感器和 AITRIOS 平台如何优化YOLO 模型的使用，以实现更快的实时边缘 AI 处理。让我们开始吧！
魏唐在会议开始时谈到了索尼的目标，即像多年前的摄影一样，使边缘AI变得易于访问。她强调，索尼现在专注于通过边缘计算将先进的视觉AI带给更多的人。这背后的驱动因素之一是边缘AI对环境的积极影响。通过直接在设备上处理数据，而不是依赖大型数据中心，边缘计算有助于减少能源消耗和减少碳排放。这是一种更智能、更环保的方法，与索尼致力于构建不仅工作得更好，而且有助于创造更可持续未来的技术的承诺完美契合。
魏接着解释了索尼半导体解决方案公司（索尼专门从事成像和传感技术的分部）如何创建先进的图像传感器。这些传感器用于各种设备，将光转换为电子信号以捕获图像。每年出货超过12亿个传感器，它们几乎存在于全球一半的手机中，这使索尼成为成像行业的主要参与者。
凭借这一专业知识，索尼现在通过将这些传感器从 图像捕获设备 转变为可以实时 处理数据 的智能工具，从而更进一步，从而可以直接在设备上实现 AI 驱动的洞察。在讨论索尼用于支持这种转变的硬件和软件解决方案之前，让我们了解一下这些创新旨在解决的边缘 AI 挑战。
开发边缘 AI 解决方案 会带来一些关键挑战，尤其是在使用 摄像头 和传感器等设备时。 许多此类设备的功率和处理能力有限，这使得高效运行高级 AI 模型 变得非常棘手。
以下是一些其他的局限性：
Sony IMX500 智能视觉传感器是边缘 AI 处理领域的一款颠覆性硬件。它是世界上第一款具有片上 AI 功能的智能视觉传感器。该传感器有助于克服边缘 AI 中的许多挑战，包括数据处理瓶颈、隐私问题和性能限制。
虽然其他传感器只是传递图像和帧，但IMX500讲述了一个完整的故事。它直接在传感器上处理数据，允许设备实时生成洞察。在会议期间，魏唐表示：“通过利用我们先进的图像传感器技术，我们的目标是赋能新一代应用，从而提升日常生活。”IMX500旨在实现这一目标，改变设备直接在传感器上处理数据的方式，而无需将其发送到云端进行处理。
以下是它的一些主要特性：
IMX500 不仅仅是一个相机传感器，它还是一个强大的传感工具，能够改变设备感知周围世界并与之互动的方式。通过将人工智能直接嵌入传感器，索尼正在使汽车、医疗保健和智能城市等行业更容易获得边缘人工智能。在随后的章节中，我们将深入探讨 IMX500 如何与Ultralytics YOLO 模型配合使用，以改进边缘设备的物体检测和数据处理。
在介绍了 IMX500 传感器之后，魏唐表示，虽然硬件至关重要，但仅靠硬件本身并不足以应对边缘 AI 部署 所涉及的全部挑战。她谈到，在摄像头和传感器等设备上集成 AI，需要的不仅仅是先进的硬件，还需要智能软件来管理它。这就是索尼 AITRIOS 平台的作用所在，它提供了一个可靠的软件解决方案，旨在使在边缘设备上部署 AI 更加简单高效。
AITRIOS 充当复杂 AI 模型和边缘设备限制之间的桥梁。它为开发人员提供了一系列工具，用于快速部署预训练的 AI 模型。但更重要的是，它支持持续再训练，以便 AI 模型能够适应现实世界的变化。
魏还强调了AITRIOS如何简化那些没有深厚AI专业知识的人的流程，提供灵活性来为特定的边缘AI用例定制AI模型。它还解决了常见的挑战，如内存限制和性能下降，从而更容易将AI集成到更小的设备中，而不会牺牲准确性或速度。
在讲座的第二部分，话筒交给了阿米尔，他从技术角度深入探讨了索尼如何在 IMX500 传感器上优化YOLO 模型。
阿米尔首先说："YOLO 模型具有边缘功能，而且相当容易优化，这要感谢格伦和他的团队。我会让你们相信这一点的，别担心。"阿米尔随后解释说，虽然很多人通常会关注人工智能模型本身的优化，但这种方法往往忽略了一个关键问题：后处理瓶颈。
Amir 指出，在许多情况下，一旦 AI 模型完成其任务，在主机设备上传输数据和处理后处理的过程可能会导致严重的延迟。设备和主机之间来回的数据传输会引入延迟，这可能是实现最佳性能的主要障碍。
为了解决这个问题，阿米尔强调了审视整个端到端系统的重要性，而不是仅仅关注人工智能模型。在使用 IMX500 传感器时，他们发现后处理是拖慢一切的主要瓶颈。他分享说，真正的突破在于解锁了片上非最大抑制（NMS）。
它允许直接在传感器上进行后期处理，无需将大量数据传输到主机设备。通过直接在 IMX500 上运行NMS ，索尼突破了 Amir 所称的 "后期处理玻璃天花板"，实现了更好的性能并减少了延迟。
接下来，我们将看看这一创新如何帮助YOLO 车型，尤其是 YOLOv8Nano 在边缘设备上更高效地运行，为在更小、资源有限的硬件上进行实时人工智能处理创造了新的机会。
最后，阿米尔展示了他们如何通过在边缘运行NMS 将YOLOv8 Nano 模型的性能提高四倍。他在集成了 IMX500 AI 传感器的Raspberry Pi5 上进行了展示。阿米尔比较了在主机设备上处理后处理与在 IMX500 芯片上处理后处理的性能。
结果清楚地表明，在芯片上完成处理时，每秒帧数 (FPS) 和整体效率都有了显着提高。这种优化使目标检测更快、更流畅，也证明了在 Raspberry Pi 等较小的、资源受限的设备上进行实时 AI 处理的实用性。
索尼的 IMX500 传感器、AITRIOS 平台和Ultralytics YOLO 模型正在重塑边缘人工智能的发展。片上人工智能处理减少了数据传输和延迟，同时提高了隐私性、安全性和效率。通过关注整个系统，而不仅仅是人工智能模型，这些创新使开发人员和没有深厚人工智能专业知识的人更容易获得边缘人工智能。随着边缘人工智能技术的不断进步，它将有可能在广泛的行业和应用中实现更智能的设备、更快速的决策和更强大的隐私保护。
与我们的社区保持联系，继续学习有关 AI 的知识！查看我们的 GitHub 仓库，了解我们如何使用 AI 在农业和制造业等各个行业中创建创新解决方案。🚀
