Ultralytics YOLO27:
获取 YOLO 许可
指南

如何为现有安防摄像头添加 AI 分析

为现有摄像头系统添加 AI 分析的三种方案:分析层、VMS 升级和自托管模型,以及决定方案选择的限制因素。

MIMiles Deans11 分钟阅读
如何为现有安防摄像头添加 AI 分析

几乎每个询问如何为安防摄像头添加 AI 的组织,都已经能在三个选项中找到所需答案,而常见的错误是从软件入手,而不是先了解现有设备。你已有的摄像头(在关键距离下的分辨率、拍摄角度、低光照表现,以及视频流可在哪里处理)决定了这三条路线中哪些对你可行。

本指南先介绍如何如实盘点摄像头,然后介绍三条路线:购买覆盖现有视频管理系统的分析层、升级 VMS 或摄像头本身,以及在现有视频流上自行托管检测模型。大多数读者应选择前两条之一。第三条只适用于满足特定限制条件的情况,本指南会明确说明具体条件。

先盘点现有设备,而不是软件#

分析服务商很乐意接入无法支持你所需检测的摄像头。评估之前先做盘点。

  • 关注目标上的像素,而非百万像素。一台覆盖宽阔院子的 4K 摄像头,在 40 米外拍到的人身上的像素,可能比覆盖门口的 1080p 摄像头还少。每种检测都有最低像素高度要求,这是改造项目未达预期最常见的原因。
  • 角度。用于安防的摄像头通常会倾斜安装,以便大范围拍摄人脸。对于人数统计和区域逻辑来说,这几乎是最不理想的几何布局,因为俯视画面的表现远胜于斜视画面。
  • 低光照和逆光表现。在黄昏、夜间以及太阳直射镜头的时段进行测试。红外照明会显著改变图像特征,而只用日间录像评估过的模型可能会让你大吃一惊。
  • 帧率和编解码器。严重压缩的低帧率视频流会丢失模型所依赖的细节。检查录像机实际存储的内容,以及摄像头能够输出的内容。
  • 视频流访问。能否在不降低录像质量的前提下,为每台摄像头获取第二路 RTSP 视频流?许多摄像头支持低分辨率子码流,通常已经够用,而且处理成本低得多。
  • 网络容量和拓扑。对许多视频流进行持续分析,要么会消耗带宽将视频传到中央服务器,要么需要在摄像头附近配置计算资源。相比软件偏好,这往往更能决定系统架构。
  • 摄像头使用年限和补丁状态。在扁平网络中使用默认凭据的摄像头,首先是安全隐患,其次才是分析机会。

这次盘点通常会得出这样的结果:部分摄像头适合区域和存在检测,较少一部分足以支持精细分类,还有几台无论选择哪条路线都需要重新定位或更换。

三条路线#

路线新增内容适用情况工作量主要限制
覆盖现有 VMS 的分析层使用现有视频流的服务商产品你希望快速启用标准安防检测低到中等受限于服务商的检测目录
升级 VMS 或摄像头新平台,通常还包括新摄像头现有设备已老旧到分析功能并非真正的限制因素高资本成本和部署时间
在现有视频流上自行托管模型你自己的推理服务自定义检测、绝对的数据边界,或你要交付的产品高,且持续投入准确性、计算资源和维护都由你负责

路线 1:在现有 VMS 上增加分析层#

这是默认建议。这类产品专门用于在不更换摄像头设备的情况下为其增加检测能力;对于标准安防用例,它们比你自行构建的任何方案都更快、成本更低。

BriefCam。视频内容分析层,尤其擅长快速查看和搜索已录制的视频,可在本地部署。最适合以调查为主、主要工作是从历史视频中查找事件的环境。取舍:它运行在 VMS 之上,是新增组件,而非替换现有组件。

IronYun / Vaidio。专为现有摄像头和 VMS 平台引入检测功能而设计的 AI 分析层,提供种类丰富的安防检测。最适合希望增加分析能力、又不想改动录像基础设施的组织。取舍:集成链路中会增加一家需要测试和维护的服务商。

Lumana。专注于为现有摄像头设备增加 AI,尤其关注改造路径本身,而非假设一切都从零开始安装。最适合明确要求保留现有摄像头的团队。取舍:相较于成熟的 VMS 服务商,它是较新的市场参与者。

Volt.ai。同样致力于在现有监控基础设施上叠加 AI,并将集成指导作为其服务的显著组成部分。最适合要改造混合摄像头硬件的组织。取舍:与任何覆盖层一样,最终效果仍取决于底层摄像头。

这四款产品都能提供:标准检测(人员和车辆存在检测、越线、区域入侵、徘徊、物品遗留、人群密度,以及基于属性搜索已录制的视频),并提供支持服务和准确性责任方。它们无法提供的是:检测目录中没有的检测功能。

范围界定方面的一点提醒。这些产品中有几款宣传可对视频进行属性搜索,但不同服务商所说的属性搜索差别很大,有的指匹配衣服颜色等描述性属性,有的指匹配身份。这两种能力有实质性的区别,面临的法律风险也大不相同,因此值得确认你买到的是什么,以及你真正需要的是什么。将范围限定为属性和事件检测,而不是身份识别,不仅更容易进行合规沟通,也足以满足大多数安防工作流的需求。

路线 2:升级 VMS 或摄像头#

有时,坦诚的答案是限制因素在于现有设备,而不是分析功能。如果摄像头已经老旧、位置不佳、无法打补丁且以低帧率录像,在它们上面叠加 AI 只会让人失望。

Genetec Security Center。集成视频、门禁控制和 ALPR,提供强大的网络安全和隐私工具,可在本地部署。最适合需要统一实体安全管理的大型企业和公共部门设备环境。取舍:平台功能强大,也需要相应的专业能力。

Milestone XProtect。开放平台 VMS,拥有庞大的第三方集成生态,因此可以独立于录像层选择分析方案。最适合希望保留选择灵活性的组织。取舍:需要有人负责整合各项集成。

Avigilon Unity。本地部署的视频安防系统,内置分析功能,摄像头与软件紧密集成。最适合希望采用同一服务商提供的完整技术栈的团队。取舍:搭配其自有摄像头使用时效果最佳。

Verkada。云管理摄像头,内置分析功能,尤其注重部署和管理的简便性。最适合现场 IT 资源有限的分布式多站点组织。取舍:采用云管理架构,一些数据驻留要求可能不允许使用这种架构。

Rhombus。同样采用云管理模式并内置分析功能,面向简便的多站点部署。最适合希望快速部署的中型市场组织。取舍:与上述情况相同,必须将视频保存在本地时,云模式会成为限制。

Eagle Eye Networks。云视频管理,采用开放 API 方案并提供分析选项。最适合希望使用云管理、同时保留集成灵活性的组织。取舍:架构以云为中心。

Axis Camera Station。搭配 Axis 摄像头和机载分析功能,提供简洁的本地视频管理,并有非常详细的硬件来源文档。最适合中型 Axis 部署。取舍:与企业级平台相比,它不太适合规模非常大的多站点设备环境。

如果涉及数据驻留、物理隔离或采购限制要求,那么在考虑其他因素之前,这些要求就会缩小候选范围。关于这些决策所依据的合规框架,我们在《面向安全合规的本地视频分析指南》中有更深入的介绍。

路线 3:在现有视频流上自行托管模型#

这是少数情况下才会选择的路线,但符合以下特定条件时,它就是正确选择:

  • 检测目录中没有所需检测。例如某种特定设备、设施特有的情况、流程状态或生产线上的产品。无法通过配置通用安防分析来添加全新的类别。 - 推理边界必须绝对封闭。不只是存储。任何图像都不能离开网络用于分析,包括发送到服务商的云端层。 - 你要交付产品。如果分析功能是你所售产品的一项特性,按通道许可不符合成本模型,而你需要自行构建。 - 按通道许可在你的视频流数量下无法扩展,而且你有工程能力来运营替代方案。 - 你需要掌控模型生命周期,随着现场情况变化,使用自己的视频重新训练,而不是等待服务商发布更新。

如果以上条件都不适用,就选择路线 1。

系统架构#

保留 VMS。录像、保留期限、访问控制和审计日志功能已经解决,且与合规有关。从 VMS 获取视频流,不要替换它。

将 RTSP 视频流拉取到你自己的推理服务中。只要分辨率够用,就优先使用摄像头子码流。它的解码成本低得多,而且实际瓶颈往往是解码,而不是推理。

运行检测和跟踪。Ultralytics YOLO 模型(YOLOv8、YOLO11 和 YOLO26)涵盖相关任务:检测人员、车辆和物体;跟踪越线和区域逻辑;姿态估计可用于姿势和跌倒检测;在边界比边框更重要时进行分割。根据部署硬件,导出为 ONNX 或 TensorRT。

使用你自己的视频进行训练。通用模型能够很好地处理人员和车辆。你使用的具体摄像头、拍摄角度、天气和光照决定了实际准确性,而公开数据集无法代表这些情况。Ultralytics Platform 可以通过基于 SAM 的 Smart Annotation 为现场视频添加标注,并在同一工作流中完成训练;如果替代方案是把标注工具和训练工具拼接在一起,这一点就很重要。

将事件写回安防工作流。检测结果应进入 VMS 或操作人员已经在使用的警报管理系统。单独的仪表盘会变成一个没人打开的独立系统。

在试点投入生产之前确定许可。Ultralytics YOLO 模型采用 AGPL-3.0 许可,而商业或专有部署通常需要 Ultralytics Enterprise 许可,该许可也涵盖私有部署和高级支持。在设计阶段解决许可问题,比部署完成后再处理便宜得多。

计算资源规划#

对许多视频流进行持续推理是一项容量规划工作,其中两个因素最为关键。

首先是帧率。大多数安防事件不需要处理每一帧。根据你必须捕捉到的最短事件设定帧率(人员越线所需的帧率远低于 30fps),通常能大幅降低容量需求。

其次是推理运行位置。在摄像头附近的边缘设备上运行推理,可以避免通过网络传输视频并使视频留在本地,而这往往正是项目的目标。中央 GPU 服务器更容易运行和管理,但会集中带宽需求。混合设备环境通常会同时采用两种方式:在远程站点进行边缘推理,在网络条件良好的地方进行中央处理。

使用你自己的视频流和硬件进行基准测试。在精选数据集上测得的模型吞吐量,无法预测摄像头上的解码加推理流水线能达到怎样的效果。

误报问题要在模型之外解决,而不是在模型内部解决#

自建系统最常见的问题不是检测准确率差,而是警报数量太多,操作人员不到两周就不再响应。

检测结果不等于事件。将边框转换为警报的这一层,才是真正控制误报率的地方:

  • 持续性。要求跟踪目标在连续多帧中保持稳定后才计为有效。单帧检测属于噪声。
  • 用现实世界的尺度定义区域几何形状。画在二维图像上的多边形并不等于地面上的区域。没有透视校准时,远在危险区域之外的人也可能看起来像是在区域内。
  • 防抖。同一个人在边界处徘徊,不应反复触发越线事件。
  • 时间表和例外规则。叉车下午 2 点出现在通道里很正常,凌晨 2 点则不正常。加入这类规则可以减少大量警报。
  • 分级升级。并非每次检测都值得触发警报。实时警报、班次摘要和每周趋势是三种不同的输出,对准确性的要求也各不相同。

这部分代码预计会比模型集成代码更多;评估系统时,应统计每班次的误报数量,而不是测试集上的检测准确率。每班次的误报数量决定了系统三个月后是否还会继续运行。

隐私和范围#

为现有摄像头增加分析功能会改变摄像头的用途,这通常会引发原始安装时并不涉及的义务。

  • 目的限制。出于安防目的安装的摄像头,不应在未告知的情况下转而用于生产效率或行为监控。在工作场所,这既是法律问题,也是信任问题。
  • 重新评估,不要照搬既有结论。对现有视频增加自动化分析通常需要重新进行数据保护评估;在欧盟大部分地区,还需要咨询职工委员会。
  • 排除身份匹配。人员和车辆检测、越线、区域入侵、徘徊、人群密度和物品遗留检测,都可以基于匿名检测结果运行。Ultralytics 不提供用于人脸识别的模型,而身份匹配会带来显著更高的法律风险,却不会改善上述任何一种检测。
  • 尽量减少保留的数据。如果事件和计数就能回答问题,那就只保留事件和计数。
  • 记录查看和导出行为,而不仅是配置变更。
  • 隔离摄像头网络。改造是修复扁平网络和默认凭据问题的好时机。

常见问题

  • 有三条路线。购买使用现有视频流的分析层(BriefCam、IronYun/Vaidio、Lumana 或 Volt.ai),这是启用标准安防检测最快的途径。如果现有设备本身构成限制,就升级 VMS 或摄像头。或者在现有 RTSP 视频流上自行托管检测模型,这适用于自定义检测、绝对的数据边界以及你要交付的产品。首先检查摄像头的分辨率、角度和低光照表现,因为这些因素决定了哪些路线可行。

  • 不能。决定性限制因素包括你关注的距离下目标上的像素、摄像头角度、低光照表现,以及实际保存的帧率。结果通常会有所区别:许多摄像头足以支持存在和区域检测,较少一部分适合精细分类,还有一些无论选择哪条路线都需要重新定位。

  • 通常不需要。分析层就是为使用现有 VMS 的视频流而构建的;自行托管的模型可以直接读取 RTSP,同时由 VMS 继续负责录像、保留期限和审计日志。当平台本身已不受支持、无法打补丁或无法提供视频流访问时,更换 VMS 才有意义。

  • 对于标准安防检测,应该购买。按通道许可几乎总是比构建和维护流水线的总成本更低;后者包括 GPU 容量、工程时间、标注、重新训练、监控和待命支持。如果检测目录中没有所需检测、许可费用在你的视频流数量下无法扩展,或者分析功能是你所售产品的一部分,自行构建才更合适。

  • 不需要,而且值得明确排除人脸识别。存在、越线、区域入侵、徘徊、人群密度和物品遗留检测都可以基于匿名检测结果运行。一些服务商宣传可对视频进行基于属性的搜索;你需要确认这指的是描述性属性还是身份匹配,因为两者面临的法律风险差异很大。Ultralytics 不提供用于人脸识别的模型。

  • 在摄像头附近进行边缘推理,可以避免通过网络传输视频并使视频留在本地,而这往往正是项目的驱动要求。中央 GPU 服务器更容易运行和监控,但会集中带宽需求。混合设备环境通常会在远程站点运行边缘推理,并在网络条件允许的地方进行中央推理。

  • 必须进行测量,因为它取决于分辨率、模型大小、推理帧率,以及预算中有多少用于视频解码而非推理。最有效的调节手段是帧率:根据必须捕捉的最短事件来设置帧率,而不是使用摄像头的最高帧率,这通常能大幅提升可处理的视频流数量。在确定硬件配置之前,先用你自己的视频流进行基准测试。

  • 几乎总是因为模型之上的逻辑缺失,而不是检测效果差。添加跨多帧的持续性要求,将区域几何参数校准到真实世界坐标,消除重复越界事件,并编码时间表和豁免规则。然后衡量每班次的误报数,因为这个数字决定了操作人员是否继续信任系统。

Explore solutions

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来