Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
Ultralytics YOLO

使用 Ultralytics YOLO 模型增强车辆重识别效果

了解车辆再识别如何跨摄像头匹配汽车,以及 Ultralytics YOLO 模型如何通过快速检测、追踪和 BoT-SORT ReID 支持这一过程。

Abirami VinaAbirami Vina13 分钟阅读
使用 Ultralytics YOLO 模型进行车辆重识别

观看一级方程式比赛时,你很容易认出自己喜欢的车队的赛车。法拉利的鲜红色或梅赛德斯的银色赛车,每一圈都十分醒目。

要求机器完成同样的任务,但场景不是干净的赛车场,而是挤满车辆的城市街道,难度就大得多。因此,车辆重识别(vehicle re-ID)近年来在 AI 领域越来越受关注。

车辆重识别让机器能够通过多视角或非重叠摄像头识别同一辆车。它还旨在应对临时遮挡(车辆部分被遮住)或光照和视角变化后的车辆识别。

计算机视觉是车辆重识别的核心技术。计算机视觉是人工智能的一个分支,专注于教会机器理解和解读图像、视频等视觉信息。借助这项技术,AI 系统可以分析车辆特征,并在大型摄像头网络中可靠地跟踪车辆,用于城市监控和交通管理等应用。

特别是 Ultralytics YOLO11和Ultralytics YOLO26等视觉 AI 模型(后者现已发布)支持目标检测和跟踪等任务。它们可以快速定位每帧中的车辆,并跟踪车辆在场景中的移动。将这些模型与车辆重识别网络结合后,系统能够在不同摄像头画面中识别同一辆车,即使视角或光照条件发生变化也能做到。

使用 Ultralytics YOLO11 跟踪车辆并估算速度

图 1. 使用 YOLO11 跟踪车辆并估算速度的示例(来源)

在本文中,我们将介绍车辆重识别的工作原理、实现该技术的技术手段,以及它在智能交通系统中的应用。

什么是车辆重识别?#

车辆重识别是计算机视觉的一项重要应用。它专注于在不同的非重叠摄像头画面中识别同一辆车,并在车辆穿行城市时保持其身份一致。这项任务颇具挑战,因为不同摄像头可能从不同角度、在不同光照下拍摄车辆,或拍到车辆被部分遮挡的画面。

设想一辆蓝色轿车驶过一个十字路口,之后出现在另一条街道,并被另一台摄像头拍到。此时,拍摄角度、光照和背景都已改变,而且其他汽车可能会短暂挡住视线。尽管如此,车辆重识别系统仍需判断这是一辆相同的车。

深度学习的最新进展,尤其是卷积神经网络(CNN)和基于 Transformer 的模型,显著提高了这一过程的准确度。这些模型能够提取有意义的视觉模式,区分外观相似的车辆,同时仍能识别出正确的车辆。

在智能交通系统中,这项能力支持持续监控、路线重建和全市范围的交通分析,让智慧城市系统更清楚地了解车辆的移动情况,从而提高安全性和效率。

了解车辆重识别的工作原理#

通常,系统会使用车辆重识别技术分析来自十字路口、停车区域和高速公路的视频片段,以确定同一辆车是否出现在不同摄像头画面中。这一概念与行人重识别类似,都是通过多个视角跟踪个体,但车辆重识别关注的是车辆自身的特征,而非人的外观。

这一过程包含几个关键步骤,每个步骤都旨在帮助系统检测车辆、提取车辆的视觉特征,并在不同视角下可靠地进行匹配。

总体而言,系统会先检测每一帧中的车辆,然后提取颜色、形状和纹理等特征,为每辆车创建独特的数字表示,也就是嵌入。这些嵌入会在不同时间和摄像头之间进行比较,通常还会结合目标跟踪和时空检查,以判断两次观测是否来自同一辆车。

车辆重识别的工作原理

图 2. 车辆重识别的工作原理。(来源)

下面详细介绍这一过程:

  • 目标检测:系统会先识别并定位每个视频帧中的车辆,从而准确确定需要处理的区域。这一步通常由目标检测模型完成。
  • 特征提取:检测完成后,专用的重识别网络或特征提取网络会分析每个车辆裁剪图像,并生成特征图或特征表示,以捕捉颜色、形状、纹理和独特部件等视觉细节。
  • 嵌入生成:提取出的特征会转换成称为特征嵌入的数值表示。这个嵌入就像数字指纹,能够捕捉车辆从不同角度观察时的外观。匹配前,通常会对这些嵌入进行归一化,避免光照、对比度或相机设置造成的差异影响身份比较。归一化可确保系统关注有意义的身份相关特征,而非噪声。
  • 目标跟踪:在单个摄像头视角内,跟踪算法会关联连续帧中的检测结果,在车辆穿过场景时帮助维持其身份一致。
  • 跨摄像头匹配:为了在不同摄像头中匹配同一辆车,系统会比较嵌入(由重识别网络生成),并结合时间和位置信息。即使摄像头之间没有重叠视野,这一步也能判断两次观测是否来自同一辆车。

Ultralytics YOLO 模型如何支持车辆重识别#

Ultralytics YOLO 模型在车辆重识别流水线中发挥着重要的辅助作用。虽然它们本身不执行重识别,但可以提供快速检测和稳定跟踪等关键能力,而重识别网络需要依赖这些能力来准确地进行跨摄像头匹配。

接下来,我们来深入了解 YOLO11 等 Ultralytics YOLO 模型如何增强车辆重识别系统。

精准的车辆检测模块:重识别系统的第一步#

准确的目标检测是任何车辆重识别系统的基础。YOLO11 等 Ultralytics YOLO 模型非常适合执行这项任务,因为即使在场景繁忙、车辆部分被遮挡、交通拥堵或光照不断变化时,它们也能快速检测每一帧中的车辆。

车辆模型还可以定制训练,也就是说,你可以使用自己的数据集微调模型,让模型学会识别特定车辆类型,例如出租车、送货面包车或车队车辆。当解决方案需要更专业的检测能力时,这一点尤其有用。Ultralytics YOLO 模型能够提供清晰、精准的边界框,为重识别网络提供高质量输入,从而提高跨摄像头匹配的可靠性。

支持可靠的单摄像头跟踪#

检测到车辆后,Ultralytics YOLO11 等模型还可以支持在单个摄像头视角内稳定地进行目标跟踪。目标跟踪是指在连续帧中跟踪检测到的车辆,并在车辆移动时为其分配一致的 ID。

YOLO11 内置支持 ByteTrack 和 BoT-SORT 等跟踪算法,相关功能可在 Ultralytics Python 软件包中使用,因此能够在车辆穿过场景时为其保持一致的 ID。稳定的跟踪可减少重识别系统接手前发生的身份切换,最终提高跨摄像头匹配的准确度。

可选的跟踪器级重识别功能,提升身份稳定性#

除了标准的基于运动的跟踪外,Ultralytics Python 软件包还在 BoT-SORT 跟踪器中提供可选的基于外观的重识别功能。这意味着,跟踪器可以使用视觉外观特征,而不只是运动模式或边界框重叠程度,来判断两次检测是否来自同一辆车。

启用后,BoT-SORT 会从检测器或 Ultralytics YOLO11 分类模型中提取轻量级外观嵌入,并利用这些嵌入验证不同帧之间的身份信息。这种额外的外观线索有助于跟踪器在具有挑战性的情况下保持更稳定的 ID,例如短暂遮挡、车辆近距离交会或摄像头移动造成的轻微偏移。

这项内置重识别功能并非用于取代完整的跨摄像头车辆重识别,但它确实能提高单个摄像头视角内的身份一致性,并生成更干净的轨迹片段,供下游重识别模块使用。若要使用这些基于外观的跟踪功能,只需在 BoT-SORT 跟踪器配置文件中启用重识别,将 “with_reid” 设为 “True”,并选择用于提供外观特征的模型。

如需了解更多详情,可以查看 Ultralytics 的目标跟踪文档页面,其中介绍了可用的重识别选项以及配置方法。

为重识别网络提供高质量输入#

除了在跟踪过程中提升身份稳定性外,YOLO 模型还在为重识别网络本身准备干净的视觉输入方面发挥着重要作用。

检测到车辆后,通常会裁剪其边界框,并将裁剪图像发送到重识别网络,由网络提取匹配所需的视觉特征。由于重识别模型严重依赖这些裁剪图像,如果输入质量不佳,例如图像模糊、对齐不准或裁剪不完整,就可能导致嵌入质量较差,跨摄像头匹配的可靠性也会下降。

Ultralytics YOLO 模型能够持续生成干净、对齐良好的边界框,并完整捕捉目标车辆,从而帮助减少这些问题。裁剪图像越清晰、准确,重识别网络就越能专注于颜色、形状、纹理和其他区分性特征等有意义的细节。高质量输入能够提升不同摄像头视角下重识别性能的可靠性和准确度。

与重识别模型结合,实现跨摄像头匹配#

尽管 Ultralytics YOLO 模型本身不执行重识别,但它们能提供重识别网络在不同摄像头视角下比较车辆所需的关键信息。YOLO11 等模型可以负责定位和跟踪每个摄像头中的车辆,而重识别模型则判断来自不同地点的两个车辆裁剪图像是否属于同一身份。

这些组件协同工作时,YOLO 负责检测和跟踪,专用嵌入模型负责特征提取,二者共同构成完整的多摄像头车辆匹配流水线。这样就能在同一辆车穿过更大的摄像头网络时,将其关联起来。

例如,在近期的一项研究中,研究人员在在线多摄像头跟踪系统中使用轻量级 Ultralytics YOLO11 模型作为车辆检测器。研究发现,使用 YOLO11 有助于缩短检测时间,同时不牺牲准确度,从而提升下游跟踪和跨摄像头匹配的整体性能。

基于 Ultralytics YOLO11 的多车辆跨摄像头跟踪与重识别

图 3. 基于 Ultralytics YOLO11 的多车辆跨摄像头跟踪与重识别。(来源)

基于深度学习的车辆 Re-ID 架构#

现在,我们已经更好地了解了 Ultralytics YOLO 模型如何支持车辆再识别,接下来仔细看看负责特征提取和匹配步骤的深度学习模型。这些模型负责学习车辆的外观、创建鲁棒的嵌入向量,并在不同摄像头视角下区分外观相似的车辆。

以下是目标再识别系统中使用的一些核心深度学习组件示例:

  • 特征提取与 CNN: ResNet50 或 ResNet101 等卷积神经网络通过模式识别学习深层特征,识别颜色、形状和纹理等元素,以区分不同车辆。随后,这些学到的模式会转换为嵌入向量,作为车辆独特的数字表示。
  • 注意力机制与 Transformer: 注意力网络和层(包括空间注意力)可以帮助突出车辆的重要区域,例如前灯、车窗或车牌区域。空间注意力会让模型聚焦于信息量最大的视觉线索所在位置,而基于 Transformer 的模型(如视觉 Transformer (ViT))则能捕捉整张图像中的全局关系。两者结合后,即使车辆外观非常相似,也能提高细粒度识别的准确性。
  • 基于部件和多分支网络: 一些 Re-ID 模型会分别分析车辆的特定区域,例如车顶、尾灯或侧板,然后再整合分析结果。这样一来,即使车辆部分被遮挡或处于难以识别的角度,系统仍能保持鲁棒性。

除了这些架构组件,度量学习在车辆 Re-ID 模型的训练中也发挥着关键作用。三元组损失、对比损失和交叉熵损失等损失函数有助于系统学习强大且具有区分性的嵌入向量:让同一辆车的图像彼此靠近,同时让不同车辆的图像彼此远离。

在计算机视觉研究中,数据集的质量会显著影响模型部署后的表现。数据集为模型提供用于学习的带标签图像或视频。

用于车辆重识别的数据集必须涵盖多种条件,例如光照、视角变化和天气差异。这种多样性有助于模型应对现实交通环境的复杂性。

以下是一些支持车辆再识别模型训练、优化和评估的热门数据集:

  • VeRi-776 数据集: 该数据集包含从 20 个城市摄像头拍摄的 50,000 多张车辆图像,并带有标注。标注内容包括车辆 ID、颜色、型号和车牌区域,有助于进行细致的特征学习。
  • VehicleID 数据集: 这个大型数据集包含 200,000 多张图像,代表 26,000 多辆车。它常用于研究可扩展性,并对不同方法进行基准比较。
  • VeRi-Wild 数据集: 该数据集旨在反映现实世界中的多变情况,包括视角、天气和局部遮挡的差异。它通常用于评估模型的鲁棒性和泛化能力。

VeRi-776 数据集中的车辆示例

图 4. VeRi-776 数据集中的车辆示例。(来源)

这些数据集上的模型性能通常使用平均精度均值 (mAP) 以及 Rank-1 或 Rank-5 准确率等指标进行评估。mAP 用于衡量模型检索给定车辆所有相关匹配项的准确程度,而 Rank-1 和 Rank-5 分数则表示正确匹配项是否出现在结果列表顶部或前几项中。

这些基准为研究人员提供了一种一致的方式来比较不同方法,并在推动开发更准确、可靠且适用于现实场景的车辆再识别系统方面发挥着重要作用。

车辆再识别的应用#

了解了基础知识后,接下来看看车辆再识别在交通、出行和监控工作流程中的一些实际应用。

城市交通监控与管理#

繁忙的城市道路上车流不断,而交通摄像头往往难以跟踪同一辆车在不同区域间的移动。光照变化、拥挤场景以及外观几乎相同的车辆,都可能导致车辆在不同摄像头之间的身份信息丢失。

车辆再识别通过清晰检测车辆、提取独特特征并保持 ID 一致来解决这一问题,即使是低分辨率或拥挤的视频也能适用。这样便能在整个摄像头网络中实现更流畅、连续的跟踪,让交通管理团队更清楚地了解车辆在城市中的流动情况,并更快、更有依据地应对拥堵和事故。

智能停车系统#

智能停车场依靠一致的车辆识别来管理入口、出口、访问控制和车位分配。然而,这些场景中的摄像头经常会以特殊角度拍摄车辆,并受到复杂光照条件的影响,例如地下车库、阴影区域或黄昏时的露天停车场。

这些情况会让系统更难确认不同区域中看到的是否为同一辆车。身份识别不一致时,停车记录可能中断,访问控制的可靠性会降低,驾驶员也可能遇到延误。因此,许多智能停车系统会集成车辆再识别模型,在车辆穿过停车场的过程中保持其身份稳定。

使用查询图像和匹配搜索结果进行车辆再识别

图 5. 车辆再识别示例:左侧为选中的车辆图像,右侧为匹配的搜索结果。(来源)

执法与取证#

在交通监控的基础上,车辆重识别在执法和法证调查中也发挥着重要作用。在许多情况下,执法人员需要通过多个摄像头跟踪车辆,但车牌可能无法读取、缺失或被故意遮挡。

拥挤的场景、低能见度和局部遮挡可能让不同车辆看起来极为相似,导致人工识别既缓慢又不可靠。车辆再识别可以通过分析车辆的视觉特征,而不是单纯依赖车牌,在互不重叠的摄像头网络中追踪车辆的移动轨迹。

这意味着调查人员可以更轻松地跟踪车辆的移动,了解车辆何时出现在不同地点,并确认事件发生前后的行驶路线。AI 驱动的车辆 Re-ID 还可用于跟踪嫌疑车辆、查看事故视频,或判断车辆在事件发生前后行驶的方向。

在不同摄像头的多种视角下匹配车辆

图 6. 在不同摄像头的多种视角下匹配车辆。(来源)

车队与物流跟踪#

车队和物流运营通常依赖 GPS、RFID 标签和人工记录来跟踪车辆移动,但在装卸区、仓库场地和内部道路网络等由安防摄像头或场地摄像头覆盖的区域,这些工具仍会留下盲点。

车辆经常在视野不重叠的摄像头之间移动、被建筑物遮挡,或与车队中的其他车辆外观极为相似,因此很难确认不同地点看到的是否为同一辆车。车辆再识别系统可以分析视觉细节和时间信息,帮助弥补这些盲点,并在车辆穿过场地时保持其身份一致。

这让车队管理人员能够更全面地了解枢纽内部的活动情况,支持核验配送路线、识别异常移动以及确保车辆按预期路线行驶等工作。

车辆再识别任务的优缺点#

以下是使用 AI 车辆再识别的一些主要优势:

  • 减少人工工作量: 车辆 Re-ID 会自动完成原本需要大量人工审核的身份匹配任务,大幅减少分析视频所需的时间和精力。
  • 自动化与实时洞察: 通过结合检测、跟踪和特征匹配,车辆 Re-ID 可支持持续的自动监控,并提供实时警报,从而更快地响应事件。
  • 可扩展性与适应性: Re-ID 模型可以通过鲁棒的特征学习、多尺度特征提取和在视觉变化下仍保持稳定的不变表示,适应新的环境、光照条件或摄像头角度。这些能力使模型既适用于大型城市网络,也适用于小规模部署。

车辆再识别有很多优势,但也有一些需要考虑的局限。以下是影响其在现实环境中可靠性的几个因素:

  • 计算需求高: 特征提取、嵌入向量生成和跨摄像头匹配需要大量算力,尤其是在监控大型摄像头网络时。
  • 环境变化: 夜间光照、天气变化、阴影和遮挡等因素可能降低模型在不同场景中保持身份一致的能力。
  • 数据集和领域限制: 使用有限或理想化数据集训练的模型,可能无法很好地泛化到现实条件,除非进行进一步微调或领域自适应。

车辆再识别方法的未来发展#

随着技术发展,车辆再识别也在不断进步。IEEE、CVPR 和 arXiv 的最新出版物以及国际会议上的演讲,都凸显出一个明显趋势:模型正变得更加丰富,能够结合多种数据源并进行更先进的特征推理。该领域未来的工作可能会聚焦于构建更鲁棒、更高效且能够大规模应对现实世界多变情况的系统。

例如,一个很有前景的方向是采用基于 Transformer 的模型和图聚合网络。Transformer 可以分析整张图像并理解各种视觉细节之间的关系,帮助系统在角度或光照变化时仍能识别出同一辆车。

基于图的模型更进一步,会将车辆的不同部件或不同摄像头视角视为网络中相互连接的节点。这样,系统就能理解这些关键节点之间的关联,并更好地判断车辆身份和区分性特征。

另一个重要进展是多模态数据融合和特征融合。新一代系统不再只依赖图像,而是将视觉信息与其他多媒体信号结合起来,例如 GPS 数据或传感器记录的运动模式。这些额外的上下文信息让系统在车辆部分被遮挡、光线不佳或摄像头角度突然变化时也能更准确地识别车辆。

要点#

车辆再识别正成为智能交通系统中的关键方法,帮助城市通过不同摄像头更可靠地跟踪车辆。得益于深度学习的进步,以及通过更丰富、更多样的数据集进行的改进验证,这些系统在现实条件下正变得更加准确和实用。

随着技术发展,平衡创新与隐私、安全和伦理方面的负责任实践至关重要。总体而言,这些进步正为更智能、更安全、更高效的交通网络铺平道路。

访问我们的 GitHub 代码仓库并加入我们的社区,进一步探索 AI。查看我们的解决方案页面,了解机器人领域的 AI和制造业中的计算机视觉。了解我们的许可选项,立即开始使用视觉 AI!

作者

Abirami Vina
Abirami Vina

内容创作者 · Ultralytics

Abirami Vina 职业生涯始于计算机视觉工程师,由此在视觉 AI 和机器学习领域打下了坚实基础。她是 Ultralytics 的内容创作者,也是 Scribe of AI 的创始人兼首席撰稿人,为专注 AI 的公司撰写高质量技术内容。她热衷于让 AI 更易理解、更具吸引力,通过自己的作品连接前沿技术与现实影响。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来