获取 YOLO 许可
返回 Ultralytics 术语表

Template Matching

模板匹配是一种经典计算机视觉技术,通过为较大图像中的每个位置评分,在其中查找较小的参考图块。

模板匹配是一种经典的计算机视觉技术,用于查找较小的参考图像(即模板)在较大图像中的位置。模板会逐像素地在图像上滑动,在每个位置计算相似度分数,并将分数最高的位置报告为匹配结果。输出为一张分数图。对于相关性度量,最大值标记匹配位置;对于平方差度量,最小值标记匹配位置。

由于模板匹配比较原始像素值,并且不会从数据中学习,因此它更接近图像处理,而非机器学习。它仍然是 OpenCV 等库中的标准基线方法,OpenCV 将其作为 cv2.matchTemplate 提供。

评分方式#

在每个偏移位置,模板都会与其下方同尺寸的图像块进行比较。这种滑动比较与卷积层中使用的互相关密切相关,区别在于这里使用固定的相似度度量,而不是学习得到的滤波器。常见的度量方式包括:

  • 平方差:对像素差值求平方后累加,因此分数越低越好。计算开销低,但亮度发生任何变化都会影响结果。
  • 互相关:将模板像素与图像块像素相乘,因此较亮的图像块可能比精确匹配获得更高分数。
  • 归一化互相关(NCC):除以图像块和模板的模,从而解决较亮图像块造成的问题,并将分数限制在一定范围内。
  • 相关系数:在归一化之前,分别减去每个图像块的均值,因此统一的亮度偏移不会改变分数。J. P. Lewis 于 1995 年发表在 Vision Interface 上的快速模板匹配论文快速归一化互相关指出,可以通过预先计算图像及其平方的积分表,高效地计算这种归一化形式。scikit-image 通过其 match_template 示例提供了相同思路。

评分完成后,会通过阈值筛选出较强的候选结果。当模板出现多个副本时,例如重复出现的硬币或瓷砖,超过阈值的每个局部极值都是一个候选检测结果。重叠的匹配通常会通过非极大值抑制进行合并。这些分数表示相似度,而非经过校准的置信度。

下面的代码片段从示例巴士照片中裁剪出一个图像块,为场景添加统一的亮度偏移,然后使用相关系数找回该图像块的位置。

import cv2
import numpy as np
from ultralytics.utils import ASSETS

# Load the sample image in grayscale as float32
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE).astype(np.float32)

# Crop a 200 x 200 template whose top-left corner is at x=200, y=400
template = img[400:600, 200:400].copy()

# Add a uniform brightness offset to the scene (no clipping in float32)
scene = img + 40

# Score every position and take the peak of the score map
scores = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
_, best_score, _, best_xy = cv2.minMaxLoc(scores)
print(f"Best match at {best_xy} with score {best_score:.3f}")

减去均值后的分数不会受统一偏移影响,因此峰值位于裁剪块的角点 (200, 400),分数经四舍五入后为 1.0。

应用场景#

当目标每次看起来都相同时,模板匹配效果良好:

  • 游戏和 GUI 自动化:OpenCV 自带的教程通过对分数图进行阈值处理,在游戏截图中找出所有硬币,因为渲染出的精灵图会逐像素重复。
  • 视觉检测:从固定摄像头拍摄的每一帧中搜索标签的参考裁剪图,以检查标签是否存在。这是一项基础的机器视觉任务。
  • 运动和立体匹配:在连续帧之间或左右视图之间匹配小图像块,以估计位移或视差。
  • 医学成像:PLOS ONE 上的一项 NCC 研究在一张图像中选取模板,并在同一患者不同时间拍摄的另一张图像上滑动模板,以追踪体内运动。图像配准也基于相同思路。

局限性和替代方法#

模板只捕捉一种精确外观,因此物体发生旋转、缩放、部分遮挡或处于新背景中时,分数就会下降。直接进行穷举搜索的计算量大致与图像尺寸和模板尺寸的乘积成正比。使用图像金字塔进行匹配可以处理尺度变化,旋转模板则可以处理角度变化,但每增加一个尺度或角度都需要再进行一次完整搜索;缩小搜索区域则可以减少计算量。

其他方法会牺牲精确性来换取不变性。像 SIFT 这样的关键点方法会匹配能够适应尺度和旋转变化的局部描述符,更广泛的相关方法可参见图像匹配。霍夫变换用于查找直线和圆等参数化形状。通过标注示例,学习型目标检测模型可以学习整个类别的外观,因此一个模型就能覆盖物体的多种变化,而模板匹配需要为每种变化准备一个模板。

Ultralytics YOLO26 采用学习型方法。模型在 Ultralytics Platform 中使用已标注图像进行训练后,会预测其训练过的类别对应的边界框;训练期间的数据增强还可以加入旋转、缩放和亮度变化。

OpenCV 的 matchTemplate 提供六种比较方法:平方差、互相关和相关系数,每种方法都有一个归一化变体。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来