Template Matching
模板匹配是一种经典计算机视觉技术,通过为较大图像中的每个位置评分,在其中查找较小的参考图块。
模板匹配是一种经典的计算机视觉技术,用于查找较小的参考图像(即模板)在较大图像中的位置。模板会逐像素地在图像上滑动,在每个位置计算相似度分数,并将分数最高的位置报告为匹配结果。输出为一张分数图。对于相关性度量,最大值标记匹配位置;对于平方差度量,最小值标记匹配位置。
由于模板匹配比较原始像素值,并且不会从数据中学习,因此它更接近图像处理,而非机器学习。它仍然是 OpenCV 等库中的标准基线方法,OpenCV 将其作为 cv2.matchTemplate 提供。
评分方式#
在每个偏移位置,模板都会与其下方同尺寸的图像块进行比较。这种滑动比较与卷积层中使用的互相关密切相关,区别在于这里使用固定的相似度度量,而不是学习得到的滤波器。常见的度量方式包括:
- 平方差:对像素差值求平方后累加,因此分数越低越好。计算开销低,但亮度发生任何变化都会影响结果。
- 互相关:将模板像素与图像块像素相乘,因此较亮的图像块可能比精确匹配获得更高分数。
- 归一化互相关(NCC):除以图像块和模板的模,从而解决较亮图像块造成的问题,并将分数限制在一定范围内。
- 相关系数:在归一化之前,分别减去每个图像块的均值,因此统一的亮度偏移不会改变分数。J. P. Lewis 于 1995 年发表在 Vision Interface 上的快速模板匹配论文快速归一化互相关指出,可以通过预先计算图像及其平方的积分表,高效地计算这种归一化形式。scikit-image 通过其 match_template 示例提供了相同思路。
评分完成后,会通过阈值筛选出较强的候选结果。当模板出现多个副本时,例如重复出现的硬币或瓷砖,超过阈值的每个局部极值都是一个候选检测结果。重叠的匹配通常会通过非极大值抑制进行合并。这些分数表示相似度,而非经过校准的置信度。
下面的代码片段从示例巴士照片中裁剪出一个图像块,为场景添加统一的亮度偏移,然后使用相关系数找回该图像块的位置。
import cv2
import numpy as np
from ultralytics.utils import ASSETS
# Load the sample image in grayscale as float32
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE).astype(np.float32)
# Crop a 200 x 200 template whose top-left corner is at x=200, y=400
template = img[400:600, 200:400].copy()
# Add a uniform brightness offset to the scene (no clipping in float32)
scene = img + 40
# Score every position and take the peak of the score map
scores = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
_, best_score, _, best_xy = cv2.minMaxLoc(scores)
print(f"Best match at {best_xy} with score {best_score:.3f}")减去均值后的分数不会受统一偏移影响,因此峰值位于裁剪块的角点 (200, 400),分数经四舍五入后为 1.0。
应用场景#
当目标每次看起来都相同时,模板匹配效果良好:
- 游戏和 GUI 自动化:OpenCV 自带的教程通过对分数图进行阈值处理,在游戏截图中找出所有硬币,因为渲染出的精灵图会逐像素重复。
- 视觉检测:从固定摄像头拍摄的每一帧中搜索标签的参考裁剪图,以检查标签是否存在。这是一项基础的机器视觉任务。
- 运动和立体匹配:在连续帧之间或左右视图之间匹配小图像块,以估计位移或视差。
- 医学成像:PLOS ONE 上的一项 NCC 研究在一张图像中选取模板,并在同一患者不同时间拍摄的另一张图像上滑动模板,以追踪体内运动。图像配准也基于相同思路。
局限性和替代方法#
模板只捕捉一种精确外观,因此物体发生旋转、缩放、部分遮挡或处于新背景中时,分数就会下降。直接进行穷举搜索的计算量大致与图像尺寸和模板尺寸的乘积成正比。使用图像金字塔进行匹配可以处理尺度变化,旋转模板则可以处理角度变化,但每增加一个尺度或角度都需要再进行一次完整搜索;缩小搜索区域则可以减少计算量。
其他方法会牺牲精确性来换取不变性。像 SIFT 这样的关键点方法会匹配能够适应尺度和旋转变化的局部描述符,更广泛的相关方法可参见图像匹配。霍夫变换用于查找直线和圆等参数化形状。通过标注示例,学习型目标检测模型可以学习整个类别的外观,因此一个模型就能覆盖物体的多种变化,而模板匹配需要为每种变化准备一个模板。
Ultralytics YOLO26 采用学习型方法。模型在 Ultralytics Platform 中使用已标注图像进行训练后,会预测其训练过的类别对应的边界框;训练期间的数据增强还可以加入旋转、缩放和亮度变化。
OpenCV 的 matchTemplate 提供六种比较方法:平方差、互相关和相关系数,每种方法都有一个归一化变体。










