Template Matching
템플릿 매칭은 더 큰 이미지의 모든 위치에 점수를 매겨 작은 참조 패치를 찾는 전통적인 컴퓨터 비전 기법입니다.
템플릿 매칭은 작은 참조 이미지인 템플릿이 더 큰 이미지 안에 나타나는 위치를 찾는 전통적인 컴퓨터 비전 기법입니다. 템플릿을 이미지 위에서 한 번에 한 픽셀씩 이동시키고 각 위치에서 유사도 점수를 계산한 다음, 가장 높은 점수를 얻은 위치를 일치 결과로 보고합니다. 출력은 점수 맵입니다. 상관 계수 방식에서는 최대값이 일치 위치를 나타내며, 제곱 차분 방식에서는 최소값이 일치 위치를 나타냅니다.
원시 픽셀 값을 비교하고 데이터에서 학습하지 않으므로, 템플릿 매칭은 머신러닝보다 이미지 처리에 가깝습니다. 템플릿 매칭은 OpenCV와 같은 라이브러리에서 여전히 표준 기준선으로 사용되며, OpenCV에서는 이를 cv2.matchTemplate로 제공합니다.
점수 계산 방식#
각 오프셋에서 템플릿을 그 아래에 있는 동일한 크기의 이미지 패치와 비교합니다. 이러한 슬라이딩 비교는 컨볼루션 레이어에서 사용하는 상호 상관과 밀접하게 관련되어 있으며, 학습된 필터 대신 고정된 유사도 측정 방식을 사용합니다. 일반적인 측정 방식은 다음과 같습니다.
- 제곱 차분: 픽셀 차이의 제곱을 합산하므로 값이 낮을수록 좋습니다. 계산 비용은 낮지만 밝기가 변하면 값이 달라집니다.
- 상호 상관: 템플릿 픽셀과 패치 픽셀을 곱하므로, 밝은 패치가 정확히 일치하는 패치보다 높은 점수를 얻을 수 있습니다.
- 정규화된 상호 상관(NCC): 패치와 템플릿의 크기로 나누어 밝은 패치 문제를 해결하고 점수 범위를 제한합니다.
- 상관 계수: 정규화하기 전에 각 패치의 평균을 빼므로 균일한 밝기 오프셋이 있어도 점수는 변하지 않습니다. J. P. Lewis가 1995년 Vision Interface에서 발표한 빠른 템플릿 매칭 논문인 빠른 정규화 상호 상관은 이미지와 이미지 제곱의 적분 테이블을 미리 계산하면 이 정규화 방식을 효율적으로 계산할 수 있음을 보여주었습니다. scikit-image는 match_template 예제에서 동일한 아이디어를 제공합니다.
점수를 계산한 후에는 임계값을 적용해 강한 후보만 남깁니다. 반복되는 동전이나 타일처럼 템플릿이 여러 번 나타나는 경우, 임계값을 넘는 각 국소 극값이 후보 탐지 결과가 됩니다. 겹치는 검출 결과는 일반적으로 비최대 억제를 사용해 병합합니다. 점수는 보정된 신뢰도가 아니라 유사도 값입니다.
아래 코드 조각은 샘플 버스 사진에서 패치를 자르고, 장면에 균일한 밝기 오프셋을 더한 다음 상관 계수로 패치 위치를 복원합니다.
import cv2
import numpy as np
from ultralytics.utils import ASSETS
# Load the sample image in grayscale as float32
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE).astype(np.float32)
# Crop a 200 x 200 template whose top-left corner is at x=200, y=400
template = img[400:600, 200:400].copy()
# Add a uniform brightness offset to the scene (no clipping in float32)
scene = img + 40
# Score every position and take the peak of the score map
scores = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
_, best_score, _, best_xy = cv2.minMaxLoc(scores)
print(f"Best match at {best_xy} with score {best_score:.3f}")평균을 뺀 점수는 균일한 오프셋을 무시하므로, 반올림 오차를 고려하면 최고점은 자른 영역의 모서리 (200, 400)에 위치하며 점수는 1.0입니다.
사용 사례#
템플릿 매칭은 대상이 매번 동일하게 보일 때 효과적입니다.
- 게임 및 GUI 자동화: OpenCV 자체 튜토리얼은 렌더링된 스프라이트가 픽셀 단위로 반복되기 때문에 점수 맵에 임계값을 적용해 게임 스크린샷에서 모든 동전을 찾습니다.
- 시각 검사: 고정 카메라로 촬영한 각 프레임에서 레이블의 기준 이미지를 찾아 레이블이 있는지 확인합니다. 이는 기본적인 머신 비전 작업입니다.
- 움직임 및 스테레오 매칭: 변위 또는 시차를 추정하기 위해 연속 프레임 사이 또는 좌우 시점 사이에서 작은 블록을 매칭합니다.
- 의료 영상: PLOS ONE에 게재된 NCC 연구에서는 한 이미지에서 템플릿을 선택하고, 다른 시점에 같은 환자를 촬영한 두 번째 이미지 위로 템플릿을 이동해 내부 움직임을 추적합니다. 동일한 아이디어가 이미지 정합의 기반이 됩니다.
한계와 대안#
템플릿은 하나의 정확한 외형을 포착하므로, 객체가 회전하거나 크기가 바뀌거나 일부가 가려지거나 새로운 배경에서 나타나면 점수가 낮아집니다. 직접 전수 탐색을 수행하면 대략 이미지 크기와 템플릿 크기의 곱만큼 계산 비용이 듭니다. 이미지 피라미드에서 매칭하면 크기 변화에 대응할 수 있고, 템플릿을 회전하면 각도 변화에 대응할 수 있지만, 크기나 각도를 하나씩 추가할 때마다 전체 탐색을 다시 수행해야 합니다. 반면 탐색 영역을 좁히면 작업량을 줄일 수 있습니다.
다른 방법은 정확도를 일부 포기하고 불변성을 높입니다. SIFT와 같은 키포인트 기반 접근 방식은 크기와 회전에 영향을 덜 받는 지역 기술자를 매칭하며, 더 넓은 관련 기법은 이미지 매칭에서 다룹니다. 허프 변환은 선이나 원과 같은 매개변수 형상을 찾습니다. 학습된 객체 탐지 모델은 레이블이 지정된 예시에서 전체 클래스의 외형을 학습하므로, 템플릿 매칭이 변형별로 템플릿을 필요로 하는 것과 달리 하나의 모델로 객체의 다양한 변형을 처리할 수 있습니다.
Ultralytics YOLO26은 학습 기반 접근 방식을 사용합니다. Ultralytics Platform에서 어노테이션된 이미지로 학습한 모델은 학습한 클래스의 바운딩 박스를 예측하며, 학습 중 데이터 증강을 적용해 회전, 크기 및 밝기 변화를 추가할 수 있습니다.
OpenCV의 matchTemplate은 제곱 차분, 상호 상관 및 상관 계수의 정규화 변형을 포함해 6가지 비교 방법을 제공합니다.










