Template Matching
テンプレートマッチングは、すべての位置をスコアリングして、大きな画像内から小さな参照パッチを見つける、従来型のコンピュータービジョン技術です。
テンプレートマッチングは、小さな参照画像(テンプレート)が大きな画像のどこにあるかを見つける古典的なコンピュータービジョンの手法です。テンプレートを画像上で1ピクセルずつ移動させ、各位置で類似度スコアを計算し、最も高いスコアの位置をマッチとして報告します。出力はスコアマップです。相関尺度では最大値がマッチ位置を示し、二乗差尺度では最小値がマッチ位置を示します。
テンプレートマッチングは生のピクセル値を比較し、データから学習しないため、機械学習というより画像処理に近い手法です。テンプレートマッチングは、OpenCVなどのライブラリで標準的なベースラインとして使われており、OpenCVではcv2.matchTemplateとして利用できます。
スコアの計算方法#
各オフセットで、テンプレートをその下にある同じサイズの画像パッチと比較します。このスライド比較は、畳み込みレイヤーで使われる相互相関と密接に関連していますが、学習済みフィルターの代わりに固定の類似度尺度を使用します。一般的な尺度は次のとおりです。
- 二乗差:ピクセル差の二乗を合計するため、値が小さいほど適合度が高くなります。計算コストは低いものの、明るさが変化すると結果が変わります。
- 相互相関:テンプレートとパッチのピクセル値を乗算するため、明るいパッチが完全一致より高いスコアになることがあります。
- 正規化相互相関(NCC):パッチとテンプレートの大きさで除算することで、明るいパッチの問題を解消し、スコアを一定範囲に収めます。
- 相関係数:正規化の前に各パッチの平均を引くため、一様な明るさのオフセットがあってもスコアは変わりません。J. P. Lewisが1995年のVision Interfaceで発表した高速テンプレートマッチングに関する論文では、高速正規化相互相関として知られるこの正規化形式を、画像と画像の二乗の積分テーブルを事前計算することで効率的に求められると示しました。scikit-imageでは、match_templateの例を通じて同じ手法を利用できます。
スコアの計算後、しきい値を使って強い候補だけを残します。繰り返し出現するコインやタイルなど、テンプレートが複数存在する場合、しきい値を超える各局所極値が検出候補になります。重複する検出結果は通常、非極大値抑制によって統合します。スコアは類似度を示す値であり、校正済みの信頼度ではありません。
以下のコードスニペットでは、サンプルのバス写真からパッチを切り出し、シーン全体に一様な明るさのオフセットを加えたうえで、相関係数を使ってパッチの位置を特定します。
import cv2
import numpy as np
from ultralytics.utils import ASSETS
# Load the sample image in grayscale as float32
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE).astype(np.float32)
# Crop a 200 x 200 template whose top-left corner is at x=200, y=400
template = img[400:600, 200:400].copy()
# Add a uniform brightness offset to the scene (no clipping in float32)
scene = img + 40
# Score every position and take the peak of the score map
scores = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
_, best_score, _, best_xy = cv2.minMaxLoc(scores)
print(f"Best match at {best_xy} with score {best_score:.3f}")平均を差し引いたスコアは一様なオフセットの影響を受けないため、ピークは切り出した画像の角である(200, 400)に現れ、丸め誤差を除けばスコアは1.0です。
使用例#
テンプレートマッチングは、対象の見た目が毎回同じ場合に有効です。
- ゲームおよびGUIの自動化:OpenCVのチュートリアルでは、描画されたスプライトがピクセル単位で同じものを繰り返すため、スコアマップにしきい値を適用して、ゲームのスクリーンショット内にあるすべてのコインを検出します。
- 外観検査:固定カメラからの各フレームでラベルの参照画像を検索し、ラベルが存在するかを確認します。これは基本的なマシンビジョンのタスクです。
- 動きとステレオマッチング:連続するフレーム間、または左右のビュー間で小さなブロックをマッチングし、変位や視差を推定します。
- 医用画像処理:PLOS ONEに掲載されたNCCの研究では、ある画像内でテンプレートを選び、同じ患者を別の時点で撮影した2枚目の画像上でスライドさせて、体内の動きを追跡します。同じ考え方は画像レジストレーションの基礎にもなっています。
制限と代替手法#
テンプレートは特定の見た目を正確に表すため、対象が回転、拡大縮小、一部遮蔽された場合や、背景が変わった場合にはスコアが低下します。総当たり検索の計算量は、おおよそ画像サイズとテンプレートサイズの積に比例します。画像ピラミッド上でのマッチングはスケールに対応でき、テンプレートの回転は角度に対応できますが、スケールや角度を追加するたびに検索全体をもう一度行う必要があります。一方、検索領域を絞れば計算量を減らせます。
他の手法では、完全一致性を下げる代わりに不変性を高めます。SIFTなどのキーポイント手法では、スケールや回転に耐性のある局所記述子をマッチングします。この幅広い手法群については、画像マッチングで解説しています。ハフ変換は、直線や円などのパラメトリック形状を検出します。学習型の物体検出モデルは、ラベル付きサンプルからクラス全体の外観を学習するため、対象のバリエーションごとにテンプレートが必要なテンプレートマッチングとは異なり、1つのモデルで多様な対象を扱えます。
Ultralytics YOLO26は学習型の方法を採用しています。Ultralytics Platformでアノテーション済み画像を使ってトレーニングしたモデルは、学習したクラスのバウンディングボックスを予測します。トレーニング中のデータ拡張によって、回転、スケール、明るさのバリエーションを追加できます。
OpenCVのmatchTemplateには、二乗差、相互相関、相関係数の3種類の比較手法があり、それぞれに正規化版が用意されています。










