Template Matching
So khớp mẫu là một kỹ thuật thị giác máy tính cổ điển, tìm một vùng tham chiếu nhỏ trong ảnh lớn hơn bằng cách chấm điểm mọi vị trí.
Đối sánh mẫu là một kỹ thuật thị giác máy tính cổ điển, dùng để tìm vị trí ảnh tham chiếu nhỏ, tức mẫu, xuất hiện bên trong ảnh lớn hơn. Mẫu được trượt qua ảnh từng pixel một, điểm tương đồng được tính tại mỗi vị trí, rồi vị trí có điểm cao nhất được báo cáo là kết quả khớp. Đầu ra là một bản đồ điểm số. Giá trị cực đại đánh dấu vị trí khớp đối với các phép đo tương quan, còn giá trị cực tiểu đánh dấu vị trí khớp đối với các phép đo sai khác bình phương.
Vì so sánh giá trị pixel thô và không học từ dữ liệu, đối sánh mẫu gần với xử lý ảnh hơn là machine learning. Đây vẫn là phương pháp cơ sở tiêu chuẩn trong các thư viện như OpenCV, nơi cung cấp tính năng này dưới dạng cv2.matchTemplate.
Cách tính điểm hoạt động#
Tại mỗi độ lệch, mẫu được so sánh với vùng ảnh có cùng kích thước nằm bên dưới. Phép so sánh trượt này có liên hệ mật thiết với phép tương quan chéo được sử dụng trong các lớp tích chập, nhưng dùng một phép đo tương đồng cố định thay cho bộ lọc được học. Các phép đo phổ biến gồm:
- Sai khác bình phương: Cộng các bình phương sai khác pixel, vì vậy điểm càng thấp càng tốt. Phép đo này ít tốn tài nguyên nhưng bị ảnh hưởng bởi mọi thay đổi về độ sáng.
- Tương quan chéo: Nhân pixel của mẫu với pixel của vùng ảnh, vì vậy vùng ảnh sáng có thể đạt điểm cao hơn kết quả khớp chính xác.
- Tương quan chéo chuẩn hóa (NCC): Chia cho độ lớn của vùng ảnh và mẫu, khắc phục vấn đề vùng ảnh sáng và giới hạn điểm số.
- Hệ số tương quan: Trừ giá trị trung bình của từng vùng ảnh trước khi chuẩn hóa, nhờ đó điểm số không đổi khi có độ lệch độ sáng đồng đều. Bài báo năm 1995 của J. P. Lewis về đối sánh mẫu nhanh đăng trên Vision Interface, với tên mở rộng là Tương quan chéo chuẩn hóa nhanh, cho thấy có thể tính toán hiệu quả dạng chuẩn hóa này bằng các bảng tích phân được tính trước cho ảnh và bình phương của ảnh. scikit-image cung cấp cùng ý tưởng thông qua ví dụ match_template của mình.
Sau khi tính điểm, một ngưỡng sẽ giữ lại các ứng viên có điểm cao. Khi mẫu xuất hiện nhiều lần, chẳng hạn như các đồng xu hoặc ô lát lặp lại, mỗi cực trị cục bộ vượt ngưỡng là một phát hiện tiềm năng. Các vị trí khớp chồng lấn thường được gộp bằng loại bỏ không cực đại. Điểm số là giá trị tương đồng, không phải độ tin cậy đã được hiệu chuẩn.
Đoạn mã dưới đây cắt một vùng ảnh từ ảnh xe buýt mẫu, thêm độ lệch độ sáng đồng đều vào cảnh và xác định lại vị trí vùng ảnh bằng hệ số tương quan.
import cv2
import numpy as np
from ultralytics.utils import ASSETS
# Load the sample image in grayscale as float32
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE).astype(np.float32)
# Crop a 200 x 200 template whose top-left corner is at x=200, y=400
template = img[400:600, 200:400].copy()
# Add a uniform brightness offset to the scene (no clipping in float32)
scene = img + 40
# Score every position and take the peak of the score map
scores = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
_, best_score, _, best_xy = cv2.minMaxLoc(scores)
print(f"Best match at {best_xy} with score {best_score:.3f}")Điểm số đã trừ giá trị trung bình không bị ảnh hưởng bởi độ lệch đồng đều, vì vậy đỉnh nằm tại góc vùng cắt (200, 400) với điểm số 1.0, sai số chỉ do làm tròn.
Ứng dụng thực tế#
Đối sánh mẫu hoạt động hiệu quả khi đối tượng trông giống nhau mỗi lần:
- Tự động hóa game và GUI: Hướng dẫn của chính OpenCV tìm mọi đồng xu trong ảnh chụp màn hình game bằng cách đặt ngưỡng cho bản đồ điểm số, vì các sprite được kết xuất lặp lại giống nhau đến từng pixel.
- Kiểm tra trực quan: Tìm vùng cắt tham chiếu của nhãn trong từng khung hình từ camera cố định để kiểm tra nhãn có hiện diện hay không; đây là tác vụ thị giác máy cơ bản.
- Đối sánh chuyển động và stereo: Các khối nhỏ được đối sánh giữa những khung hình liên tiếp hoặc giữa góc nhìn trái và phải để ước tính độ dịch chuyển hoặc độ chênh lệch.
- Chẩn đoán hình ảnh: Một nghiên cứu về NCC trên PLOS ONE chọn một mẫu trong ảnh thứ nhất rồi trượt mẫu đó trên ảnh thứ hai của cùng bệnh nhân được chụp vào thời điểm khác để theo dõi chuyển động bên trong cơ thể. Cùng ý tưởng này là nền tảng của đăng ký ảnh.
Giới hạn và phương án thay thế#
Một mẫu ghi lại một hình dạng chính xác, vì vậy điểm số giảm khi đối tượng bị xoay, thay đổi kích thước, bị che khuất một phần hoặc xuất hiện trên nền mới. Tìm kiếm vét cạn trực tiếp có chi phí xấp xỉ bằng kích thước ảnh nhân với kích thước mẫu. Đối sánh trên tháp ảnh xử lý được thay đổi tỷ lệ và xoay mẫu xử lý được thay đổi góc, nhưng mỗi tỷ lệ hoặc góc bổ sung lại cần một lượt tìm kiếm đầy đủ; thu hẹp vùng tìm kiếm sẽ giảm khối lượng tính toán.
Các phương pháp khác đánh đổi độ chính xác để lấy tính bất biến. Những phương pháp tiếp cận dựa trên keypoint như SIFT đối sánh các descriptor cục bộ có khả năng xử lý thay đổi tỷ lệ và góc xoay; nhóm phương pháp rộng hơn được trình bày trong mục đối sánh ảnh. Biến đổi Hough tìm các hình dạng tham số như đường thẳng và đường tròn. Các model phát hiện đối tượng được học từ dữ liệu sẽ học hình dạng của cả một lớp từ các ví dụ đã gắn nhãn, nhờ đó một model xử lý được nhiều biến thể của đối tượng, trong khi đối sánh mẫu cần một mẫu cho mỗi biến thể.
Ultralytics YOLO26 sử dụng phương pháp học từ dữ liệu. Model được huấn luyện trên ảnh đã gắn annotation trong Ultralytics Platform dự đoán bounding box cho các lớp mà model đã được huấn luyện, còn tăng cường dữ liệu trong quá trình huấn luyện có thể bổ sung các biến thể về góc xoay, tỷ lệ và độ sáng.
matchTemplate của OpenCV cung cấp sáu phương pháp so sánh: sai khác bình phương, tương quan chéo và hệ số tương quan, mỗi phương pháp có một phiên bản chuẩn hóa.










