Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Template Matching

So khớp mẫu là một kỹ thuật thị giác máy tính cổ điển, tìm một vùng tham chiếu nhỏ trong ảnh lớn hơn bằng cách chấm điểm mọi vị trí.

Đối sánh mẫu là một kỹ thuật thị giác máy tính cổ điển, dùng để tìm vị trí ảnh tham chiếu nhỏ, tức mẫu, xuất hiện bên trong ảnh lớn hơn. Mẫu được trượt qua ảnh từng pixel một, điểm tương đồng được tính tại mỗi vị trí, rồi vị trí có điểm cao nhất được báo cáo là kết quả khớp. Đầu ra là một bản đồ điểm số. Giá trị cực đại đánh dấu vị trí khớp đối với các phép đo tương quan, còn giá trị cực tiểu đánh dấu vị trí khớp đối với các phép đo sai khác bình phương.

Vì so sánh giá trị pixel thô và không học từ dữ liệu, đối sánh mẫu gần với xử lý ảnh hơn là machine learning. Đây vẫn là phương pháp cơ sở tiêu chuẩn trong các thư viện như OpenCV, nơi cung cấp tính năng này dưới dạng cv2.matchTemplate.

Cách tính điểm hoạt động#

Tại mỗi độ lệch, mẫu được so sánh với vùng ảnh có cùng kích thước nằm bên dưới. Phép so sánh trượt này có liên hệ mật thiết với phép tương quan chéo được sử dụng trong các lớp tích chập, nhưng dùng một phép đo tương đồng cố định thay cho bộ lọc được học. Các phép đo phổ biến gồm:

  • Sai khác bình phương: Cộng các bình phương sai khác pixel, vì vậy điểm càng thấp càng tốt. Phép đo này ít tốn tài nguyên nhưng bị ảnh hưởng bởi mọi thay đổi về độ sáng.
  • Tương quan chéo: Nhân pixel của mẫu với pixel của vùng ảnh, vì vậy vùng ảnh sáng có thể đạt điểm cao hơn kết quả khớp chính xác.
  • Tương quan chéo chuẩn hóa (NCC): Chia cho độ lớn của vùng ảnh và mẫu, khắc phục vấn đề vùng ảnh sáng và giới hạn điểm số.
  • Hệ số tương quan: Trừ giá trị trung bình của từng vùng ảnh trước khi chuẩn hóa, nhờ đó điểm số không đổi khi có độ lệch độ sáng đồng đều. Bài báo năm 1995 của J. P. Lewis về đối sánh mẫu nhanh đăng trên Vision Interface, với tên mở rộng là Tương quan chéo chuẩn hóa nhanh, cho thấy có thể tính toán hiệu quả dạng chuẩn hóa này bằng các bảng tích phân được tính trước cho ảnh và bình phương của ảnh. scikit-image cung cấp cùng ý tưởng thông qua ví dụ match_template của mình.

Sau khi tính điểm, một ngưỡng sẽ giữ lại các ứng viên có điểm cao. Khi mẫu xuất hiện nhiều lần, chẳng hạn như các đồng xu hoặc ô lát lặp lại, mỗi cực trị cục bộ vượt ngưỡng là một phát hiện tiềm năng. Các vị trí khớp chồng lấn thường được gộp bằng loại bỏ không cực đại. Điểm số là giá trị tương đồng, không phải độ tin cậy đã được hiệu chuẩn.

Đoạn mã dưới đây cắt một vùng ảnh từ ảnh xe buýt mẫu, thêm độ lệch độ sáng đồng đều vào cảnh và xác định lại vị trí vùng ảnh bằng hệ số tương quan.

import cv2
import numpy as np
from ultralytics.utils import ASSETS

# Load the sample image in grayscale as float32
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE).astype(np.float32)

# Crop a 200 x 200 template whose top-left corner is at x=200, y=400
template = img[400:600, 200:400].copy()

# Add a uniform brightness offset to the scene (no clipping in float32)
scene = img + 40

# Score every position and take the peak of the score map
scores = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
_, best_score, _, best_xy = cv2.minMaxLoc(scores)
print(f"Best match at {best_xy} with score {best_score:.3f}")

Điểm số đã trừ giá trị trung bình không bị ảnh hưởng bởi độ lệch đồng đều, vì vậy đỉnh nằm tại góc vùng cắt (200, 400) với điểm số 1.0, sai số chỉ do làm tròn.

Ứng dụng thực tế#

Đối sánh mẫu hoạt động hiệu quả khi đối tượng trông giống nhau mỗi lần:

  • Tự động hóa game và GUI: Hướng dẫn của chính OpenCV tìm mọi đồng xu trong ảnh chụp màn hình game bằng cách đặt ngưỡng cho bản đồ điểm số, vì các sprite được kết xuất lặp lại giống nhau đến từng pixel.
  • Kiểm tra trực quan: Tìm vùng cắt tham chiếu của nhãn trong từng khung hình từ camera cố định để kiểm tra nhãn có hiện diện hay không; đây là tác vụ thị giác máy cơ bản.
  • Đối sánh chuyển động và stereo: Các khối nhỏ được đối sánh giữa những khung hình liên tiếp hoặc giữa góc nhìn trái và phải để ước tính độ dịch chuyển hoặc độ chênh lệch.
  • Chẩn đoán hình ảnh: Một nghiên cứu về NCC trên PLOS ONE chọn một mẫu trong ảnh thứ nhất rồi trượt mẫu đó trên ảnh thứ hai của cùng bệnh nhân được chụp vào thời điểm khác để theo dõi chuyển động bên trong cơ thể. Cùng ý tưởng này là nền tảng của đăng ký ảnh.

Giới hạn và phương án thay thế#

Một mẫu ghi lại một hình dạng chính xác, vì vậy điểm số giảm khi đối tượng bị xoay, thay đổi kích thước, bị che khuất một phần hoặc xuất hiện trên nền mới. Tìm kiếm vét cạn trực tiếp có chi phí xấp xỉ bằng kích thước ảnh nhân với kích thước mẫu. Đối sánh trên tháp ảnh xử lý được thay đổi tỷ lệ và xoay mẫu xử lý được thay đổi góc, nhưng mỗi tỷ lệ hoặc góc bổ sung lại cần một lượt tìm kiếm đầy đủ; thu hẹp vùng tìm kiếm sẽ giảm khối lượng tính toán.

Các phương pháp khác đánh đổi độ chính xác để lấy tính bất biến. Những phương pháp tiếp cận dựa trên keypoint như SIFT đối sánh các descriptor cục bộ có khả năng xử lý thay đổi tỷ lệ và góc xoay; nhóm phương pháp rộng hơn được trình bày trong mục đối sánh ảnh. Biến đổi Hough tìm các hình dạng tham số như đường thẳng và đường tròn. Các model phát hiện đối tượng được học từ dữ liệu sẽ học hình dạng của cả một lớp từ các ví dụ đã gắn nhãn, nhờ đó một model xử lý được nhiều biến thể của đối tượng, trong khi đối sánh mẫu cần một mẫu cho mỗi biến thể.

Ultralytics YOLO26 sử dụng phương pháp học từ dữ liệu. Model được huấn luyện trên ảnh đã gắn annotation trong Ultralytics Platform dự đoán bounding box cho các lớp mà model đã được huấn luyện, còn tăng cường dữ liệu trong quá trình huấn luyện có thể bổ sung các biến thể về góc xoay, tỷ lệ và độ sáng.

matchTemplate của OpenCV cung cấp sáu phương pháp so sánh: sai khác bình phương, tương quan chéo và hệ số tương quan, mỗi phương pháp có một phiên bản chuẩn hóa.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning