Лицензия YOLO
Назад к глоссарию Ultralytics

Template Matching

Сопоставление с шаблоном — классический метод компьютерного зрения, который находит небольшой эталонный фрагмент на большом изображении, оценивая каждую возможную позицию.

Сопоставление с шаблоном — это классический метод компьютерного зрения, который находит небольшое эталонное изображение — шаблон — внутри более крупного изображения. Шаблон перемещается по изображению по одному пикселю за раз, в каждом положении вычисляется оценка сходства, а совпадением считается положение с наилучшей оценкой. Результат — карта оценок. Для корреляционных метрик максимум отмечает совпадение, а для метрик квадратичной разности — минимум.

Поскольку сопоставление с шаблоном сравнивает исходные значения пикселей и не обучается на данных, этот метод ближе к обработке изображений, чем к машинному обучению. Он остаётся стандартным базовым методом в библиотеках, таких как OpenCV, где доступен как cv2.matchTemplate.

Как вычисляются оценки#

В каждом положении шаблон сравнивается с участком изображения такого же размера под ним. Такое скользящее сравнение тесно связано с кросс-корреляцией, используемой в слоях свёртки, но вместо обучаемого фильтра здесь применяется фиксированная метрика сходства. Обычно используются следующие метрики:

  • Квадратичная разность: суммирует квадраты разностей пикселей, поэтому чем меньше результат, тем лучше. Метод вычисляется быстро, но результат меняется при любом изменении яркости.
  • Кросс-корреляция: перемножает пиксели шаблона и участка, поэтому яркий участок может получить более высокую оценку, чем точное совпадение.
  • Нормализованная кросс-корреляция (NCC): делит результат на величины участка и шаблона, устраняя проблему яркого участка и ограничивая оценку.
  • Коэффициент корреляции: перед нормализацией из каждого фрагмента вычитается его среднее значение, поэтому равномерное смещение яркости не влияет на оценку. В статье Дж. П. Льюиса о быстром сопоставлении с шаблоном, опубликованной в 1995 году в журнале Vision Interface и посвящённой быстрой нормализованной взаимной корреляции, показано, что эту нормализованную форму можно эффективно вычислять с помощью заранее рассчитанных интегральных таблиц изображения и его квадрата. В scikit-image та же идея представлена в примере match_template.

После вычисления оценок порог оставляет только сильные кандидаты. Если шаблон встречается несколько раз, например на повторяющихся монетах или плитках, кандидатом на обнаружение считается каждый локальный экстремум за порогом. Перекрывающиеся совпадения обычно объединяются с помощью подавления немаксимумов. Оценки отражают сходство, а не откалиброванную уверенность.

В приведённом ниже фрагменте кода из примера фотографии автобуса вырезается участок, к изображению сцены добавляется равномерное смещение яркости, а затем с помощью коэффициента корреляции определяется местоположение этого участка.

import cv2
import numpy as np
from ultralytics.utils import ASSETS

# Load the sample image in grayscale as float32
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE).astype(np.float32)

# Crop a 200 x 200 template whose top-left corner is at x=200, y=400
template = img[400:600, 200:400].copy()

# Add a uniform brightness offset to the scene (no clipping in float32)
scene = img + 40

# Score every position and take the peak of the score map
scores = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
_, best_score, _, best_xy = cv2.minMaxLoc(scores)
print(f"Best match at {best_xy} with score {best_score:.3f}")

Оценка с вычитанием среднего не зависит от равномерного смещения, поэтому пик находится в углу вырезанной области (200, 400), а оценка с учётом округления равна 1.0.

Где применяется#

Сопоставление с шаблоном подходит, если целевой объект каждый раз выглядит одинаково:

  • Автоматизация игр и графического интерфейса: в собственном руководстве OpenCV на скриншоте игры ищутся все монеты путём пороговой фильтрации карты оценок, поскольку отрисованные спрайты повторяются до пикселя.
  • Визуальный контроль: эталонный фрагмент изображения с меткой ищется в каждом кадре с фиксированной камеры, чтобы проверить её наличие. Это базовая задача машинного зрения.
  • Сопоставление движения и стереоизображений: небольшие блоки сопоставляются между последовательными кадрами или левым и правым изображениями, чтобы оценить смещение или диспаритет.
  • Медицинская визуализация: в исследовании NCC в журнале PLOS ONE выбирается шаблон на одном изображении, а затем он перемещается по второму изображению того же пациента, сделанному в другое время, чтобы отслеживать внутреннее движение. Та же идея лежит в основе регистрации изображений.

Ограничения и альтернативы#

Шаблон фиксирует конкретный внешний вид, поэтому оценка снижается, если объект повёрнут, изменён в размере, частично скрыт или показан на новом фоне. Полный перебор требует примерно столько вычислений, сколько составляет произведение размера изображения на размер шаблона. Поиск на пирамиде изображений помогает учитывать масштаб, а поворот шаблона — угол, но каждый дополнительный масштаб или угол требует ещё одного полного поиска. Сузив область поиска, можно уменьшить объём вычислений.

Другие методы жертвуют точностью ради инвариантности. Методы на основе ключевых точек, такие как SIFT, сопоставляют локальные дескрипторы, устойчивые к изменению масштаба и повороту. Более широкий класс таких методов рассматривается в разделе сопоставление изображений. Преобразование Хафа находит параметрические фигуры, например линии и окружности. Обучаемые модели обнаружения объектов изучают внешний вид целого класса по размеченным примерам, поэтому одна модель охватывает множество вариаций объекта, тогда как для сопоставления с шаблоном нужен отдельный шаблон для каждой вариации.

Ultralytics YOLO26 использует обучаемый подход. Модель, обученная на аннотированных изображениях в Ultralytics Platform, предсказывает ограничивающие рамки для классов, на которых её обучали, а аугментация данных во время обучения позволяет добавить вариации поворота, масштаба и яркости.

В matchTemplate из OpenCV доступны шесть методов сравнения: квадратичная разность, кросс-корреляция и коэффициент корреляции, каждый из которых имеет нормализованный вариант.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения