Что такое сопоставление с шаблоном? Краткое руководство

На изображениях часто присутствует множество мелких деталей, которые люди легко замечают. Однако для машин эта задача не так проста. Машины воспринимают цифровое изображение как сетку значений пикселей, и даже небольшие изменения освещения, угла, масштаба или резкости могут вызвать затруднения.

Способность машины анализировать изображения обычно обеспечивают две тесно связанные области информатики: обработка изображений и компьютерное зрение. Хотя они часто работают вместе, у них разные основные задачи.

Обработка изображений работает с изображениями как с исходными данными. Она может улучшать изображения, но не пытается понять их содержимое. Этим и отличается компьютерное зрение. Компьютерное зрение — это область искусственного интеллекта (AI), которая позволяет машинам понимать изображения и видео.

Базовые методы обработки изображений существуют уже много лет, но современные инновации в компьютерном зрении появились сравнительно недавно. Чтобы понять историю этой области, полезно вспомнить, как раньше решали такие задачи с помощью более традиционных методов.

Рассмотрим, например, сопоставление изображений. Это распространённая задача компьютерного зрения, в которой системе нужно определить, есть ли конкретный объект или шаблон внутри более крупного изображения.

Сегодня эту задачу можно легко и точно решать с помощью ИИ и глубокого обучения. Однако до появления современных нейронных сетей в 2010-х годах обычно использовали гораздо более простой метод — сопоставление с шаблоном.

Рис. 1. Пример сопоставления с шаблоном (Источник)

Сопоставление с шаблоном — это метод обработки изображений, при котором небольшое изображение-шаблон перемещается по более крупному изображению пиксель за пикселем. Это скользящее перемещение, похожее на свёртку, позволяет алгоритму найти участок, который наиболее точно соответствует заданному шаблону.

В этой статье мы разберём, что такое сопоставление с шаблоном и как современные усовершенствования делают его надёжнее в реальных условиях.

Что такое сопоставление с шаблоном?#

Сопоставление с шаблоном также называют классическим методом компьютерного зрения: он работает напрямую с пикселями изображения — наименьшими элементами цифрового изображения. Этот метод используют, чтобы найти небольшой шаблон внутри более крупного изображения.

Такие методы основаны на геометрии, оптике и математических правилах, а не на обучении крупных моделей на огромных наборах данных. Иными словами, система сопоставления с шаблоном сравнивает яркость, цвет и другие характеристики пикселей двух изображений: входного, то есть более крупного, и небольшого изображения-шаблона, содержащего искомый образец.

Рис. 2. Изображения A и B — примеры шаблонов. (Источник)

Основная задача сопоставления с шаблоном — определить, где он встречается в более крупной сцене, и измерить, насколько он похож на разные участки изображения. Алгоритм решает эту задачу, перемещая шаблон по более крупному изображению и вычисляя оценку сходства в каждой позиции.

Участки с более высокими оценками считаются лучшим совпадением, то есть они наиболее похожи на шаблон. Поскольку этот метод основан на попиксельном сравнении, лучше всего он работает в контролируемых условиях, где внешний вид объектов не меняется.

Например, сопоставление с шаблоном можно использовать для проверки этикеток в рамках контроля качества. Метод позволяет сопоставить изображение-шаблон этикетки с изображениями готового изделия и проверить, есть ли на нём этикетка.

Как работает сопоставление с шаблоном#

Ниже приведён пошаговый обзор работы сопоставления с шаблоном:

• Шаг 1 — подготовка изображений: сначала загружаются входное изображение и изображение-шаблон, затем оба преобразуются в оттенки серого. Поскольку сопоставление с шаблоном основано на сравнении значений пикселей, удаление цветовой информации уменьшает шум и ускоряет обработку изображений.
• Шаг 2 — перемещение шаблона по изображению: затем алгоритм сопоставления с шаблоном перемещает шаблон по более крупному изображению пиксель за пикселем, начиная с верхнего левого угла. Каждый шаг такого перемещения — это итерация, на которой алгоритм извлекает из исходного изображения фрагмент размером с шаблон.
• Шаг 3 — оценка качества совпадения: каждый фрагмент изображения сравнивается с шаблоном с помощью математического метода сопоставления, который вычисляет метрику или значение корреляции для каждой возможной позиции. К распространённым методам относятся сумма квадратов разностей (измеряет численную разницу между интенсивностями пикселей, чтобы вычислить общее несовпадение), нормированная взаимная корреляция (перемножает значения пикселей, чтобы определить, насколько совпадают узоры светлых и тёмных участков) и коэффициент корреляции (вычитает среднюю яркость, чтобы сохранить точность сопоставления при небольших изменениях освещения).
• Шаг 4 — поиск лучшего совпадения: оценив все позиции, алгоритм выбирает лучшее совпадение, находя максимальное или минимальное значение — в зависимости от используемого метода. К результатам часто применяют пороговое значение, чтобы принимать только совпадения с достаточно высокой оценкой уверенности и отсеивать слабые или ошибочные обнаружения.
• Шаг 5 — выделение результата: в конце обнаруженное местоположение отображается на исходном изображении. Обычно вокруг найденного участка рисуется ограничивающая рамка, наглядно показывающая, где находится шаблон.

Практическая работа с сопоставлением с шаблоном#

Сопоставление с шаблоном на основе обработки изображений обычно не применяют при развёртывании решений компьютерного зрения в динамичных реальных условиях из-за связанных с ним недостатков. Но если ты хочешь его протестировать, библиотеки Python, такие как OpenCV, упростят этот процесс и предложат понятные пошаговые инструкции. В OpenCV есть встроенная функция matchTemplate, которая выполняет сложные математические сравнения.

Кроме того, библиотека поддерживает другие функции для простых задач: например, imread загружает изображения, а cvtColor преобразует их в оттенки серого. Преобразование цветов — важный этап, поскольку сведение изображения к одному каналу интенсивности значительно ускоряет математическое сравнение в matchTemplate и снижает его чувствительность к цветовому шуму.

После построения карты сходства в OpenCV можно воспользоваться функцией minMaxLoc, чтобы завершить поиск. Она сканирует всю карту и находит глобальные минимум и максимум вместе с их точными координатами. В зависимости от используемого метода сопоставления minMaxLoc позволяет сразу определить местоположение лучшего совпадения, найдя наибольшую корреляцию или наименьшую ошибку в данных.

Помимо OpenCV, для работы с массивами изображений и применения порога к результатам необходимы библиотеки вроде NumPy, а Matplotlib обычно используют для визуализации карты сходства и итогового обнаружения. Вместе эти инструменты предоставляют полноценную среду для разработки и отладки решения на основе сопоставления с шаблоном.

Практическое применение сопоставления с шаблоном#

Теперь, когда мы лучше понимаем, как работает сопоставление с шаблоном, рассмотрим подробнее его применение в реальных сценариях.

Определение традиционных архитектурных стилей#

В исследованиях культурного наследия и архитектуры учёные анализируют фотографии исторических зданий, храмов и памятников, чтобы понять, как различаются дизайнерские решения в разных регионах. До широкого распространения продвинутых моделей компьютерного зрения для изучения таких сооружений использовали методы сопоставления изображений.

Сопоставление с шаблоном позволяет исследователям сосредоточиться на конкретных архитектурных признаках, например очертаниях крыш, расположении окон или настенных орнаментах. Перемещая шаблоны или эталонные изображения по более крупным изображениям, они могут находить повторяющиеся формы и сокращать время ручного анализа, который может занимать часы.

Интересный пример — исследование, посвящённое традиционным индонезийским домам. Исследователи создали небольшие шаблоны характерных элементов и сравнили их с фотографиями домов в полном масштабе. Этот подход использовали, чтобы выделить участки изображений, наиболее похожие на шаблоны, и классифицировать архитектурные стили в разных регионах.

Рис. 3. Классификация традиционных домов Индонезии с помощью сопоставления с шаблоном (Источник)

Обнаружение объектов в системах промышленного зрения#

В промышленных условиях полезны системы компьютерного зрения, которые быстро обнаруживают компоненты, проверяют правильность сборки или выявляют дефекты. До широкого распространения глубокого обучения в производстве многие команды экспериментировали с методами сопоставления изображений, чтобы автоматизировать эти задачи.

Проще говоря, эталонный шаблон компонента можно использовать для сканирования изображений с производственной линии и выделения участков, похожих на шаблон. Этот подход хорошо работает, если детали находятся в постоянных положениях, а освещение стабильно.

Обнаружение опухолей лёгких с помощью сопоставления с шаблоном#

Несмотря на то что передовые технологии меняют здравоохранение, диагностировать проблемы со здоровьем по медицинским изображениям, например компьютерной томографии, по-прежнему сложно. Традиционно рентгенологам приходилось вручную просматривать каждый срез снимка — это требует предельной точности и занимает много времени.

До применения глубокого обучения в здравоохранении исследователи пытались упростить рабочий процесс и помочь выявлять аномалии с помощью сопоставления с шаблоном. Один из примеров такого подхода — обнаружение опухолей или узелков в лёгких.

При этом методе исследователи создают эталонные шаблоны, отражающие типичную форму и интенсивность опухоли. Затем система перемещает эти шаблоны по снимкам пациентов и измеряет сходство в каждой точке.

Рис. 4. Обнаружение опухолей лёгких с помощью сопоставления с шаблоном (Источник)

Преимущества и недостатки сопоставления с шаблоном#

Вот несколько ключевых преимуществ сопоставления с шаблоном:

• Интуитивно понятный и простой метод: Сопоставление с шаблоном легко понять и реализовать, поэтому это отличный вариант для тех, кто начинает изучать AI и компьютерное зрение.
• Надёжность в контролируемых условиях: Метод хорошо работает с изображениями в оттенках серого при стабильном освещении и даёт точные результаты, когда шаблоны и фон не меняются.
• Простая интеграция: С помощью библиотек Python, например OpenCV, сопоставление с шаблоном можно быстро применять в реальных проектах без сложной настройки и больших вычислительных затрат.

У сопоставления с шаблоном много преимуществ, но есть и ограничения. Вот несколько сложностей, о которых стоит помнить:

• Чувствительность к масштабу и повороту: Изменение размера или ориентации шаблона может снизить точность.
• Зависимость от освещения и контрастности: Различия в освещении или контрастности шаблона и изображения могут привести к ошибочным совпадениям или затруднить обнаружение шаблона.
• Ограниченная адаптивность: В отличие от методов на основе AI, сопоставление с шаблоном не может обучаться на данных или улучшаться со временем. Лучше всего метод работает в контролируемых или повторяющихся условиях.

Главные выводы#

Компьютерное зрение — обширная область, охватывающая множество методов. Изучение традиционных методов обработки изображений, например сопоставления с шаблоном, — отличная отправная точка для понимания того, как работает анализ изображений. Современные модели ИИ в компьютерном зрении опираются на те же базовые концепции и решают похожие задачи.

Хочешь узнать больше об AI? Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub. Узнай, как AI в розничной торговле и AI для зрения в производстве меняют отрасли. Изучи наши варианты лицензирования, чтобы уже сегодня создавать решения на основе AI для зрения!