Image Registration

Регистрация изображений — это процесс совмещения двух или более изображений так, чтобы одна и та же точка сцены соответствовала одинаковым координатам. Представь, что ты накладываешь спутниковый снимок, сделанный в июне, на снимок, сделанный в январе: если угол или положение камеры изменились, дорога может казаться сместившейся, хотя на самом деле она не двигалась. Регистрация устраняет это геометрическое несоответствие до того, как система компьютерного зрения сравнит изображения или объединит содержащуюся в них информацию.

Как работает регистрация изображений#

В процессе регистрации одно изображение назначают фиксированным изображением, задающим целевую систему координат, а другое — подвижным изображением, которое нужно с ним совместить. Система оценивает пространственное преобразование, а затем передискретизирует подвижное изображение — вычисляет значения пикселей в новых положениях. Результат можно проверить, наложив изображения друг на друга: неподвижные элементы должны совпасть, а реальные изменения остаться видимыми. В обзоре регистрации в ImageJ показана связь между соответствующими точками, преобразованиями и совмещёнными изображениями.

Для оценки преобразования обычно используют два подхода. Регистрация на основе признаков выявляет на обоих изображениях узнаваемые точки, например углы, и сопоставляет точки, соответствующие одному и тому же месту. Затем по этим соответствиям строится преобразование, по возможности отбрасывающее ошибочные совпадения; в руководстве OpenCV по сопоставлению признаков и гомографии показано, как это работает. Регистрация на основе интенсивности вместо этого корректирует преобразование, чтобы улучшить показатель сходства между значениями пикселей изображений. Этот показатель и процедура поиска, называемая оптимизатором, лежат в основе процесса регистрации на основе интенсивности.

Выбор преобразования#

Подходящее преобразование зависит от того, почему различаются изображения. Сдвиг позволяет компенсировать простое горизонтальное или вертикальное смещение. Жёсткое преобразование также допускает поворот, сохраняя расстояния. Аффинная регистрация дополнительно учитывает масштабирование и перекос, но применяет одно преобразование ко всему изображению. Проективное преобразование, или гомография, позволяет учитывать различия перспективы, если сопоставляемая сцена приблизительно плоская. В объяснении типов геометрических преобразований от MathWorks наглядно показаны различия между ними.

Для некоторых сцен требуется деформируемая регистрация, позволяющая разным областям смещаться на разное расстояние, например при изменении формы анатомических структур между сканированиями. Такая гибкость может улучшить локальное совмещение, но неправдоподобная деформация способна скрыть реальное различие. Поэтому инструменты для медицинских изображений, такие как среда регистрации SimpleITK, позволяют явно задавать преобразование, показатель сходства, оптимизатор и метод интерполяции.

Регистрация и связанные задачи компьютерного зрения#

Регистрация нужна для создания общей системы координат, а не просто для визуального сходства. Сопоставление изображений находит соответствующие визуальные элементы и может предоставить пары точек, необходимые для регистрации; регистрация идёт дальше и оценивает и применяет пространственное совмещение. Ключевые точки могут служить такими соответствиями, хотя точки на движущихся людях или автомобилях обычно плохо подходят для совмещения неподвижного фона.

Аналогично, оптический поток оценивает видимое движение между кадрами. Его оценки движения могут помочь совместить кадры, как показано в примере регистрации с помощью оптического потока в scikit-image, но сам по себе оптический поток не гарантирует точного совмещения. У отслеживания объектов другая цель: сохранять идентичность объекта с течением времени. Трекер может использовать оценки движения фона, чтобы не путать движение камеры с движением объекта.

Применение в задачах ИИ#

При обнаружении изменений на спутниковых снимках аналитик может сравнить снимки сельскохозяйственных угодий, сделанные с разницей в несколько месяцев, чтобы выявить недавно расчищенные участки. Регистрация совмещает поля, дороги и границы в одинаковых положениях пикселей, прежде чем модель обнаружения изменений сравнит снимки. Иначе смещение границы поля может выглядеть как изменение земного покрова. После совмещения всё равно нужно учитывать различия в сезоне, освещении или типе сенсора. Это типичная проблема при анализе спутниковых снимков.

При анализе медицинских изображений врач может сравнить сканы, сделанные во время разных визитов, чтобы оценить, изменилось ли поражение. Совмещение сканов упрощает сравнение одной и той же анатомической области или передачу изображений модели сегментации. Поскольку анатомические структуры могут деформироваться, а методы визуализации — создавать разные паттерны яркости, качественная регистрация должна сохранять клинически значимые различия, а не пытаться сделать все области одинаковыми.

Практическая регистрация и проверка#

Начинай с самого простого преобразования, которое правдоподобно объясняет несоответствие. Убедись, что на изображениях достаточно общих видимых элементов, учти различия в разрешении и проверь совмещение в нескольких местах, а не только там, где совпадение наиболее точное. Сохраняй оценённое преобразование, если позднее потребуется перенести предсказания или аннотации обратно на исходное изображение. В руководстве OpenCV по геометрическим преобразованиям объясняется, как деформация изображения размещает преобразованные пиксели.

В следующем самодостаточном примере используется процесс фазовой корреляции в scikit-image для оценки сдвига. Установи зависимости командой pip install scikit-image scipy.

import numpy as np
from scipy.ndimage import shift
from skimage import data
from skimage.io import imsave
from skimage.registration import phase_cross_correlation

# Создай эталонное изображение и его смещённую копию.
fixed = data.camera()
moving = np.roll(fixed, shift=(12, -8), axis=(0, 1))

# Оцени сдвиг, необходимый для совмещения подвижного изображения с фиксированным.
estimated_shift, _, _ = phase_cross_correlation(fixed, moving)
aligned = shift(moving, estimated_shift, order=0, mode="grid-wrap")

imsave("registered.png", aligned)
print(estimated_shift)

Напечатанные значения описывают коррекцию, а registered.png показывает совмещённое изображение. В этом примере рассматривается только сдвиг; он не учитывает поворот, деформацию или изображения с разных сенсоров. В конвейере обработки видео с движущейся камерой близкий пример применения — отслеживание с помощью Ultralytics YOLO: компенсация движения камеры оценивает межкадровое преобразование, помогая сохранять согласованность положений отслеживаемых объектов. Эта операция трекера служит для сопоставления объектов между кадрами, а не для создания зарегистрированного изображения общего назначения.