Image Stitching
Склейка изображений выравнивает и объединяет перекрывающиеся изображения в непрерывную панораму или мозаику с помощью сопоставления признаков, проективных преобразований и сглаживания швов.
Склейка изображений, также называемая склейкой фотографий, выравнивает и объединяет два или более перекрывающихся изображения в единый непрерывный кадр. Перекрывающиеся участки помогают программе определить, как изображения стыкуются: ориентир у правого края одной фотографии может находиться примерно в центре следующей. Совмещение этих двух изображений ориентира позволяет получить композицию, охватывающую большую часть сцены, чем каждая фотография по отдельности. В некоторых фоторедакторах термин «склейка фотографий» также означает расположение отдельных изображений рядом в виде коллажа.
Как работает склейка изображений#
Регистрация изображений определяет положение каждого изображения в общей системе координат. Часто она начинается с сопоставления изображений. Такой метод, как масштабно-инвариантное преобразование признаков (SIFT), находит характерные точки и описывает окружающие их пиксели, чтобы те же детали можно было распознать в другом ракурсе. В методе автоматического создания панорам, предложенном Мэттью Брауном и Дэвидом Лоу в 2007 году, метод случайной выборки консенсуса (RANSAC) подбирает возможные преобразования по небольшим подмножествам соответствий и ищет вариант, согласующийся с наибольшим числом соответствий с точки зрения геометрии. Классическая склейка не требует обучения модели. Обученный сопоставитель, например LoFTR, также может находить соответствия в областях, где традиционные детекторы ключевых точек обнаруживают их слишком мало.
Гомография может выравнивать виды плоской поверхности или виды, снятые при повороте камеры вокруг её оптического центра. Аффинное преобразование подходит для более простых изменений, например сдвигов и поворотов между плоскими сканами. При работе с множеством ракурсов совместная оптимизация связки уточняет их выравнивание и уменьшает накопление смещения, которое может возникнуть, если каждое изображение выравнивать только относительно соседнего. Проективное преобразование применяет рассчитанное выравнивание и размещает изображения на общем холсте.
Склейка продолжается и после регистрации. Компенсация экспозиции уменьшает различия в яркости, выбор шва определяет, где один ракурс сменяется другим, а смешивание сглаживает переход. При многополосном смешивании для плавных изменений тона используются более широкие переходы, а для мелких деталей — более узкие.
Как склеить два изображения#
Начни с двух изображений, на которых есть узнаваемые общие детали сцены. В Photoshop функция File > Automate > Photomerge выравнивает перекрывающиеся фотографии и смешивает их с помощью масок слоёв. В Python OpenCV Stitcher оценивает выравнивание и объединяет изображения. После установки opencv-python приведённый ниже пример склеивает два перекрывающихся фрагмента фотографии автобуса. Режим SCANS использует аффинную модель, подходящую для горизонтального сдвига между фрагментами.
from urllib.request import urlretrieve
import cv2
path, _ = urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread(path)
width = image.shape[1]
# Create two views with a shared center region.
left = image[:, : 4 * width // 5].copy()
right = image[:, width // 5 :].copy()
stitcher = cv2.Stitcher_create(cv2.Stitcher_SCANS)
status, stitched = stitcher.stitch([left, right])
if status != cv2.Stitcher_OK:
raise RuntimeError(f"Stitching failed with status {status}")
cv2.imwrite("stitched_bus.jpg", stitched)Результат, stitched_bus.jpg, объединяет внешние части обоих фрагментов на одном холсте. Общая центральная часть появляется один раз, а не дважды, как при размещении фрагментов рядом.
Почему склейка изображений не удаётся#
Универсального процента перекрытия не существует. Важны текстура и распределение точек сопоставления: на полосе пустого неба мало ориентиров, а повторяющиеся окна могут заставить программу склеить не те части фасада. При боковом перемещении камеры близкие объекты смещаются относительно фона. Это зависящее от глубины смещение, называемое параллаксом, может привести к удвоению края объекта на переднем плане, даже если фон совмещён. Движущийся объект также может появиться дважды, если он пересекает область перекрытия между экспозициями. Перепад яркости вдоль в остальном ровного стыка указывает на проблему с компенсацией экспозиции или смешиванием. Эти артефакты могут возникать одновременно.
Где применяется склейка изображений#
- Панорамная фотография: последовательные снимки охватывают больший угол, чем один кадр. Цилиндрические или сферические проекции подходят для широких полей зрения, которые при плоской проекции растягивались бы по краям.
- Микроскопия: плагин склейки в Fiji объединяет перекрывающиеся микроскопические фрагменты в более крупное изображение образца, позволяя не снимать его при меньшем увеличении.
- Аэрофотокартографирование: OpenDroneMap объединяет перекрывающиеся аэрофотоснимки в ортомозаику. На готовой мозаике разбиение изображений высокого разрешения с помощью Ultralytics YOLO запускает обнаружение объектов на фрагментах с известными координатами, сохраняя детали мелких объектов, которые могут теряться при изменении размера всего изображения. Масштаб ортомозаики равномерен, поскольку её геометрия скорректирована с учётом наклона камеры и рельефа местности, что позволяет измерять расстояния на земле.










