Image Stitching
이미지 스티칭은 특징점 매칭, 워핑, 경계선 블렌딩을 사용해 겹치는 이미지를 정렬하고 결합하여 연속적인 파노라마나 모자이크를 만듭니다.
이미지 스티칭은 사진 스티칭이라고도 하며, 겹치는 두 개 이상의 이미지를 정렬하고 결합하여 하나의 연속된 시야를 만듭니다. 겹치는 영역을 통해 소프트웨어는 이미지가 어떻게 맞물리는지 파악합니다. 한 사진의 오른쪽 가장자리 근처에 있는 랜드마크가 다음 사진의 중앙 부근에 나타날 수 있습니다. 두 위치를 정렬하면 합성 이미지가 각 사진만으로는 담을 수 없는 더 넓은 장면을 담을 수 있습니다. 일부 사진 편집 프로그램에서는 별개의 이미지를 콜라주 형태로 나란히 배열하는 작업도 "사진 스티칭"이라고 합니다.
이미지 스티칭의 작동 방식#
이미지 정합은 각 이미지가 공유 좌표계에서 어디에 위치하는지 추정합니다. 이미지 정합은 흔히 이미지 매칭으로 시작합니다. 스케일 불변 특징 변환(SIFT)과 같은 방법은 특징적인 점을 찾고 주변 픽셀을 설명하여 다른 시점에서도 동일한 세부 정보를 식별할 수 있게 합니다. Matthew Brown과 David Lowe의 2007년 자동 파노라마 방식에서는 무작위 표본 합의(RANSAC)가 소수의 매칭 쌍으로 후보 변환을 추정하고, 기하학적으로 가장 일관된 매칭 쌍이 많은 변환을 찾습니다. 기존 스티칭에는 모델 학습이 필요하지 않습니다. LoFTR과 같은 학습 기반 매처는 기존 키포인트 검출기가 충분한 수의 점을 찾지 못하는 영역에서도 대응점을 찾을 수 있습니다.
호모그래피는 평평한 표면을 촬영한 시점이나 카메라를 광학 중심을 기준으로 회전해 촬영한 시점을 정렬할 수 있습니다. 아핀 변환은 평면 스캔 이미지 사이의 이동 및 회전과 같은 단순한 변화를 처리할 수 있습니다. 여러 시점이 있는 경우 번들 조정으로 이미지 정렬을 함께 개선하여 각 이미지를 이웃 이미지에만 맞출 때 누적될 수 있는 드리프트를 줄입니다. 워핑은 추정된 정렬을 적용해 이미지를 공유 캔버스에 배치합니다.
이미지 스티칭은 정합 이후에도 계속됩니다. 노출 보정은 밝기 차이를 줄이고, 경계선 선택은 한 시점이 다음 시점으로 바뀌는 위치를 결정하며, 블렌딩은 전환을 부드럽게 합니다. 멀티밴드 블렌딩은 톤이 점진적으로 변하는 부분에는 더 넓은 전환 영역을, 세밀한 부분에는 더 좁은 전환 영역을 사용합니다.
두 이미지를 스티칭하는 방법#
서로 알아볼 수 있는 장면 세부 정보가 겹치는 두 이미지부터 준비합니다. Photoshop에서는 파일 > 자동화 > Photomerge 기능이 겹치는 사진을 정렬하고 레이어 마스크를 사용해 블렌딩합니다. Python에서는 OpenCV Stitcher이 정렬을 추정하고 결과를 합성합니다. opencv-python를 설치한 상태에서 아래 예제를 실행하면 버스 사진에서 잘라낸, 서로 겹치는 두 이미지를 스티칭합니다. SCANS 모드는 아핀 모델을 사용하며, 이는 이미지 조각 사이의 좌우 이동에 적합합니다.
from urllib.request import urlretrieve
import cv2
path, _ = urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread(path)
width = image.shape[1]
# Create two views with a shared center region.
left = image[:, : 4 * width // 5].copy()
right = image[:, width // 5 :].copy()
stitcher = cv2.Stitcher_create(cv2.Stitcher_SCANS)
status, stitched = stitcher.stitch([left, right])
if status != cv2.Stitcher_OK:
raise RuntimeError(f"Stitching failed with status {status}")
cv2.imwrite("stitched_bus.jpg", stitched)출력 결과인 stitched_bus.jpg은 두 이미지 조각의 바깥쪽 부분을 하나의 캔버스에 결합합니다. 두 이미지 조각을 나란히 놓았을 때처럼 공통된 중앙 부분이 두 번 나타나지 않고 한 번만 표시됩니다.
이미지 스티칭이 실패하는 이유#
모든 상황에 적용되는 보편적인 겹침 비율은 없습니다. 질감과 매칭 지점의 분포가 중요합니다. 특징점이 거의 없는 빈 하늘 영역과 달리, 반복되는 창문은 스티칭 프로그램이 건물 외벽의 잘못된 부분을 정렬하게 만들 수 있습니다. 카메라가 옆으로 움직이면 가까운 물체가 배경에 비해 이동합니다. 시차라고 하는 이러한 깊이 의존적 이동은 배경선이 정렬되더라도 전경의 경계가 두 겹으로 보이게 할 수 있습니다. 움직이는 피사체가 노출 사이에 겹치는 영역을 지나가면 피사체가 두 번 나타날 수도 있습니다. 다른 부분은 정렬되어 있는데 연결부를 따라 밝기가 갑자기 달라진다면 노출 보정이나 블렌딩에 문제가 있다는 신호입니다. 이러한 아티팩트는 동시에 발생할 수 있습니다.
이미지 스티칭의 활용 분야#
- 파노라마 사진: 여러 시점의 이미지를 순차적으로 촬영하면 한 번의 노출보다 더 넓은 화각을 담을 수 있습니다. 원통형 또는 구형 투영은 평면 투영에서 가장자리가 늘어나는 광각 시야를 처리합니다.
- 현미경 검사: Fiji의 스티칭 플러그인은 겹치는 현미경 타일 이미지를 정렬해, 더 낮은 배율로 촬영하지 않고도 시료의 더 넓은 시야를 구성합니다.
- 항공 매핑: OpenDroneMap은 겹치는 항공 사진을 정사모자이크로 결합합니다. 완성된 모자이크에서 Ultralytics YOLO 고해상도 타일링은 위치가 알려진 이미지 조각에 객체 감지를 수행하여, 전체 이미지를 리사이즈할 때 손실될 수 있는 작은 객체의 세부 정보를 보존합니다. 정사모자이크는 카메라 기울기와 지형 기복을 보정한 기하 구조를 사용하므로 지도 축척이 균일하고 지상의 거리를 측정할 수 있습니다.










