Image Stitching
图像拼接通过特征匹配、变形和接缝融合,对齐并融合重叠图像,生成连续的全景图或镶嵌图。
图像拼接(也称照片拼接)会对齐并组合两张或更多张重叠图像,形成一个连续视图。重叠区域能让软件判断图像如何衔接:一张照片右侧边缘附近的地标,可能会出现在下一张照片的中间。对齐这两个位置后,合成图像就能覆盖比任一单张照片更大的场景。一些照片编辑器也会把“照片拼接”用于指将独立图像并排排列成拼贴画。
图像拼接的工作原理#
图像配准用于估算每张图像在共享坐标系中的位置。它通常从图像匹配开始。例如,尺度不变特征变换 (SIFT)会找到具有辨识度的点,并描述其周围的像素,以便在其他视图中识别相同细节。在 Matthew Brown 和 David Lowe 于 2007 年提出的自动全景图方法中,随机抽样一致性 (RANSAC) 会根据少量匹配点拟合候选变换,并寻找几何一致匹配点最多的拟合结果。传统拼接无需训练模型。LoFTR 等学习型匹配器也能在传统关键点检测器难以找到足够特征点的区域中寻找对应点。
单应性变换可以对齐平面表面的视图,也可以对齐相机绕光心旋转时拍摄的视图。仿射变换可以处理更简单的变化,例如平面扫描图之间的平移和旋转。对于多张视图,束调整会联合优化它们的对齐,减少逐张对齐相邻图像时可能不断累积的漂移。图像变形则会应用估算出的对齐关系,将图像放置到共享画布上。
完成配准后,拼接还要继续进行。曝光补偿可减小亮度差异,接缝选择决定视图之间的切换位置,融合则能平滑过渡。多频段融合会针对色调的渐变采用较宽的过渡区域,并针对精细细节采用较窄的过渡区域。
如何拼接两张图像#
先准备两张包含可辨识场景细节的图像。在 Photoshop 中,文件 > 自动 > Photomerge会对齐重叠照片,并使用图层蒙版进行融合。在 Python 中,OpenCV Stitcher会估算对齐关系并合成结果。安装 opencv-python 后,下面的示例会拼接一张公交车照片中两个相互重叠的裁剪区域。SCANS模式使用仿射模型,适合处理这两个裁剪区域之间的横向位移。
from urllib.request import urlretrieve
import cv2
path, _ = urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread(path)
width = image.shape[1]
# Create two views with a shared center region.
left = image[:, : 4 * width // 5].copy()
right = image[:, width // 5 :].copy()
stitcher = cv2.Stitcher_create(cv2.Stitcher_SCANS)
status, stitched = stitcher.stitch([left, right])
if status != cv2.Stitcher_OK:
raise RuntimeError(f"Stitching failed with status {status}")
cv2.imwrite("stitched_bus.jpg", stitched)输出 stitched_bus.jpg会将两个裁剪区域的外侧部分合并到同一画布上。重叠的中心区域只会出现一次,而不是像将两个裁剪区域并排放置时那样出现两次。
图像拼接失败的原因#
重叠比例没有通用标准。纹理和匹配点的分布都很重要:一片空白天空几乎没有地标,而重复的窗户可能会让拼接器错误地对齐立面上的部分区域。当相机横向移动时,近处物体会相对于背景发生位移。这种依赖深度的位移称为视差,即使背景对齐,前景边缘也可能出现重影。移动主体如果在两次曝光之间经过重叠区域,也可能出现两次。若原本对齐的接缝处出现亮度突变,通常说明曝光补偿或融合存在问题。这些伪影可能同时出现。
图像拼接的应用场景#
- 全景摄影:连续拍摄多个视图,覆盖比单次曝光更大的视角。柱面或球面投影适用于视野较宽的场景,可避免平面投影在边缘处产生拉伸。
- 显微镜成像:Fiji 的拼接插件可以将重叠的显微镜图块对齐,合成为更大的样本视图,而无需降低放大倍率进行拍摄。
- 航空测绘:OpenDroneMap 会将重叠的航拍照片合成为正射镶嵌图。在最终镶嵌图上,Ultralytics YOLO 高分辨率切片会对位置已知的裁剪图块运行目标检测,保留整图缩放时可能丢失的小目标细节。正射镶嵌图的地图比例尺一致,因为其几何形状已根据相机倾斜和地形起伏进行校正,因此可以测量地面距离。










