获取 YOLO 许可
返回 Ultralytics 术语表

Image Stitching

图像拼接通过特征匹配、变形和接缝融合,对齐并融合重叠图像,生成连续的全景图或镶嵌图。

图像拼接(也称照片拼接)会对齐并组合两张或更多张重叠图像,形成一个连续视图。重叠区域能让软件判断图像如何衔接:一张照片右侧边缘附近的地标,可能会出现在下一张照片的中间。对齐这两个位置后,合成图像就能覆盖比任一单张照片更大的场景。一些照片编辑器也会把“照片拼接”用于指将独立图像并排排列成拼贴画。

图像拼接的工作原理#

图像配准用于估算每张图像在共享坐标系中的位置。它通常从图像匹配开始。例如,尺度不变特征变换 (SIFT)会找到具有辨识度的点,并描述其周围的像素,以便在其他视图中识别相同细节。在 Matthew Brown 和 David Lowe 于 2007 年提出的自动全景图方法中,随机抽样一致性 (RANSAC) 会根据少量匹配点拟合候选变换,并寻找几何一致匹配点最多的拟合结果。传统拼接无需训练模型。LoFTR 等学习型匹配器也能在传统关键点检测器难以找到足够特征点的区域中寻找对应点。

单应性变换可以对齐平面表面的视图,也可以对齐相机绕光心旋转时拍摄的视图。仿射变换可以处理更简单的变化,例如平面扫描图之间的平移和旋转。对于多张视图,束调整会联合优化它们的对齐,减少逐张对齐相邻图像时可能不断累积的漂移。图像变形则会应用估算出的对齐关系,将图像放置到共享画布上。

完成配准后,拼接还要继续进行。曝光补偿可减小亮度差异,接缝选择决定视图之间的切换位置,融合则能平滑过渡。多频段融合会针对色调的渐变采用较宽的过渡区域,并针对精细细节采用较窄的过渡区域。

如何拼接两张图像#

先准备两张包含可辨识场景细节的图像。在 Photoshop 中,文件 > 自动 > Photomerge会对齐重叠照片,并使用图层蒙版进行融合。在 Python 中,OpenCV Stitcher会估算对齐关系并合成结果。安装 opencv-python 后,下面的示例会拼接一张公交车照片中两个相互重叠的裁剪区域。SCANS模式使用仿射模型,适合处理这两个裁剪区域之间的横向位移。

from urllib.request import urlretrieve

import cv2

path, _ = urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread(path)
width = image.shape[1]

# Create two views with a shared center region.
left = image[:, : 4 * width // 5].copy()
right = image[:, width // 5 :].copy()

stitcher = cv2.Stitcher_create(cv2.Stitcher_SCANS)
status, stitched = stitcher.stitch([left, right])
if status != cv2.Stitcher_OK:
    raise RuntimeError(f"Stitching failed with status {status}")
cv2.imwrite("stitched_bus.jpg", stitched)

输出 stitched_bus.jpg会将两个裁剪区域的外侧部分合并到同一画布上。重叠的中心区域只会出现一次,而不是像将两个裁剪区域并排放置时那样出现两次。

图像拼接失败的原因#

重叠比例没有通用标准。纹理和匹配点的分布都很重要:一片空白天空几乎没有地标,而重复的窗户可能会让拼接器错误地对齐立面上的部分区域。当相机横向移动时,近处物体会相对于背景发生位移。这种依赖深度的位移称为视差,即使背景对齐,前景边缘也可能出现重影。移动主体如果在两次曝光之间经过重叠区域,也可能出现两次。若原本对齐的接缝处出现亮度突变,通常说明曝光补偿或融合存在问题。这些伪影可能同时出现。

图像拼接的应用场景#

  • 全景摄影:连续拍摄多个视图,覆盖比单次曝光更大的视角。柱面或球面投影适用于视野较宽的场景,可避免平面投影在边缘处产生拉伸。
  • 显微镜成像:Fiji 的拼接插件可以将重叠的显微镜图块对齐,合成为更大的样本视图,而无需降低放大倍率进行拍摄。
  • 航空测绘:OpenDroneMap 会将重叠的航拍照片合成为正射镶嵌图。在最终镶嵌图上,Ultralytics YOLO 高分辨率切片会对位置已知的裁剪图块运行目标检测,保留整图缩放时可能丢失的小目标细节。正射镶嵌图的地图比例尺一致,因为其几何形状已根据相机倾斜和地形起伏进行校正,因此可以测量地面距离。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来