什么是视觉 AI 中的图像匹配？快速入门

当你看到同一物体的两张图片，例如一幅汽车画作和一张汽车照片时，很容易发现它们的共同点。然而，对机器来说，这并不那么简单。

为了进行这类比较，机器依赖计算机视觉——这是人工智能（AI）的一个分支，可帮助机器解读和理解视觉信息。计算机视觉使系统能够检测物体、理解场景，并从图像或视频中提取模式。

尤其是，有些视觉任务不只分析单张图像，还需要比较图像以寻找相似之处、发现差异或跟踪随时间发生的变化。

视觉 AI 涵盖多种技术，其中一项重要能力称为图像匹配，重点在于识别图像之间的相似之处，即使光照、角度或背景有所不同也能做到。这项技术可用于机器人、增强现实和地理制图等多种应用。

在本文中，我们将探讨图像匹配的定义、核心技术及其一些实际应用。

什么是图像匹配？#

图像匹配使计算机系统能够判断两张图像是否包含相似内容。人类可以凭直觉做到这一点，例如留意形状、颜色和模式。

而计算机依赖数值数据。计算机通过检查每个像素来分析图像，像素是数字图像的最小单位。

每张图像都以像素网格的形式存储，每个像素通常包含红、绿、蓝（RGB）三个通道的值。当图像旋转、缩放、从不同角度观看或在不同光照条件下拍摄时，这些值可能会发生变化。由于存在这些变化，逐像素比较图像往往并不可靠。

为了让比较更加一致，图像匹配会关注角点、边缘和纹理区域等局部特征；即使图像略有变化，这些特征通常仍能保持稳定。通过检测多张图像中的这些特征，也就是关键点，系统能够更准确地对它们进行比较。

这一过程广泛应用于导航、定位、增强现实、制图、3D 重建和视觉搜索等场景。当系统在不同图像或多个视频帧中识别出相同的点时，就能跟踪运动、理解场景结构，并在动态环境中做出可靠决策。

图 1. 汽车图像匹配示例，其中识别出了相似的关键点。(来源)

了解图像匹配的工作原理#

图像匹配包含几个关键步骤，可帮助系统识别并比较图像中的相似区域。每一步都能提升不同条件下的准确性、一致性和稳健性。

下面逐步介绍图像匹配的工作原理：

• 特征检测：系统首先识别图像中具有显著性的关键点，即使光照、尺度或视角发生变化，这些关键点仍然清晰可辨。它们标示出视觉上较为突出的区域，例如角点、边缘或纹理区域。
• 特征描述：随后，每个关键点都会转换为一个描述符，即一种紧凑的数值向量，用于捕捉该点周围的视觉模式。这些描述符为比较不同图像中的特征提供了可靠的方法。
• 特征匹配：匹配算法会比较两张图像的描述符并计算其相似度。此步骤将看起来相对应的关键点配对，并过滤掉较弱或不可靠的匹配。
• 几何验证：最后，系统会检查匹配的关键点是否构成符合实际的几何关系。系统使用一种称为 RANSAC（随机抽样一致性）的方法剔除错误匹配（称为离群点），确保只保留可靠的点对。识别出正确匹配后，系统会估算最能表示两张图像之间关系的变换。这通常是仿射变换，可校正缩放、旋转和平移等变化；也可以是单应性变换，还能处理透视变化。使用这些变换，即使图像拍摄视角略有不同，系统也能准确地对齐图像。

图 2. (a) 特征点提取和 (b) 特征匹配。(来源)

图像匹配涉及的核心技术#

在探讨图像匹配的实际应用之前，我们先来深入了解计算机视觉系统中使用的图像匹配技术。

基于模板匹配的图像匹配#

模板匹配是最直观的图像匹配方法之一。它通常被视为一种图像处理技术，而非现代计算机视觉方法，因为它依赖直接比较像素，并不会提取更深层的视觉特征。

模板匹配用于在较大的场景中定位较小的参考图像（即模板）。它通过算法将模板滑过主图像，并计算每个位置的相似度分数，以衡量两个区域的匹配程度。分数最高的区域被视为最佳匹配，表明目标最有可能出现在场景中的位置。

图 3. 模板匹配的使用示例。(来源)

当目标的大小、旋转角度和光照保持一致时，这项技术效果良好，因此适用于受控环境或基线比较。不过，如果目标与模板不同，例如大小发生变化、发生旋转、部分被遮挡，或出现在有噪声或复杂的背景中，其性能就会下降。

用于图像匹配的经典特征方法#

在深度学习得到广泛应用之前，图像匹配主要依赖经典计算机视觉算法来检测图像中的显著关键点。这些方法不会比较每个像素，而是分析图像梯度（即强度变化），以突出显示醒目的角点、边缘和纹理区域。

随后，每个检测到的关键点都会用一种称为描述符的紧凑数值摘要来表示。比较两张图像时，匹配器会评估这些描述符，找出最相似的配对。

较高的相似度分数通常表明两张图像中出现了同一个物理点。匹配器还会使用特定的距离度量或评分规则来判断特征的对齐程度，从而提高整体可靠性。

以下是用于图像匹配的一些经典计算机视觉核心算法：

• SIFT（尺度不变特征变换）：它通过分析图像强度梯度来识别关键点，因此即使图像放大、缩小或旋转，关键点仍能被识别。
• SURF（加速稳健特征）：该算法与 SIFT 类似，但针对速度进行了优化。它使用基于梯度运算的快速近似方法，适用于要求快速响应的应用。
• ORB（定向 FAST 与旋转 BRIEF）：它结合了 FAST 和 BRIEF 这两种算法。FAST 能快速找到图像中类似角点的点，而 BRIEF 会为每个点生成紧凑描述，以便在不同图像中进行匹配。ORB 还通过加入旋转处理改进了这两个步骤，使其兼具速度和可靠性。

图 4. 从两张图像中提取并匹配的 SURF 特征点。(来源)

基于深度学习的图像匹配方法#

与依赖特定规则的经典方法不同，深度学习会从大型数据集中自动学习特征。这些数据集由视觉数据组成，AI 模型可从中学习模式。这些模型通常在 GPU（图形处理器）上运行。GPU 提供强大的计算能力，可高效处理大批量图像并训练复杂的神经网络。

这使 AI 模型能够应对光照、相机角度和遮挡等现实世界中的变化。有些模型还会将所有步骤整合到一个工作流中，从而在具有挑战性的条件下保持稳健的性能。

以下是一些用于图像特征提取和匹配的深度学习方法：

• 基于 CNN 的特征提取：这些模型会从大型数据集中自动学习关键视觉模式。它们能够识别不易发生变化的特征，因此可以可靠地匹配不同场景中的物体。
• 基于嵌入的匹配：这种方法不会直接比较像素，而是将图像转换为称为嵌入的紧凑数值表示。随后，匹配器会比较这些嵌入，以找到相似的视觉内容。FaceNet 等模型会生成嵌入来识别和比较人脸；CLIP 则会将图像和文本映射到共享空间，用于图像搜索和语义匹配等任务。这些模型都采用了这种方法。
• 端到端匹配流程：现代深度学习系统通常会将关键点检测、描述和匹配整合到统一的工作流中。SuperPoint 和 D2-Net 等模型直接从 CNN 特征图中学习关键点和描述符，而 SuperGlue 则作为学习式匹配器，比传统方法更可靠地配对这些描述符。这些组件共同构成端到端流程，在具有挑战性的条件下，其准确度和鲁棒性都优于传统的基于特征的方法。
• 基于 Transformer 的匹配：这种方法利用注意力机制关联两张图像中相对应的区域，即使视角、光照或纹理变化很大，也能对齐图像块。LoFTR（局部特征 Transformer）等模型的准确度高得多，因为 Transformer 的全局感受野能够在低纹理、模糊或重复区域中实现可靠匹配，而传统检测器在这些区域往往会失效。LoFTR 可生成半稠密、高置信度的匹配结果，并在室内和室外基准测试中大幅超越此前的最先进方法。
• 注重效率的模型：新一代图像匹配模型旨在提升准确度的同时加快运行速度。LightGlue 等模型专为计算能力有限的设备高效运行而设计，同时仍能保持良好的匹配质量。

图像匹配的实际应用#

现在我们已经更好地了解了图像匹配的工作原理，接下来看看它在一些实际应用中发挥的重要作用。

图像匹配助力更智能的机器人#

机器人通常在繁忙且不断变化的环境中运行，需要了解有哪些物体以及这些物体的位置。图像匹配可以通过将机器人看到的物体与存储的图像或参考图像进行比较，帮助机器人理解物体。这样，机器人就能更轻松地识别物体、跟踪物体的移动，并在光照或相机角度发生变化时灵活应对。

例如，在仓库中，机器人取放系统可以利用图像匹配识别和处理不同物品。机器人先抓取一个物体，再将其图像与参考样本进行比较，以识别该物体。

图 5. 机器人通过将物体与参考图像匹配来识别并抓取物体。(来源)

找到匹配项后，机器人就知道如何正确地对物体进行分类或放置。这种方法让机器人无需重新训练整个系统，就能识别熟悉和陌生的物体。它还可以帮助机器人更好地实时决策，例如整理货架、组装零件或重新摆放物品。

借助更好的图像匹配改进 3D 重建#

在无人机测绘、虚拟现实和建筑检测等领域，系统通常需要根据多张 2D 图像重建 3D 模型。为此，系统会依靠图像匹配来识别多张图像中共有的关键点，例如角点或纹理区域。

这些共有点有助于系统理解图像在 3D 空间中的相互关系。这与运动恢复结构（SfM）密切相关。运动恢复结构是一种通过识别并匹配不同视角所拍摄图像中的关键点来构建 3D 结构的技术。

如果匹配不准确，生成的 3D 模型可能会出现失真或不完整。因此，研究人员一直在努力提高 3D 重建中图像匹配的可靠性，近期的进展也已展现出良好前景。

一个有趣的例子是 HashMatch，这是一种速度更快、稳健性更强的图像匹配算法。HashMatch 会将图像细节转换为称为哈希码的紧凑模式，便于识别正确匹配并剔除异常值，即使光照或视角发生变化也不例外。

在大规模数据集上测试时，HashMatch 生成的 3D 重建模型更加清晰、逼真，对齐错误也更少。因此，它特别适用于无人机测绘、AR 系统和文化遗产保护等对精度要求很高的应用。

图像匹配在增强现实中的作用#

对于增强现实（AR），让虚拟物体与现实世界保持对齐往往是一项挑战。户外环境会随日照和天气等环境条件不断变化。现实世界中的细微差异可能会导致虚拟元素看起来不稳定或略微错位。

为了解决这一问题，AR 系统会使用图像匹配来理解周围环境。通过将实时摄像头画面与存储的参考图像进行比较，系统可以了解用户所在的位置以及场景发生了哪些变化。

图 6. 两张图像中匹配的特征点。（来源：theijes.com）

例如，在一项使用 XR（扩展现实）眼镜进行军事风格户外 AR 训练的研究中，研究人员使用 SIFT 等基于特征的方法来匹配真实图像和参考图像中的视觉细节。准确的匹配让虚拟元素与现实世界保持正确对齐，即使用户快速移动或光照发生变化也不例外。

要点#

图像匹配是计算机视觉的核心组成部分，它使系统能够理解不同图像之间的关系，或了解场景随时间发生的变化。在机器人、增强现实、3D 重建、自动导航等许多对精度和稳定性要求很高的实际应用中，图像匹配都发挥着关键作用。

借助 SuperPoint 和 LoFTR 等先进 AI 模型，如今的系统比早期方法稳健得多。随着机器学习技术、专用视觉模块、神经网络和数据集不断发展，图像匹配很可能会变得更快、更准确，也更具适应性。

加入不断壮大的社区，并探索我们的 GitHub 仓库，获取实用的 AI 资源。立即探索我们的许可选项，开始构建视觉 AI 应用。访问我们的解决方案页面，了解AI 如何改变农业，以及医疗健康领域的视觉 AI如何塑造未来。