什么是视觉 AI 中的图像匹配？快速介绍

当你查看同一物体的两张图片时，例如一幅画和一张汽车照片，很容易注意到它们的共同点。然而，对于机器来说，这并没有那么简单。

为了进行此类比较，机器依赖计算机视觉，这是一种帮助机器解读和理解视觉信息的人工智能 (AI)分支。计算机视觉使系统能够检测物体、理解场景，并从图像或视频中提取模式。

具体来说，一些视觉任务不只是分析单张图像。它们还包括比较图像、寻找相似之处、发现差异或跟踪一段时间内的变化。

视觉 AI 涵盖了广泛的技术，其中一项称为图像匹配的关键能力，专注于识别图像之间的相似之处，即使光照、角度或背景有所不同。这项技术可用于多种应用，包括机器人、增强现实和地理制图。

在本文中，我们将探讨什么是图像匹配、其核心技术以及一些实际应用。让我们开始吧！

什么是图像匹配？#

图像匹配使计算机系统能够理解两张图像是否包含相似内容。人类可以通过注意形状、颜色和模式直观地做到这一点。

而计算机依赖数值数据。它们通过分析每个像素来研究图像，像素是数字图像的最小单位。

每张图像都以像素网格的形式存储，每个像素通常包含红、绿、蓝 (RGB) 的数值。当图像旋转、调整大小、从不同角度查看或在不同光照条件下拍摄时，这些数值可能会发生变化。由于存在这些差异，逐像素比较图像通常并不可靠。

为了让比较更加一致，图像匹配会关注局部特征，即使图像发生轻微变化也往往保持稳定的角点、边缘和纹理区域。通过在多张图像中检测这些特征或关键点，系统可以更加准确地对它们进行比较。

这一过程广泛用于导航、定位、增强现实、制图、3D 重建和视觉搜索等场景。当系统在不同图像或多个帧中识别出相同的点时，就可以跟踪运动、理解场景结构，并在动态环境中做出可靠决策。

图 1. 通过识别相似关键点进行汽车图像匹配的示例。（来源）

了解图像匹配的工作原理#

图像匹配包含多个关键步骤，可帮助系统识别和比较图像中的相似区域。每个步骤都能提升系统在不同条件下的准确性、一致性和鲁棒性。

下面分步介绍图像匹配的工作原理：

• **特征检测：**系统首先识别图像中具有显著性的关键点，即使光照、尺度或视角发生变化，这些关键点仍能保持稳定。它们会突出显示在视觉上较为明显的角点、边缘或纹理区域。
• **特征描述：**随后，每个关键点都会被转换为一个描述子，即能够捕捉该点周围视觉模式的紧凑数值向量。这些描述子为比较不同图像中的特征提供了可靠方法。
• **特征匹配：**系统使用匹配算法比较两张图像中的描述子，并计算它们的相似程度。此步骤会将看起来相互对应的关键点配对，并过滤掉较弱或不可靠的匹配。
• **几何验证：**最后，系统会检查匹配的关键点是否形成合理的几何关系。它会使用一种称为 RANSAC（随机抽样一致性）的方法移除错误匹配（称为离群点），确保只保留可靠的点对。识别出正确匹配后，系统会估计最能表示两张图像之间关系的变换。这通常是仿射变换，可调整缩放、旋转和平移等变化；也可以是单应性变换，后者还能处理透视变化。使用这些变换，即使两张图像是在略有不同的视角下拍摄的，系统也能准确地对齐它们。

图 2。（a）特征点提取和（b）特征匹配。（来源）

图像匹配涉及的核心技术#

在探索图像匹配的实际应用之前，我们先深入了解计算机视觉系统中使用的图像匹配技术。

基于模板匹配的图像匹配#

模板匹配是最直接的图像匹配方法之一。它通常被视为一种图像处理技术，而不是现代计算机视觉方法，因为它依赖直接的像素比较，并不会提取更深层的视觉特征。

它用于在较大的场景中定位较小的参考图像，即模板。其工作方式是使用算法在主图像上滑动模板，并在每个位置计算相似度分数，以衡量两个区域的匹配程度。分数最高的区域会被视为最佳匹配，表示物体最有可能出现在场景中的位置。

图 3. 模板匹配使用方式示例。（来源）

当物体的尺度、旋转和光照保持一致时，这项技术效果良好，因此适合受控环境或基线比较。然而，当物体与模板的外观不同时，其性能会下降，例如物体尺寸发生变化、出现旋转、部分遮挡，或位于嘈杂或复杂的背景中。

用于图像匹配的经典特征技术#

在深度学习得到广泛应用之前，图像匹配主要依赖经典计算机视觉算法来检测图像中的显著关键点。这些方法不是比较每个像素，而是分析图像梯度，即强度变化，从而突出显示醒目的角点、边缘和纹理区域。

随后，每个检测到的关键点都会使用一种称为描述子的紧凑数值摘要来表示。在比较两张图像时，匹配器会评估这些描述子，以找到最相似的配对。

较高的相似度分数通常表示同一个物理点出现在两张图像中。匹配器还会使用特定的距离度量或评分规则来判断特征的对齐程度，从而提升整体可靠性。

以下是一些用于图像匹配的关键经典计算机视觉算法：

• **尺度不变特征变换 (SIFT)：**它通过分析图像强度梯度来识别关键点，使这些关键点在图像放大、缩小或旋转时仍然易于识别。

• **SURF（加速稳健特征）：**该算法类似于 SIFT，但针对速度进行了优化。它使用基于梯度的操作的快速近似方法，适合需要快速响应的应用。

• **ORB（定向 FAST 和旋转 BRIEF）：**它结合了 FAST 和 BRIEF 两种算法。FAST 可以快速找到图像中类似角点的点，而 BRIEF 会为每个点创建紧凑描述，以便在不同图像之间进行匹配。ORB 还通过加入旋转处理来增强这两个步骤，使其兼具速度和可靠性。

图 4. 在两张图像之间提取并匹配 SURF 特征点。（来源）

基于深度学习的图像匹配技术#

与依赖特定规则的经典方法不同，深度学习会从大型数据集中自动学习特征。大型数据集是视觉数据的集合，AI 模型会从中学习模式。这些模型通常运行在 GPU（图形处理器）上，GPU 能提供处理大批量图像和高效训练复杂神经网络所需的强大计算能力。

这使 AI 模型能够处理光照、相机角度和遮挡等现实世界中的变化。一些模型还会将所有步骤整合到单一工作流中，从而在具有挑战性的条件下实现稳健性能。

以下是一些用于图像特征提取和匹配的深度学习方法：

• 基于 CNN 的特征提取：这些模型会从大型数据集中自动学习关键视觉模式。它们能够识别不太可能发生变化的特征，因此可以可靠地匹配不同场景中的物体。

• 基于嵌入的匹配：该方法不直接比较像素，而是将图像转换为称为嵌入的紧凑数值表示。随后，匹配器会比较这些嵌入，以寻找相似的视觉内容。FaceNet 等模型采用了这种方法。FaceNet 通过生成嵌入来识别和比较人脸；CLIP 则将图像和文本映射到共享空间中，用于图像搜索和语义匹配等任务。

• 端到端匹配流程：尖端深度学习系统通常会将关键点检测、描述和匹配整合到统一工作流中。SuperPoint 和 D2-Net 等模型直接从 CNN 特征图中学习关键点和描述子，而 SuperGlue 则充当学习型匹配器，比传统方法更可靠地配对这些描述子。这些组件共同构成端到端流程，在具有挑战性的条件下，相比基于经典特征的方法能够提供更高的准确性和更强的鲁棒性。

• 基于 Transformer 的匹配：该方法使用注意力机制关联两张图像中的对应区域，即使视角、光照或纹理发生显著变化，也能对齐图像块。LoFTR（局部特征 Transformer）等模型具有更高的准确性，这是因为 Transformer 的全局感受野能够在低纹理、模糊或重复区域中实现可靠匹配，而传统检测器在这些区域往往会失效。LoFTR 可以生成半稠密、高置信度的匹配结果，并在室内和室外基准测试中大幅超越此前的先进方法。

• 注重效率的模型：较新的图像匹配模型旨在提高准确性的同时加快运行速度。LightGlue 等模型经过设计，可以在计算能力有限的设备上高效运行，同时保持良好的匹配质量。

图像匹配的实际应用#

现在我们已经更好地了解了图像匹配的工作原理，下面来看看它在其中发挥重要作用的一些实际应用。

图像匹配驱动的智能机器人#

机器人经常在繁忙且不断变化的环境中运行，需要了解有哪些物体以及它们的摆放方式。图像匹配可以通过将机器人看到的物体与存储的图像或参考图像进行比较，帮助机器人理解这些物体。这样一来，即使光照或相机角度发生变化，机器人也能更轻松地识别物体、跟踪其运动并进行适应。

例如，在仓库中，机器人抓取与放置系统可以使用图像匹配来识别和处理不同物品。机器人首先抓取一个物体，然后将其图像与参考样本进行比较，以识别该物体。

图 5. 机器人通过将物体与参考图像匹配来识别并抓取物体。（来源）

找到匹配结果后，机器人就知道如何正确地对物体进行分拣或放置。这种方法使机器人无需重新训练整个系统，就能识别熟悉和新出现的物体。它还可以帮助机器人更好地进行实时决策，例如整理货架、组装零件或重新排列物品。

通过更好的图像匹配改进 3D 重建#

在无人机测绘、虚拟现实和建筑检查等领域，系统通常需要根据多张 2D 图像重建 3D 模型。为此，它们依赖图像匹配来识别出现在多张图像中的共同关键点，例如角点或纹理区域。

这些共享点帮助系统理解图像在 3D 空间中的相互关系。这一理念与运动恢复结构 (SfM) 密切相关。SfM 是一种通过识别和匹配从不同视角拍摄的图像中的关键点来构建 3D 结构的技术。

如果匹配不准确，生成的 3D 模型可能会出现变形或不完整。因此，研究人员一直在努力提高图像匹配用于 3D 重建时的可靠性，近期的进展也展现出了良好前景。

一个有趣的例子是 HashMatch，这是一种更快速、更稳健的图像匹配算法。HashMatch 会将图像细节转换为称为哈希码的紧凑模式，从而更容易识别正确匹配并移除离群点，即使光照或视角有所变化也不例外。

在大型数据集上进行测试时，HashMatch 生成的 3D 重建模型更加清晰、逼真，对齐错误也更少。这使它特别适合无人机测绘、AR 系统和文化遗产保护等对精度要求很高的应用。

图像匹配在增强现实中的作用#

对于增强现实 (AR)来说，让虚拟物体与现实世界保持对齐通常是一项挑战。户外环境会因阳光和天气等环境条件而不断变化。现实世界中的细微差异可能会让虚拟元素显得不稳定或略微错位。

为了解决这一问题，AR 系统会使用图像匹配来解读周围环境。通过将实时摄像头帧与存储的参考图像进行比较，系统可以了解用户所在的位置以及场景发生的变化。

图 6. 两张图像之间匹配的特征点。（来源：theijes.com）

例如，在一项涉及使用 XR（扩展现实）眼镜进行军事风格户外 AR 训练的研究中，研究人员使用 SIFT 和其他基于特征的方法来匹配现实图像与参考图像之间的视觉细节。即使用户快速移动或光照发生变化，准确的匹配也能让虚拟元素与现实世界保持正确对齐。

要点总结#

图像匹配是计算机视觉的核心组成部分，使系统能够理解不同图像之间的关系，或理解场景如何随时间变化。它在机器人、增强现实、3D 重建、自主导航以及许多其他要求精度和稳定性的实际应用中发挥着关键作用。

借助 SuperPoint 和 LoFTR 等先进 AI 模型，如今的系统比早期方法稳健得多。随着机器学习技术、专用视觉模块、神经网络和数据集不断发展，图像匹配有望变得更快、更准确，也更具适应性。

加入不断壮大的社区，并探索我们的 GitHub 代码库，获取可实践的 AI 资源。立即探索我们的许可选项，开始构建视觉 AI。访问我们的解决方案页面，了解 AI 在农业中的应用如何改变农业，以及医疗保健领域的视觉 AI如何塑造未来。