什么是视觉 AI 中的图像匹配？快速入门

当你观察同一物体的两张图片（例如一幅画和一张汽车照片）时，很容易注意到它们的共同点。然而，对于机器来说，这并非那么简单。

为了进行此类比较，机器依赖于计算机视觉，这是人工智能 (AI) 的一个分支，旨在帮助它们解释和理解视觉信息。计算机视觉使系统能够检测物体、理解场景并从图像或视频中提取模式。

特别是一些视觉任务不仅仅是分析单张图像。它们涉及比较多张图像以寻找相似之处、发现差异或跟踪随时间发生的变化。

视觉 AI 涵盖了一系列广泛的技术，其中一项关键能力称为图像匹配，它专注于识别图像之间的相似性，即使在光照、角度或背景发生变化时也是如此。此技术可用于机器人、增强现实和地理测绘等各种应用中。

在本文中，我们将探讨什么是图像匹配、其核心技术以及一些实际应用。让我们开始吧！

Link to this section什么是图像匹配？#

图像匹配使计算机系统能够理解两张图像是否包含相似的内容。人类可以通过观察形状、颜色和模式直观地完成此操作。

另一方面，计算机依赖于数值数据。它们通过分析每个像素来解析图像，像素是数字图像的最小单位。

每张图像都存储为像素网格，每个像素通常保存红、绿、蓝 (RGB) 的值。当图像旋转、调整大小、从不同角度观看或在不同光照条件下拍摄时，这些值可能会发生变化。由于这些变化，逐像素比较图像通常不可靠。

为了使比较更加一致，图像匹配专注于局部特征，或是在图像发生轻微变化时仍能保持稳定的角点、边缘和纹理区域。通过检测多张图像中的这些特征（即关键点），系统可以以更高的精度进行比较。

该过程广泛应用于导航、定位、增强现实、测绘、3D 重建和视觉搜索等用例中。当系统在不同图像或多个帧中识别出相同的点时，它们可以跟踪运动、理解场景结构并在动态环境中做出可靠的决策。

图 1. 识别出相似关键点的汽车图像匹配示例。(来源)

Link to this section了解图像匹配的工作原理#

图像匹配涉及几个关键步骤，有助于系统识别和比较图像中的相似区域。每一步都能提高不同条件下的准确性、一致性和稳健性。

以下是图像匹配工作原理的逐步介绍：

• 特征检测： 系统首先识别图像中独特的关键点，即使在光照、比例或视角发生变化时，这些点也能保持静止。它们突出了角点、边缘或纹理区域等在视觉上显著的区域。
• 特征描述： 每个关键点随后被转换为描述符，这是一种紧凑的数值向量，捕获了该点周围的视觉模式。这些描述符为比较不同图像之间的特征提供了一种可靠的方法。
• 特征匹配： 使用计算它们相似程度的匹配算法比较来自两张图像的描述符。此步骤配对看起来对应的关键点，并过滤掉较弱或不可靠的匹配。
• 几何验证： 最后，系统检查匹配的关键点是否形成现实的几何关系。它使用一种称为 RANSAC (Random Sample Consensus) 的方法删除错误的匹配（称为异常值），确保仅保留可靠的点对。一旦识别出良好的匹配，系统就会估计最能关联这两张图像的变换。这通常是仿射变换，用于调整比例、旋转和位移等变化；或是单应性矩阵，还可以处理透视变化。使用这些变换使系统能够准确对齐图像，即使它们是从略微不同的视点拍摄的。

图 2. (a) 特征点提取和 (b) 特征匹配。(来源)

Link to this section图像匹配涉及的核心技术#

在探索图像匹配的实际应用之前，我们先仔细了解一下计算机视觉系统中使用的图像匹配技术。

Link to this section基于模板匹配的图像匹配#

模板匹配是最直接的图像匹配方法之一。它通常被认为是一种图像处理技术，而不是现代计算机视觉方法，因为它依赖于直接的像素比较，而不提取更深层的视觉特征。

它用于在更大的场景中定位较小的参考图像或模板。它的工作原理是使用一种算法，将模板滑过主图像，并在每个位置计算相似度分数，以衡量两个区域匹配的紧密程度。得分最高的区域被认为是最佳匹配，指示了物体在场景中最可能出现的位置。

图 3. 观察模板匹配的使用。(来源)

当物体的比例、旋转和光照保持一致时，这种技术效果很好，使其成为受控环境或基准比较的理想选择。然而，当物体看起来与模板不同时，例如大小改变、旋转、部分遮挡或出现在嘈杂/复杂的背景下，其性能会下降。

Link to this section用于图像匹配的经典基于特征的技术#

在深度学习被广泛采用之前，图像匹配主要依赖于经典的计算机视觉算法，这些算法可以检测图像中独特的关键点。这些方法不是比较每个像素，而是分析图像梯度（即强度变化），以突出显著的角点、边缘和纹理区域。

每个检测到的关键点随后使用称为描述符的紧凑数值摘要来表示。比较两张图像时，匹配器会评估这些描述符以找到最相似的对。

高相似度分数通常表明同一个物理点出现在两张图像中。匹配器还使用特定的距离度量或评分规则来判断特征对齐的紧密程度，从而提高整体可靠性。

以下是一些用于图像匹配的关键经典计算机视觉算法：

• SIFT (Scale-Invariant Feature Transform)： 它通过分析图像强度梯度来识别关键点，使其在图像被放大、缩小或旋转时仍能被识别。

• SURF (Speeded-Up Robust Features)： 该算法与 SIFT 相似，但针对速度进行了优化。它使用基于梯度的操作的快速近似，使其适用于需要快速响应时间的应用程序。

• ORB (Oriented FAST and Rotated BRIEF)： 它结合了两种算法：FAST 和 BRIEF。FAST 能够快速找到图像中的角点，而 BRIEF 则为每个点创建一个紧凑的描述，以便它们可以在图像之间进行匹配。ORB 还通过增加旋转处理增强了这两个步骤，使其既快速又可靠。

图 4. 在两张图像之间提取并匹配的 SURF 特征点。(来源)

Link to this section基于深度学习的图像匹配技术#

与依赖特定规则的经典方法不同，深度学习会自动从大型数据集中学习特征，即 AI 模型从中学习模式的视觉数据集合。这些模型通常在 GPU (Graphics Processing Units) 上运行，GPU 提供了处理大批量图像和高效训练复杂神经网络所需的高计算能力。

这使得 AI 模型能够处理光照、相机角度和遮挡等现实世界中的变化。一些模型还将所有步骤整合到一个工作流中，从而支持在挑战性条件下的稳健性能。

以下是一些用于图像特征提取和匹配的深度学习方法：

• 基于 CNN 的特征提取： 这些模型自动从大型数据集中学习关键视觉模式。它们能够识别不太可能改变的特征，使其成为跨不同场景匹配物体的可靠选择。

• 基于嵌入的匹配： 该方法不是直接比较像素，而是将图像转化为称为嵌入的紧凑数值表示。匹配器随后比较这些嵌入以找到相似的视觉效果。生成用于识别和比较人脸的嵌入的 FaceNet，以及将图像和文本映射到共享空间以进行图像搜索和语义匹配等任务的 CLIP，都遵循此方法。

• 端到端匹配管道： 最前沿的深度学习系统通常将关键点检测、描述和匹配整合到一个统一的工作流中。像 SuperPoint 和 D2-Net 这样的模型直接从 CNN 特征图中学习关键点和描述符，而 SuperGlue 则作为一种学习型匹配器，比传统方法更可靠地配对这些描述符。这些组件共同创建了一个端到端管道，在挑战性条件下提供了比经典基于特征的方法更高的准确性和更强的稳健性。

• 基于 Transformer 的匹配： 此方法使用注意力机制来链接两张图像中的对应区域，即使在视角、光照或纹理发生剧烈变化时，它也能对齐补丁。像 LoFTR (Local Feature Transformer) 这样的模型实现了更高的准确性，因为 Transformer 的全局感受野使得在传统检测器失效的低纹理、模糊或重复区域也能进行可靠匹配。LoFTR 生成半密集、高置信度的匹配，并在室内和室外基准测试上大幅超越了先前的最先进方法。

• 专注于效率的模型： 新型图像匹配模型旨在在保持高准确性的同时运行得更快。像 LightGlue 这样的模型旨在在计算能力有限的设备上高效运行，同时保持良好的匹配质量。

Link to this section图像匹配的实际应用#

既然我们已经更好地了解了图像匹配的工作原理，让我们看看它发挥重要作用的一些实际应用。

Link to this section由图像匹配驱动的更智能的机器人#

机器人通常在繁忙且不断变化的环境中运行，它们需要理解当前存在哪些物体以及它们是如何放置的。图像匹配可以通过将物体与存储或参考图像进行比较，帮助机器人理解它们所看到的物体。这使得机器人更容易识别物体、跟踪其运动，并即使在光照或相机角度发生变化时也能进行适应。

例如，在仓库中，机器人分拣系统可以使用图像匹配来识别和处理不同的物品。机器人首先抓住物体，然后将其图像与参考样本进行比较以进行识别。

图 5. 机器人通过将物体与参考图像匹配来识别并捡起它们。(来源)

一旦找到匹配项，机器人就知道如何正确地对其进行分类或放置。这种方法使机器人能够识别熟悉和新的物体，而无需重新训练整个系统。它还可以帮助它们做出更好的实时决策，例如整理货架、组装零件或重新排列物品。

Link to this section利用更好的图像匹配改进 3D 重建#

在无人机测绘、虚拟现实和建筑检查等领域，系统通常需要从多张 2D 图像中重建 3D 模型。为此，它们依赖图像匹配来识别出现在多张图像中的共同关键点，如角点或纹理区域。

这些共享点有助于系统理解图像在 3D 空间中是如何关联的。这一概念与运动结构恢复 (SfM) 密切相关，这是一种通过识别和匹配从不同视点拍摄的图像中的关键点来构建 3D 结构的技术。

如果匹配不准确，生成的 3D 模型可能会显得扭曲或不完整。因此，研究人员一直在致力于提高用于 3D 重建的图像匹配的可靠性，最近的进展显示出了令人鼓舞的结果。

一个有趣的例子是 HashMatch，这是一种更快且更稳健的图像匹配算法。HashMatch 将图像细节转换为称为哈希码的紧凑模式，即使在光照或视角发生变化时，也能更容易地识别正确匹配并删除异常值。

在大型数据集上进行测试时，HashMatch 生成了更干净、更逼真的 3D 重建模型，且对齐错误更少。这使其在无人机测绘、AR 系统和文化遗产保护等精度至关重要的应用中特别有用。

Link to this section图像匹配在增强现实中的作用#

当谈到增强现实 (AR) 时，保持虚拟物体与真实世界对齐通常是一个挑战。户外环境会根据阳光和天气等环境条件不断变化。现实世界中的细微差异可能导致虚拟元素看起来不稳定或稍微偏离位置。

为了解决这个问题，AR 系统使用图像匹配来解读周围环境。通过将实时摄像机画面与存储的参考图像进行比较，它们可以了解用户所处的位置以及场景发生了怎样的变化。

图 6. 在两张图像之间匹配的特征点。(来源: theijes.com)

例如，在一项涉及使用 XR（扩展现实）眼镜进行军事风格户外 AR 训练的研究中，研究人员使用 SIFT 和其他基于特征的方法来匹配真实图像和参考图像之间的视觉细节。准确的匹配使虚拟元素与真实世界保持了正确的对齐，即使在用户快速移动或光照发生变化时也是如此。

Link to this section关键要点#

图像匹配是计算机视觉的核心组件，使系统能够理解不同图像之间的关联方式，或者场景随时间的变化方式。它在机器人、增强现实、3D 重建、自动导航以及许多其他精度和稳定性至关重要的现实应用中发挥着关键作用。

随着 SuperPoint 和 LoFTR 等高级 AI 模型的出现，如今的系统比早期方法要稳健得多。随着机器学习技术、专用视觉模块、神经网络和数据集的不断进步，图像匹配可能会变得更快、更准确且更具适应性。

加入我们日益壮大的社区，并探索我们的 GitHub 仓库以获取实践 AI 资源。要立即使用视觉 AI 进行构建，请探索我们的许可选项。通过访问我们的解决方案页面，了解农业 AI 如何改变耕作方式，以及医疗保健视觉 AI 如何塑造未来。