什么是 Mask R-CNN 以及它是如何工作的？

随着 AI 的普及，诸如仓库中的机器人、在繁忙街道上安全行驶的自动驾驶汽车、检查农作物的无人机以及在工厂中检查产品的 AI 系统等创新变得越来越普遍。推动这些创新的核心技术是计算机视觉，这是 AI 的一个分支，使机器能够理解和解释视觉数据。

例如，目标检测是一种计算机视觉任务，它通过边界框来识别和定位图像中的对象。虽然边界框提供了有用的信息，但它们只能粗略地估计对象的位置，无法捕获其确切的形状或边界。这使得它们在需要精确识别的应用中效果不佳。

为了解决这个问题，研究人员开发了分割模型，这些模型可以捕获对象的精确轮廓，提供像素级的细节，从而实现更准确的检测和分析。

Mask R-CNN 就是这些模型之一。它于 2017 年由 Facebook AI Research (FAIR) 推出，建立在 R-CNN、Fast R-CNN 和 Faster R-CNN 等早期模型的基础之上。作为计算机视觉发展史上的一个重要里程碑，Mask R-CNN 为诸如 Ultralytics YOLO11 等更先进的模型铺平了道路。

在本文中，我们将探讨什么是 Mask R-CNN、它如何工作、它的应用以及它之后的改进，最终引出 Ultralytics YOLO11。

Mask R-CNN 概述#

Mask R-CNN 是 Mask Region-based Convolutional Neural Network 的缩写，是一个专为目标检测和实例分割等计算机视觉任务而设计的深度学习模型。

实例分割超越了传统的目标检测，它不仅能识别图像中的对象，还能准确地勾勒出每个对象的轮廓。它为每个检测到的对象分配一个唯一的标签，并以像素级捕获其确切形状。这种详细的方法使得清晰地区分重叠的对象并准确处理复杂形状成为可能。

Mask R-CNN 建立在 Faster R-CNN 的基础上，后者能够检测和标记对象，但无法定义它们的精确形状。Mask R-CNN 对此进行了改进，它识别构成每个对象的精确像素，从而能够进行更详细和准确的图像分析。

图 1. 目标检测与实例分割的比较。

深入了解 Mask R-CNN 的架构及其工作原理#

Mask R-CNN 采用分步方法来准确检测和分割对象。它首先使用深度神经网络（一种从数据中学习的多层模型）提取关键特征，然后通过区域提议网络（一个建议可能对象区域的组件）识别潜在的对象区域，最后通过创建详细的分割掩码（对象的精确轮廓）来细化这些区域，从而捕获每个对象的精确形状。

接下来，我们将逐步了解 Mask R-CNN 的工作原理。

图 2. Mask R-CNN 架构概述（来源：researchgate.net）。

从特征提取开始#

Mask R-CNN 架构的第一步是将图像分解为关键部分，以便模型能够理解其中的内容。这就像你看着一张照片时，自然会注意到形状、颜色和边缘等细节一样。该模型使用一种称为“骨干（backbone）”（通常是 ResNet-50 或 ResNet-101）的深度神经网络来做类似的事情，它就像模型的眼睛，扫描图像并捕捉关键细节。

由于图像中的对象可能非常小或非常大，Mask R-CNN 使用了特征金字塔网络。这就像拥有不同的放大镜，让模型既能看到微小的细节，也能看到全局，从而确保各种尺寸的对象都能被注意到。

一旦提取出这些重要的特征，模型就会继续定位图像中的潜在对象，为进一步的分析奠定基础。

建议图像中包含对象的潜在区域#

在对图像的关键特征进行处理后，区域提议网络（Region Proposal Network）就会接管工作。模型的这一部分会观察图像并建议可能包含对象的区域。

它通过生成多个称为锚点的可能对象位置来实现这一点。然后，网络会评估这些锚点并选择最有希望的锚点进行进一步分析。通过这种方式，模型只关注最有趣的区域，而不是检查图像中的每一个点。

图 3. 区域建议网络的一个示例。

增强提取的特征#

确定了关键区域后，下一步是细化从这些区域提取的细节。早期的模型使用一种称为 ROI Pooling（感兴趣区域池化）的方法来从每个区域获取特征，但这种技术有时会在调整区域大小时导致轻微的错位，使其效果变差——特别是对于较小或重叠的对象。

Mask R-CNN 通过使用称为 ROI Align（感兴趣区域对齐）的技术对此进行了改进。与 ROI Pooling 不同，ROI Align 不会舍入坐标，而是使用双线性插值来更精确地估计像素值。双线性插值是一种通过平均其四个最近邻居的值来计算新像素值的方法，这会产生更平滑的过渡。这使得特征能与原始图像保持正确对齐，从而实现更准确的目标检测和分割。

例如，在足球比赛中，两名站在一起的球员可能会因为边界框重叠而被误认为是同一个人。ROI Align 通过保持它们形状的独特性来帮助将它们区分开来。

图 4。Mask R-CNN 使用 ROI Align。

分类对象并预测它们的掩码#

一旦 ROI Align 处理了图像，下一步就是对对象进行分类并微调它们的位置。模型会查看每个提取的区域并确定它包含什么对象。它为不同的类别分配概率得分，并选择最佳匹配项。

与此同时，它会调整边界框以更好地适配对象。最初的边界框放置可能并不理想，因此这有助于确保每个边界框紧密地包围检测到的对象，从而提高准确性。

最后，Mask R-CNN 采取了额外的一步：它并行地为每个对象生成一个详细的分割掩码。

Mask R-CNN 及其实时应用#

当该模型问世时，它受到了 AI 社区的热烈欢迎，并很快被应用于各种场景。它实时检测和分割对象的能力使其成为各行业的颠覆性技术。

例如，在野外追踪濒危动物是一项具有挑战性的任务。许多物种在茂密的森林中穿行，这使得保护主义者很难追踪它们。传统方法使用红外相机、无人机和卫星图像，但人工筛选所有这些数据既耗时又费力。错误识别和漏掉观测记录会拖慢保护工作的进展。

通过识别老虎条纹、长颈鹿斑点或大象耳朵形状等独特特征，Mask R-CNN 可以以更高的准确度检测和分割图像和视频中的动物。即使动物被树木部分遮挡或站得很近，模型也能将它们分开并分别识别每一个，从而使野生动物监测更快、更可靠。

图 5. 使用 Mask R-CNN 检测和分割动物。

Mask R-CNN 的局限性#

尽管 Mask R-CNN 在目标检测和分割方面具有历史意义，但它也存在一些主要缺点。以下是与 Mask R-CNN 相关的一些挑战：

• 高计算需求：它依赖于强大的 GPU，这可能导致运行成本高昂，且在处理大量数据时速度较慢。
• 处理速度较慢：它的多阶段过程使其与 YOLO 等更快的实时模型相比速度较慢，可能不太适合对时间敏感的任务。
• 对高质量数据的依赖：该模型在清晰、标注良好的图像上表现最佳。模糊或光线不足的图像会显着降低其准确性。
• 实现复杂：多阶段架构可能难以设置和优化，特别是在处理大型数据集或资源有限时。

从 Mask R-CNN 到 Ultralytics YOLO11#

Mask R-CNN 在分割任务上表现出色，但许多行业在采用计算机视觉时更优先考虑速度和实时性能。这一需求促使研究人员开发了单阶段模型，这些模型可以在单次扫描中检测对象，极大地提高了效率。

与 Mask R-CNN 的多步骤过程不同，诸如 YOLO (You Only Look Once) 等单阶段计算机视觉模型专注于实时计算机视觉任务。YOLO 模型无需分别处理检测和分割，而是一次性分析图像。这使其非常适合自动驾驶、医疗保健、制造业和机器人等对快速决策至关重要的应用。

特别是，Ultralytics YOLO11 在速度和准确性方面都更进一步。它的参数比 YOLOv8m 少 22%，但在 COCO 数据集上仍然实现了更高的平均精度均值 (mAP)，这意味着它能更精确地检测物体。其改进的处理速度使其成为每个毫秒都至关重要的实时应用的理想选择。

图 6。YOLO11 与其他模型的性能比较。

关键要点#

回顾计算机视觉的历史，Mask R-CNN 被公认为目标检测和分割领域的重大突破。得益于其详细的多步骤过程，它即使在复杂环境下也能提供非常精确的结果。

然而，同样的这个过程使得它与 YOLO 等实时模型相比速度较慢。随着对速度和效率需求的增长，许多应用现在倾向于使用像 Ultralytics YOLO11 这样的单阶段模型，它们提供了快速且准确的目标检测。虽然 Mask R-CNN 在理解计算机视觉演进方面很重要，但向实时解决方案的发展趋势凸显了对更快速、更高效计算机视觉解决方案日益增长的需求。

加入我们不断壮大的社区！探索我们的 GitHub 仓库以了解更多关于 AI 的信息。准备好开始你自己的计算机视觉项目了吗？查看我们的许可选项。访问我们的解决方案页面，探索农业领域的 AI 和医疗保健领域的视觉 AI！