什么是 Mask R-CNN 以及它是如何工作的？
学习如何使用 Mask R-CNN 精确地分割图像和视频中的对象，以应用于不同行业的各种场景。
随着 AI 的普及，仓库中的机器人、在繁忙街道上安全行驶的自动驾驶汽车、巡视农作物的无人机以及在工厂检测产品的 AI 系统等创新应用正变得越来越普遍。推动这些创新的核心技术之一是 计算机视觉，这是 AI 的一个分支，旨在使机器能够理解和解释视觉数据。
例如，目标检测是一种计算机视觉任务，它通过边界框来识别和定位图像中的对象。虽然边界框提供了有用的信息，但它们只能粗略地估计对象的位置，无法捕获其确切的形状或边界。这使得它们在需要精确识别的应用中效果不佳。
为了解决这个问题，研究人员开发了分割模型，这些模型可以捕获对象的精确轮廓，提供像素级的细节，从而实现更准确的检测和分析。
Mask R-CNN 就是这些模型之一。它由 Facebook AI Research (FAIR) 于 2017 年推出，建立在 R-CNN、Fast R-CNN 和 Faster R-CNN 等早期模型的基础上。作为计算机视觉历史上的一个重要里程碑，Mask R-CNN 为更先进的模型（例如 Ultralytics YOLO11）铺平了道路。
在本文中，我们将探讨什么是 Mask R-CNN、它的工作原理、应用场景以及它之后出现的改进，并最终引出 YOLO11。
Link to this sectionMask R-CNN 概述#
Mask R-CNN（Mask Region-based Convolutional Neural Network 的缩写）是一个深度学习模型，专为目标检测和实例分割等 计算机视觉任务 而设计。
实例分割超越了传统的目标检测，它不仅能识别图像中的对象，还能准确地勾勒出每个对象的轮廓。它为每个检测到的对象分配一个唯一的标签，并以像素级捕获其确切形状。这种详细的方法使得清晰地区分重叠的对象并准确处理复杂形状成为可能。
Mask R-CNN 建立在 Faster R-CNN 的基础上，后者能够检测和标记对象，但无法定义它们的精确形状。Mask R-CNN 对此进行了改进，它识别构成每个对象的精确像素，从而能够进行更详细和准确的图像分析。
图 1. 目标检测与实例分割的比较。
Link to this section深入了解 Mask R-CNN 的架构及其工作原理#
Mask R-CNN 采用分步方法来准确检测和分割对象。它首先使用深度神经网络（一种从数据中学习的多层模型）提取关键特征，然后通过区域提议网络（一个建议可能对象区域的组件）识别潜在的对象区域，最后通过创建详细的分割掩码（对象的精确轮廓）来细化这些区域，从而捕获每个对象的精确形状。
接下来，我们将逐步了解 Mask R-CNN 的工作原理。
图 2. Mask R-CNN 架构概述（来源：researchgate.net）。
Link to this section从特征提取开始#
Mask R-CNN 架构的第一步是将图像分解为关键部分，以便模型能够理解其中的内容。这就像你看着一张照片时，自然会注意到形状、颜色和边缘等细节一样。该模型使用一种称为“骨干（backbone）”（通常是 ResNet-50 或 ResNet-101）的深度神经网络来做类似的事情，它就像模型的眼睛，扫描图像并捕捉关键细节。
由于图像中的对象可能非常小或非常大，Mask R-CNN 使用了特征金字塔网络。这就像拥有不同的放大镜，让模型既能看到微小的细节，也能看到全局，从而确保各种尺寸的对象都能被注意到。
一旦这些重要的 特征被提取出来，模型就会继续定位图像中的潜在对象，为进一步分析做好准备。
Link to this section建议图像中包含对象的潜在区域#
在对图像的关键特征进行处理后，区域提议网络（Region Proposal Network）就会接管工作。模型的这一部分会观察图像并建议可能包含对象的区域。
它是通过生成多个可能的目标位置（称为 锚框（anchors））来实现这一点的。然后，网络会评估这些锚框并选择最有希望的锚框进行进一步分析。这样，模型只关注最有可能感兴趣的区域，而不是检查图像中的每一个点。
图 3. 区域提议网络示例。
Link to this section增强提取的特征#
确定了关键区域后，下一步是细化从这些区域提取的细节。早期的模型使用一种称为 ROI Pooling（感兴趣区域池化）的方法来从每个区域获取特征，但这种技术有时会在调整区域大小时导致轻微的错位，使其效果变差——特别是对于较小或重叠的对象。
Mask R-CNN 通过使用称为 ROI Align（感兴趣区域对齐）的技术对此进行了改进。与 ROI Pooling 不同，ROI Align 不会舍入坐标，而是使用双线性插值来更精确地估计像素值。双线性插值是一种通过平均其四个最近邻居的值来计算新像素值的方法，这会产生更平滑的过渡。这使得特征能与原始图像保持正确对齐，从而实现更准确的目标检测和分割。
例如，在足球比赛中，两名站在一起的球员可能会因为边界框重叠而被误认为是同一个人。ROI Align 通过保持它们形状的独特性来帮助将它们区分开来。
图 4. Mask R-CNN 使用 ROI Align。
Link to this section分类对象并预测它们的掩码#
一旦 ROI Align 处理了图像，下一步就是对对象进行分类并微调它们的位置。模型会查看每个提取的区域并确定它包含什么对象。它为不同的类别分配概率得分，并选择最佳匹配项。
与此同时，它会调整边界框以更好地适配对象。最初的边界框放置可能并不理想，因此这有助于确保每个边界框紧密地包围检测到的对象，从而提高准确性。
最后，Mask R-CNN 多走了一步：它并行地为每个对象生成详细的 分割掩码。
Link to this sectionMask R-CNN 及其实时应用#
当该模型问世时，它受到了 AI 社区的热烈欢迎，并很快被应用于各种场景。它实时检测和分割对象的能力使其成为各行业的颠覆性技术。
例如，追踪野生动物 是一项极具挑战性的任务。许多物种穿梭在茂密的森林中，这使得保护主义者很难追踪它们。传统方法使用红外相机、无人机和卫星图像，但手工整理所有这些数据非常耗时。误识别和漏报可能会减缓保护工作。
通过识别老虎条纹、长颈鹿斑点或大象耳朵形状等独特特征，Mask R-CNN 可以以更高的准确度检测和分割图像和视频中的动物。即使动物被树木部分遮挡或站得很近，模型也能将它们分开并分别识别每一个，从而使野生动物监测更快、更可靠。
图 5. 使用 Mask R-CNN 检测和分割动物。
Link to this sectionMask R-CNN 的局限性#
尽管 Mask R-CNN 在目标检测和分割方面具有历史意义，但它也存在一些主要缺点。以下是与 Mask R-CNN 相关的一些挑战：
- 对计算资源需求高：它依赖于强大的 GPU，这使得它在处理大量数据时运行成本高且速度较慢。
- 处理速度较慢：它的多阶段过程使其与 YOLO 等更快的实时模型相比速度较慢，可能不太适合对时间敏感的任务。
- 对高质量数据的依赖：该模型在清晰、标注良好的图像上表现最佳。模糊或光线不足的图像会显着降低其准确性。
- 实现复杂：多阶段架构可能难以设置和优化，特别是在处理大型数据集或资源有限时。
Link to this section从 Mask R-CNN 到 Ultralytics YOLO11#
Mask R-CNN 在分割任务上表现出色，但许多行业在采用计算机视觉时更优先考虑速度和实时性能。这一需求促使研究人员开发了单阶段模型，这些模型可以在单次扫描中检测对象，极大地提高了效率。
与 Mask R-CNN 的多步骤过程不同，像 YOLO（You Only Look Once）这样的单阶段 计算机视觉模型 专注于实时计算机视觉任务。YOLO 模型无需分别处理检测和分割，而是一次性分析图像。这使其非常适合自动驾驶、医疗保健、制造和机器人等需要快速决策的应用场景。
特别是 YOLO11，它在保持高速的同时更加准确，更进一步。它使用的参数比 YOLOv8m 少 22%，但在 COCO 数据集上仍能实现更高的平均精度（mAP），这意味着它能更精确地检测对象。其改进的处理速度使其成为每一毫秒都很重要的实时应用的理想选择。
图 6. YOLO11 与其他模型的性能对比。
Link to this section关键要点#
回顾计算机视觉的历史，Mask R-CNN 被公认为目标检测和分割领域的重大突破。得益于其详细的多步骤过程，它即使在复杂环境下也能提供非常精确的结果。
然而，同样的这个过程使得它与 YOLO 等实时模型相比速度较慢。随着对速度和效率需求的增长，许多应用现在倾向于使用像 Ultralytics YOLO11 这样的单阶段模型，它们提供了快速且准确的目标检测。虽然 Mask R-CNN 在理解计算机视觉演进方面很重要，但向实时解决方案的发展趋势凸显了对更快速、更高效计算机视觉解决方案日益增长的需求。
加入我们不断发展的 community！探索我们的 GitHub repository 以了解更多关于 AI 的知识。准备好开启你自己的计算机视觉项目了吗？查看我们的 licensing options。访问我们的解决方案页面，发现 AI in agriculture 和 vision AI in healthcare 的应用！
