Meta AI 的 Segment Anything Model 2 (SAM 2) 的应用
加入我们，深入了解 Meta AI 的 Segment Anything Model 2 (SAM 2)，并了解它可以在各行各业的哪些实时应用中使用。
2024年7月29日，Meta AI 发布了其 Segment Anything Model 的第二版本 SAM 2。这个新模型可以精准定位图像和视频中目标对象属于哪些像素！最棒的是，该模型能够实时持续地在视频的所有帧中跟踪一个对象。SAM 2 为视频编辑、混合现实体验以及更快地标注视觉数据以训练计算机视觉系统开辟了令人兴奋的可能性。
在继承原始 SAM 成功经验的基础上（该模型已广泛应用于海洋科学、卫星图像和医学等领域），SAM 2 攻克了快速运动物体和外观变化等挑战。其更高的准确性和效率使其成为适用于广泛场景的通用工具。在本文中，我们将重点关注 SAM 2 的应用场景及其对 AI 社区的重要意义。
什么是 SAM 2？#
Segment Anything Model 2 是一种高级基础模型，支持在图像和视频中进行提示式视觉分割（即 PVS）。PVS 是一种技术，模型能够根据用户提供的特定提示或输入来分割或识别图像或视频的不同部分。这些提示可以采用点击、方框或掩码的形式，以突出显示感兴趣的区域。然后，模型会生成一个勾勒出指定区域轮廓的分割掩码。
SAM 2 的架构在原始 SAM 的基础上进行了扩展，从图像分割扩展到了视频分割。它具有一个轻量级的遮罩解码器，利用图像数据和提示来创建分割遮罩。对于视频，SAM 2 引入了一个内存系统，帮助其记住之前帧的信息，从而确保随时间的准确跟踪。该内存系统包含存储和检索有关正在分割对象细节的组件。SAM 2 还可以处理遮挡问题，通过多帧跟踪对象，并通过生成多个可能的遮罩来处理模棱两可的提示。SAM 2 先进的架构使其在静态和动态视觉环境中都具有极高的能力。
具体而言，在视频分割方面，与以往的方法相比，SAM 2 实现了更高的准确性，同时用户交互次数减少了三倍。在图像分割方面，SAM 2 的表现优于原版的Segment Anything Model (SAM)，速度提升了六倍，准确性也更高。SAM 2 的研究论文在 37 个不同的数据集（包括 SAM 之前测试过的 23 个数据集）中展示了这一改进。
图 1. SAM 与 SAM 2 的对比。
有趣的是，Meta AI 的 SAM 2 是通过创建迄今为止最大的视频分割数据集（即 SA-V 数据集）开发出来的。这个庞大的数据集包含 50,000 多个视频和 3550 万个分割掩码，是通过交互式用户贡献收集的。标注者提供了提示和修正，以帮助模型从各种各样的场景和对象类型中进行学习。
Segment Anything Model 2 的应用#
得益于其在图像和视频分割方面的先进功能，SAM 2 可应用于各个行业。让我们探索其中一些应用。
SAM 2 实现增强现实 (AR) 和虚拟现实 (VR)#
Meta AI 的全新分割模型可用于增强现实 (AR) 和虚拟现实 (VR) 应用。例如，SAM 2 可以准确识别和分割现实世界的物体，使与虚拟物体的交互感觉更加真实。它可用于游戏、教育和培训等各个领域，在这些领域中，虚拟元素与真实元素之间的逼真交互至关重要。
随着 AR 眼镜等设备变得越来越先进，SAM 2 的功能很快就能被整合到其中。想象一下，戴上眼镜环顾你的客厅。当眼镜分割并注意到你狗的水碗时，它可能会提醒你加水，如下图所示。或者，如果你正在烹饪一份新食谱，眼镜可以识别台面上的食材，并提供逐步说明和提示，从而改善你的烹饪体验并确保你手头有所有必要的物品。
图 2. SAM 2 有望很快应用于 AR 眼镜。
Segment Anything Model 2 的声纳成像#
使用 SAM 模型的研究表明，它可以应用于诸如声呐成像等专业领域。由于分辨率低、噪声水平高以及图像中物体的形状复杂，声呐成像带来了独特的挑战。通过针对声呐图像微调 SAM，研究人员证明了它能够准确分割各种水下物体，如海洋碎片、地质构造和其他感兴趣的项目。精确可靠的水下成像可用于海洋研究、水下考古、渔业管理以及用于栖息地测绘、文物发现和威胁检测等任务的监测。
图 3。使用微调后的 SAM 进行声呐图像分割的示例。
由于 SAM 2 继承并改进了 SAM 面临的许多挑战，它有潜力进一步改善声呐成像的分析。其精确的分割功能可以辅助各种海洋应用，包括科学研究和渔业。例如，SAM 2 可以有效地勾勒出水下结构的轮廓、检测海洋碎片并识别前视声呐图像中的物体，从而有助于进行更准确、更高效的水下勘探和监测。
以下是使用 SAM 2 分析声纳成像的潜在好处：
- 效率：减少了手动分割所需的时间和精力，使专业人员能够更专注于分析和决策。
- 一致性： 提供一致且可重复的分割结果，这对于大规模海洋研究和监测至关重要。
- 多功能性： 能够处理各种声纳图像，使其对海洋科学和工业中的不同应用非常有用。
通过将 SAM 2 集成到声纳成像流程中，海洋工业可以在水下勘探和分析方面实现更高的效率、准确性和可靠性，最终在海洋研究中取得更好的成果。
在自动驾驶汽车中使用 SAM 2#
SAM 2 的另一个应用是在自动驾驶汽车领域。SAM 2 可以实时准确地识别行人、其他车辆、道路标志和障碍物等物体。SAM 2 能够提供的细节水平对于做出安全导航和防撞决策至关重要。通过精确处理视觉数据，SAM 2 有助于创建详细且可靠的环境地图，从而做出更好的决策。
图 4. 使用分割来理解交通。
SAM 2 在不同光照条件、天气变化和动态环境下都能很好地工作，这使其对自动驾驶汽车来说非常可靠。无论是繁忙的城市街道还是多雾的高速公路，SAM 2 都能始终准确地识别和分割对象，以便车辆能够对各种情况做出正确的反应。
然而，有一些局限性需要记住。对于复杂、快速移动的对象，SAM 2 有时会错过细微的细节，其预测可能会在各帧之间变得不稳定。此外，SAM 2 有时会在拥挤的场景中混淆多个看起来相似的对象。这些挑战正是为什么在自动驾驶应用中整合额外的传感器和技术至关重要。
在 SAM 2 的帮助下进行环境监测#
使用计算机视觉进行环境监测可能很棘手，尤其是当缺乏标注数据时，但这正是它成为 SAM 2 有趣应用的原因。SAM 2 可用于通过从卫星或无人机图像中准确分割和识别森林、水体、市区和农业用地等各种环境特征，来跟踪和分析自然景观的变化。具体而言，精确的分割有助于监测森林砍伐、城市化以及随时间推移的土地使用变化，从而为环境保护和规划提供有价值的数据。
以下是使用像 SAM 2 这样的模型随时间分析环境变化的一些好处：
- 早期检测： 识别环境退化的早期迹象，允许及时干预以防止进一步的损害。
- 资源管理： 通过提供有关各种环境特征状态的详细见解，协助有效管理自然资源。
- 生物多样性保护： 有助于跟踪野生动物和监测生物多样性，为保护工作和濒危物种的保护做出贡献。
- 灾难响应： 协助评估洪水、野火和飓风等自然灾害的影响，从而实现快速有效的灾难响应和恢复规划。
使用 SAM 2 进行视频编辑：自己动手试试#
Segment Anything 2 演示是体验该模型处理视频效果的绝佳方式。利用 SAM 2 的 PVS 功能，我们拿来了一个旧的 Ultralytics YouTube 视频，成功分割出视频中的三个物体或人物并对它们进行了像素化处理。传统上，像这样从视频中编辑掉三个人会非常耗时且繁琐，需要手动逐帧进行遮罩处理。然而，SAM 2 简化了这一过程。只需在演示中点击几下，你就可以在几秒钟内保护三个感兴趣对象的身份。
图 6. 尝试 SAM 2 演示。
该演示还让你能够尝试一些不同的视觉效果，比如为你选择用于跟踪的物体添加聚光灯效果，以及擦除正在跟踪的物体。如果你喜欢这个演示并准备好开始使用 SAM 2 进行创新，请查看 Ultralytics SAM 2 模型文档页面，获取有关上手使用该模型的详细说明。探索其功能、安装步骤和示例，以充分发挥 SAM 2 在你项目中的潜力！
总结#
Meta AI 的 Segment Anything Model 2 (SAM 2) 正在改变视频和图像分割。随着对象跟踪等任务的改进，我们正在发现视频编辑、混合现实、科学研究和医学成像方面的新机会。通过简化复杂任务并加快标注速度，SAM 2 已准备好成为 AI 社区的重要工具。随着我们继续使用像 SAM 2 这样的模型进行探索和创新，我们可以期待在各个领域出现更多突破性的应用和进步！
通过探索我们的GitHub 仓库并加入我们的社区，深入了解 AI。查看我们的解决方案页面，获取有关 AI 在制造业和医疗保健领域应用的详细见解。🚀
