Meta AI 万物分割模型 2（SAM 2）的应用
和我们一起深入了解 Meta AI 的万物分割模型 2（SAM 2），探索它在各行各业中的实时应用。
2024 年 7 月 29 日，Meta AI 发布了其 Segment Anything Model 的第二个版本 SAM 2。这个新模型能够精准定位图像和视频中属于目标物体的像素！最棒的是，模型能够实时、持续地在视频的所有帧中跟踪物体。SAM 2 为视频编辑、混合现实体验，以及更快速地标注用于训练计算机视觉系统的视觉数据带来了令人振奋的可能性。
最初的 SAM 已应用于海洋科学、卫星图像和医学等领域。SAM 2 在此基础上进一步应对快速移动的物体和外观变化等挑战。更高的准确性和效率让它成为适用于广泛应用的多功能工具。在本文中，我们将重点介绍 SAM 2 的应用场景，以及 SAM 2 对 AI 社区的重要意义。
什么是 SAM 2？#
Segment Anything Model 2 是一款先进的基础模型，支持在图像和视频中进行可提示视觉分割，简称 PVS。PVS 是一种技术，模型可以根据用户提供的特定提示或输入，对图像或视频的不同部分进行分割或识别。提示可以是点击、框或掩码，用于突出显示感兴趣的区域。随后，模型会生成一个分割掩码，标出指定区域的轮廓。
SAM 2 架构在原始 SAM 的基础上进行了扩展，从图像分割拓展到视频分割。它配备了一个轻量级掩码解码器，可利用图像数据和提示创建分割掩码。对于视频，SAM 2 引入了一套记忆系统，帮助模型记住之前帧的信息，确保长时间跟踪的准确性。记忆系统包含用于存储和调用被分割物体相关信息的组件。SAM 2 还可以处理遮挡、跨多帧跟踪物体，并通过生成多个可能的掩码来处理模糊的提示。SAM 2 的先进架构使其能够胜任静态和动态视觉环境中的任务。
具体来说，在视频分割方面，与以往方法相比，SAM 2 的准确性更高，用户交互次数减少至三分之一。在图像分割方面，SAM 2 的表现优于原始的 Segment Anything Model（SAM），速度快六倍，准确性也更高。SAM 2 研究论文在 37 个不同数据集上展示了这一改进，其中包括 SAM 之前测试过的 23 个数据集。
图 1. SAM 与 SAM 2 对比。
值得一提的是，Meta AI 的 SAM 2 是通过创建迄今规模最大的视频分割数据集 SA-V 开发的。这个大型数据集包含 5 万多个视频和 3550 万个分割掩码，通过用户交互贡献收集而成。标注人员提供提示并进行修正，帮助模型从各种场景和物体类型中学习。
Segment Anything Model 2 的应用#
凭借先进的图像和视频分割能力，SAM 2 可以应用于各行各业。让我们来看看其中的一些应用。
SAM 2 助力增强现实（AR）和虚拟现实（VR）#
Meta AI 的新型分割模型可用于增强现实（AR）和虚拟现实（VR）应用。例如，SAM 2 可以准确识别和分割现实世界中的物体，让用户与虚拟物体的互动更加逼真。它可用于游戏、教育和培训等多个领域，因为这些领域都需要虚拟元素与现实元素之间进行逼真的互动。
随着 AR 眼镜等设备日益先进，SAM 2 的能力很快就可能集成到这类设备中。想象一下，你戴上眼镜，环顾客厅。当眼镜分割并识别出狗的水碗时，眼镜可能会提醒你给水碗添水，如下图所示。或者，如果你正在烹饪一道新菜谱，眼镜可以识别台面上的食材，并提供分步说明和技巧，改善你的烹饪体验，确保所有必需的食材都在手边。
图 2. SAM 2 或将很快应用于 AR 眼镜。
使用 Segment Anything Model 2 进行声呐成像#
使用 SAM 的研究表明，该模型可应用于声呐成像等专业领域。声呐成像面临独特挑战，包括分辨率低、噪声大，以及图像中物体形状复杂。通过针对声呐图像微调 SAM，研究人员已证明该模型能够准确分割各种水下物体，例如海洋垃圾、地质构造和其他感兴趣的目标。精准可靠的水下成像可用于海洋研究、水下考古、渔业管理和监控，并应用于栖息地测绘、文物发现和威胁检测等任务。
图 3。使用微调后的 SAM 分割声呐图像示例。
SAM 2 在 SAM 的基础上进行了改进，有望进一步提升声呐成像分析能力。它精准的分割能力可用于各种海洋应用，包括科学研究和渔业。例如，SAM 2 可以有效勾勒水下结构、检测海洋垃圾，并识别前视声呐图像中的物体，从而让水下探索和监测更加准确、高效。
以下是使用 SAM 2 分析声呐图像的潜在优势：
- 效率：减少手动分割所需的时间和精力，让专业人员能更专注于分析和决策。
- 一致性：提供一致且可复现的分割结果，这对大规模海洋研究和监测至关重要。
- 通用性：能够处理各种声呐图像，因此适用于海洋科学和产业中的多种应用。
将 SAM 2 集成到声呐成像流程中，海洋产业可以提高水下探索和分析的效率、准确性与可靠性，最终推动海洋研究取得更好的成果。
在自动驾驶汽车中使用 SAM 2#
SAM 2 的另一个应用领域是自动驾驶汽车。SAM 2 可以实时准确识别行人、其他车辆、交通标志和障碍物等目标。SAM 2 所能提供的细节对于做出安全导航和避撞决策至关重要。通过精准处理视觉数据，SAM 2 有助于构建详细、可靠的环境地图，从而改善决策。
图 4。使用分割理解交通状况。
SAM 2 能够适应不同的光照条件、天气变化和动态环境，因此适用于自动驾驶汽车。无论是在繁忙的城市街道还是雾气弥漫的高速公路上，SAM 2 都能持续准确地识别和分割物体，让车辆能够针对各种情况做出正确响应。
不过，也有一些局限性需要注意。面对复杂的快速移动物体时，SAM 2 有时会遗漏细节，而且不同帧之间的预测可能不稳定。此外，在拥挤场景中，SAM 2 有时会混淆多个外观相似的物体。因此，在自动驾驶应用中集成其他传感器和技术至关重要。
借助 SAM 2 进行环境监测#
使用计算机视觉进行环境监测可能颇具挑战，尤其是在缺少标注数据时，但这也正是 SAM 2 在这一领域应用颇有意思的原因。SAM 2 可通过准确分割和识别卫星或无人机图像中的森林、水域、城市区域和农业用地等环境要素，追踪并分析自然景观的变化。具体来说，精准分割有助于监测森林砍伐、城市化进程和土地利用变化，为环境保护与规划提供有价值的数据。
以下是使用 SAM 2 这类模型分析环境长期变化的一些优势：
- 及早发现：识别环境退化的早期迹象，以便及时采取措施，防止损害进一步扩大。
- 资源管理：通过详细了解各种环境要素的状况，帮助高效管理自然资源。
- 生物多样性保护：帮助追踪野生动物和监测生物多样性，助力保护工作和濒危物种保护。
- 灾害响应：协助评估洪水、野火和飓风等自然灾害的影响，从而快速有效地开展灾害响应并制定恢复计划。
使用 SAM 2 编辑视频：亲自试试#
Segment Anything 2 演示是体验该模型视频处理能力的绝佳方式。我们利用 SAM 2 的 PVS 能力，处理了一段旧的 Ultralytics YouTube 视频，成功分割并像素化了视频中的三个人或物体。按照传统方法，要从这样的视频中编辑掉三个人既耗时又繁琐，还需要逐帧手动创建遮罩。不过，SAM 2 简化了这一流程。在演示中点击几下，你就能在几秒钟内保护三个感兴趣目标的身份信息。
图 6。体验 SAM 2 演示。
演示还支持体验几种不同的视觉效果，例如为你选择跟踪的物体添加聚光灯效果，以及擦除正在跟踪的物体。如果你喜欢这个演示，并准备开始使用 SAM 2 进行创新，请查看 Ultralytics SAM 2 模型文档页面，了解如何上手使用该模型的详细说明。探索各项功能、安装步骤和示例，充分发挥 SAM 2 在项目中的潜力！
总结#
Meta AI 的分割万物模型 2（SAM 2）正在改变视频和图像分割领域。随着目标跟踪等任务不断改进，我们正在视频编辑、混合现实、科学研究和医学影像等领域发现新的机遇。SAM 2 让复杂任务变得更简单，并加快了标注速度，有望成为 AI 社区的重要工具。随着我们继续探索并创新 SAM 2 这类模型，预计各个领域还会涌现更多突破性应用和进展！
通过探索我们的 GitHub 仓库并加入我们的社区，进一步了解 AI。查看我们的解决方案页面，深入了解 AI 在制造业和医疗保健领域的应用。🚀
