探索 SAM 3：Meta AI 推出的全新分割一切模型

2025 年 11 月 19 日，Meta AI 发布了万物分割模型 3，也称为 SAM 3。这个新版本的万物分割模型带来了检测、分割和跟踪真实世界图像与视频中物体的新方法，可使用文本提示、视觉提示和图像示例。

SAM 3 在 SAM 和 SAM 2 的基础上进行了改进，带来了概念分割、开放词汇检测和实时视频跟踪等新进展与功能。它能够理解简短的名词短语、跨帧跟踪物体，并识别早期模型难以稳定处理的细粒度或罕见概念。

在发布 SAM 3 的同时，Meta 还推出了 SAM 3D。这套新一代模型可以根据单张图像重建对象、场景和完整的人体，并将 Segment Anything 生态系统扩展到 3D 理解领域。这些新增功能为计算机视觉、机器人技术、媒体编辑和创意工作流程开辟了新的应用空间。

本文将介绍什么是 SAM 3、它与 SAM 2 有何不同、模型的工作原理，以及它在现实世界中的应用。

什么是 SAM 3？认识 Meta 的 Segment Anything Model 3#

SAM 3 是先进的计算机视觉模型，能够根据简单指令识别、分割并跟踪图像和视频中的物体。SAM 3 不依赖固定的标签列表，而是能够理解自然语言和视觉线索，因此你可以轻松告诉模型要查找什么。

例如，使用 SAM 3 时，你可以输入“黄色校车”或“一只条纹猫”这样的短语，点击对象，或在图像中标记一个示例。随后，模型会检测所有符合条件的对象，并生成清晰的分割掩码（即精确显示哪些像素属于对象的可视轮廓）。SAM 3 还可以在视频帧中持续跟踪这些对象，让对象在移动过程中保持一致。

SAM 3D 支持根据单张图像进行 3D 重建#

Meta AI 此次公告的另一项亮点是 SAM 3D，它将 Segment Anything 项目扩展到3D 理解领域。SAM 3D 可以根据单张 2D 图像，以三维方式重建对象或人体的形状、姿态或结构。换句话说，即使只有一个视角，模型也能估算物体在空间中的占据情况。

SAM 3D 以两种不同模型的形式发布：SAM 3D Objects 可重建日常物品的几何形状和纹理，SAM 3D Body 则可根据单张图像估算人体形状和姿态。这两种模型都会使用 SAM 3 的分割结果，然后生成与原始照片中对象外观和位置相符的 3D 表示。

图 1. 使用 SAM 3D 的示例。（来源：使用 Meta AI 的 segment anything playground 创建）

SAM 3：整合检测、分割和跟踪的新功能#

以下是 SAM 3 引入的一些关键更新，可将检测、分割和跟踪整合到一个统一模型中：

• 概念分割任务：在 SAM 和 SAM 2 中，对象分割依赖点击或框选等视觉提示。SAM 3 新增了根据简短文本短语或图像中的裁剪示例分割对象的能力。这意味着模型无需你逐个点击，就能识别所有匹配的实例。
• 开放词汇文本提示：与早期版本不同，SAM 3 能够理解简短的自然语言短语。这消除了对固定标签列表的需求，使模型能够处理更具体或不太常见的概念。
• 一个模型实现检测、分割和跟踪：SAM 3 将检测、分割和跟踪整合到一个模型中，无需再使用不同系统来查找对象、生成分割掩码并跨视频帧跟踪对象。这样一来，图像和视频的工作流程都更加一致、精简。虽然 SAM 2 也具备一定的跟踪能力，但 SAM 3 的性能显著更强，也更加可靠。
• 复杂场景中的结果更稳定：SAM 3 可以结合文本、示例图像和视觉提示，因此相比仅依赖视觉点击的早期版本，它能更可靠地处理杂乱或重复的场景。

图 2. SAM 3 引入了通过文本或图像示例进行概念分割的功能。(来源)

SAM 3、SAM 2 与 SAM 1 的比较#

假设你正在观看一段包含多种动物的野生动物园视频，并且只想检测和分割大象。那么，使用不同版本的 SAM 分别要怎么完成这项任务？

使用 SAM 时，你需要在每一帧中手动点击每头大象，才能生成分割掩码。它不具备跟踪功能，因此每出现新的一帧，都需要重新点击。

使用 SAM 2 时，你可以点击一头大象一次，获取它的掩码，模型便会在视频中跟踪这头大象。不过，如果你想分割多头大象（特定对象），仍然需要分别点击它们，因为 SAM 2 无法自行理解“大象”这样的类别。

使用 SAM 3 时，工作流程会简单得多。你可以输入“大象”，也可以在一头大象周围画一个边界框作为示例，模型便会自动找出视频中的所有大象，对它们进行分割，并在不同帧之间持续跟踪。它仍然支持早期版本使用的点击和框选提示，现在还能够响应文本提示和示例图像，这是 SAM 和 SAM 2 不具备的功能。

SAM 3 模型的工作原理#

接下来，我们深入了解 SAM 3 模型的工作原理及其训练方式。

SAM 3 模型架构概览#

SAM 3 将多个组件整合到一个系统中，以支持概念提示和视觉提示。模型的核心是 Meta Perception Encoder，这是 Meta 的统一开源图像文本编码器。

这个编码器可以处理图像和简短的名词短语。简单来说，这使 SAM 3 能比 Segment Anything Model 的早期版本更有效地关联语言特征和视觉特征。

在这个编码器之上，SAM 3 集成了一个基于 DETR 系列 Transformer 模型的检测器。该检测器负责识别图像中的对象，并帮助系统确定哪些对象与用户的提示相对应。

具体来说，在视频分割方面，SAM 3 使用了一个基于 SAM 2 的记忆库和记忆编码器构建的跟踪组件。这使模型能够保存跨帧对象信息，从而随着时间推移重新识别和跟踪对象。

图 3. 基于概念进行任意分割的工作原理（来源：scontent）

Segment Anything Model 3 背后的可扩展数据引擎#

要训练 SAM 3，Meta 需要的数据标注量远超互联网上现有的数据。高质量的分割掩码和文本标签难以大规模制作，而在图像和视频中完整标出某个概念的每个实例既耗时又昂贵。

为了解决这个问题，Meta 构建了一个全新的数据引擎，将 SAM 3 本身、其他 AI 模型和人工标注人员结合起来协同工作。整个流程从一系列 AI 系统开始，其中包括 SAM 3 和基于 Llama 的字幕生成模型。

这些系统会扫描大量图像和视频，生成字幕，将字幕转换为文本标签，并生成初步的分割掩码候选结果。随后，人工和 AI 标注人员会审核这些候选结果。

AI 标注人员经过训练，在检查掩码质量和验证概念覆盖范围等任务上的准确度能够达到甚至超过人工水平，因此可以筛除简单案例。只有在模型仍可能难以处理的更具挑战性的示例中，才会由人工介入。

图 4. SAM 3 数据引擎（来源）

这种方法大幅提升了 Meta 的标注速度。借助 AI 标注人员处理简单案例，整个流程处理负向提示的速度提高了约 5 倍，在细粒度领域处理正向提示的速度则提高了 36%。

这种效率使数据集得以扩展到 400 多万个独特概念。AI 提议、人工修正和模型预测更新不断循环，也能持续提升标签质量，帮助 SAM 3 学习更多样的视觉和文本概念。

SAM 3 的性能提升#

在性能方面，SAM 3 相比早期模型有明显提升。在 Meta 的新 SA-Co 基准测试中，该测试评估开放词汇概念检测和分割能力，SAM 3 在图像和视频上的表现都约为先前系统的两倍。

在点到掩码和掩码到掩码片段等交互式视觉任务上，它的表现也能媲美或超过 SAM 2。Meta 报告称，它在更具挑战性的评测中也取得了进一步提升，例如零样本 LVIS（模型必须在没有训练样本的情况下识别罕见类别）和物体计数（衡量是否检测到某一物体的所有实例），这表明它在不同领域具有更强的泛化能力。

除了提升准确度，SAM 3 的效率也很高：它能在 H200 GPU 上约 30 毫秒内处理一张包含 100 多个检测对象的图像，并能在视频中跟踪多个对象时保持接近实时的速度。使用文本提示时，SAM 3 和较新的 SAM 3.1 也会与视觉语言模型在 Ultralytics VLM Leaderboard 上进行真实世界目标检测对比。

Segment Anything Model 3 的应用#

现在，我们对 SAM 3 有了更深入的了解，接下来一起看看它如何用于实际应用，包括高级文本引导推理、科学研究以及 Meta 自己的产品。

使用 SAM 3 Agent 处理复杂文本查询#

SAM 3 还可以作为工具集成到更大型的多模态语言模型中，Meta 将其称为 SAM 3 Agent。用户不必像“elephant”这样只给 SAM 3 一个短语，智能体可以将更复杂的问题拆分成 SAM 3 能理解的多个小提示。

例如，如果用户询问“图片中哪个物体用于控制和引导马？”，智能体会尝试不同的名词短语，将它们发送给 SAM 3，并检查哪些掩码合理。它会不断优化提示，直到找到正确的物体。

即使没有接受过专门的推理数据集训练，SAM 3 Agent 在 ReasonSeg 和 OmniLabel 等专为复杂文本查询设计的基准测试中也表现出色。这表明 SAM 3 可以支持同时需要语言理解和细粒度视觉分割的系统。

SAM 3 在科学研究和保护领域的应用#

值得一提的是，SAM 3 已经应用于需要详细视觉标签的研究场景。Meta 与 Conservation X Labs 和 Osa Conservation 合作构建了 SA-FARI，这是一个公开的野生动物监测数据集，包含 10,000 多段相机陷阱视频。

每一帧中的每只动物都标注了边界框和分割掩码，而手动完成这项工作会极其耗时。同样，在海洋研究中，SAM 3 正与 FathomNet 和 MBARI 配合使用，为水下图像创建实例分割掩码，并支持新的评估基准。

这类数据集能帮助科学家更高效地分析视频片段，并研究通常难以大规模跟踪的动物和栖息地。研究人员还可以利用这些资源，构建自己的物种识别、行为分析和自动化生态监测模型。

Meta 如何在旗下产品中部署 SAM 3#

除了用于研究之外，SAM 3 还为 Meta 面向消费者的产品提供了新功能和应用。下面介绍它已经集成的一些场景：

• Instagram 编辑功能：创作者可以对视频中的特定人物或对象应用特效，无需逐帧手动处理。
• Meta AI 应用和网页版 meta.ai：SAM 3 为图像和视频的修改、增强与混剪提供了新工具。
• Facebook Marketplace 的“在房间中查看”功能：SAM 3 与 SAM 3D 协同工作，让用户可以用一张照片预览家具或装饰品在家中的摆放效果。
• Aria Gen 2 研究眼镜：Segment Anything Model 3 可从第一人称视角分割和跟踪手部及对象，为 AR（增强现实）、机器人技术和情境感知 AI 研究提供支持。

要点#

SAM 3 为分割技术带来了令人振奋的进展。它引入了概念分割、开放词汇文本提示和改进的跟踪能力。凭借在图像和视频上显著增强的性能，以及 SAM 3D 的加入，这套模型为视觉 AI、创意工具、科学研究和现实世界产品开辟了新的可能性。

加入我们的社区，并探索我们的 GitHub 仓库，了解更多 AI 相关内容。如果你想构建自己的视觉 AI 项目，请查看我们的许可选项。访问我们的解决方案页面，进一步了解医疗保健领域的 AI和零售业视觉 AI等应用。