Meta FAIR AI 研究动态：SAM 2.1 和 CoTracker3

人工智能（AI）研究进展迅速，新突破的出现速度前所未有。在过去几周里，Meta 的基础 AI 研究（FAIR）团队发布了一系列工具和模型，旨在应对 AI 不同领域的挑战。这些新版本包含可能影响医疗保健、机器人技术和增强现实等多个领域的更新。

例如，更新后的 SAM 2.1 模型改进了目标分割，让你能更准确地识别并分离图像和视频中的物体。与此同时，CoTracker3 专注于点跟踪，即使物体移动或部分被遮挡，也能帮助你持续跟踪视频帧中的点。

Meta 还推出了更轻、更快的Llama 语言模型版本，以便在设备上高效运行，同时发布了面向机器人的新型触觉感知技术。本文将逐一介绍 Meta FAIR 的这些最新成果，看看每种工具能做什么。

Meta 增强版 Segment Anything Model：SAM 2.1#

目标分割是一项关键的计算机视觉任务，能够识别并分离图像或视频中的不同物体，从而更轻松地分析特定感兴趣区域。自发布以来，Meta 的万物分割模型 2 (SAM 2)已应用于医学影像、气象学等不同领域的目标分割。根据社区反馈，Meta 现已推出SAM 2.1，这是一个改进版本，旨在解决原始模型遇到的一些挑战，并全面提升性能。

图 1. SAM 2.1 模型性能基准测试。

SAM 2.1 采用了新的数据增强技术，以便更好地处理外观相似和尺寸较小的物体。它还通过使用更长的视频序列进行训练，改进了模型处理遮挡的能力（即物体的部分区域被遮住而无法看见），让模型能够随着时间推移“记住”并识别物体，即使物体暂时被挡住也不例外。例如，如果有人拍摄一个人从树后走过的视频，SAM 2.1 就能在此人从树的另一侧再次出现时对其进行跟踪，并利用对物体位置和运动的记忆，补全视野短暂中断时的信息。

除了这些更新，Meta 还发布了 SAM 2 Developer Suite，提供开源训练代码和完整的演示基础设施，让开发者可以使用自己的数据微调 SAM 2.1，并将其集成到各种应用中。

CoTracker3：Meta 的跟踪模型及其功能和更新#

另一项有趣的计算机视觉任务是点跟踪，即在视频的多个帧中跟随特定点或特征。比如一段骑车人沿赛道骑行的视频：点跟踪能让模型持续跟踪骑车人身上的点，例如头盔或车轮，即使这些点短暂地被障碍物挡住也不例外。

点跟踪对于3D 重建、机器人技术和视频编辑等应用至关重要。传统模型通常依赖复杂的配置和大型合成数据集，因此应用于现实场景时效果有限。

Meta 的 CoTracker3 跟踪模型通过简化模型架构，解决了这些局限。它还引入了一种伪标签技术，让模型能够从真实的未标注视频中学习，使 CoTracker3 在实际应用中更高效、更易扩展。

图 2. CoTracker3 与其他跟踪模型的对比。

CoTracker3 的一项突出特点是能够妥善处理遮挡。通过跨轨迹注意力这一技术，模型可以在多个跟踪点之间共享信息；CoTracker3 因此能够参考可见点来推断被遮挡点的位置。这样一来，CoTracker3 就能在动态环境中发挥出色，例如在人群密集的场景中跟踪某个人。

CoTracker3 还提供在线和离线两种模式。在线模式支持实时跟踪，离线模式则可用于更全面地跟踪整个视频序列，适合视频剪辑或动画制作等任务。

Meta FAIR 的其他更新与研究#

SAM 2.1 和 CoTracker3 展示了 Meta 在计算机视觉领域的最新进展，而人工智能的其他领域也有令人振奋的更新，例如自然语言处理 (NLP) 和机器人技术。接下来看看 Meta FAIR 的其他一些最新成果。

Meta 的 Spirit LM：语言和多模态模型领域的 AI 创新#

Meta 的 Spirit LM 是一种新的多模态语言模型，结合了文本和语音能力，让人与 AI 的交互更加自然。传统模型只能处理文本或语音，而 Spirit LM 则能在两者之间切换。

Spirit LM 能以更接近人类的方式理解和生成语言。例如，它可以增强虚拟助手的能力，让助手既能听懂语音，也能用口语或书面语回应；它还可以支持在语音和文本之间进行转换的无障碍工具。

图 3. 使用 Meta Spirit LM 进行文本转语音的示例。

此外，Meta 还开发了提高大型语言模型效率的技术。其中一项名为 Layer Skip 的技术，只激活特定任务所需的层，从而减少计算需求和能耗。这对于内存和电量有限的设备上的应用尤其有用。

为了进一步满足在这类设备上部署 AI 应用的需求，Meta 还推出了其Llama 模型的量化版本。这些模型经过压缩，可在移动设备上更快运行，同时不牺牲准确率。

展望 Meta Lingua 带来的优化未来#

随着 AI 模型的规模和复杂度不断增长，优化训练流程变得至关重要。在优化方面，Meta 推出了 Meta Lingua，这是一个灵活高效的代码库，让大型语言模型的训练更加轻松。Meta Lingua 的模块化设计让研究人员能够快速定制实验并扩大实验规模。

研究人员可以减少花在技术配置上的时间，把更多时间用于实际研究。该代码库也轻量且易于集成，适用于小型实验和大型项目。Meta Lingua 消除了这些技术障碍，帮助研究人员更快推进工作，并更轻松地测试新想法。

图 4. Meta Lingua 概览。

Meta 在 AI 安全方面的改进#

随着量子计算技术的发展，数据安全面临新的挑战。与当今的计算机不同，量子计算机很可能能够更快地完成复杂计算。这意味着量子计算机可能会破解目前用于保护敏感信息的加密方法。因此，这一领域的研究正变得愈发重要：随着我们为量子计算的未来做准备，开发新的数据保护方法至关重要。

为此，Meta 开发了 Salsa，这是一款旨在增强后量子密码安全性的工具。Salsa 帮助研究人员测试 AI 驱动的攻击并发现潜在弱点，从而更好地理解和解决密码系统中的漏洞。通过模拟高级攻击场景，Salsa 能提供有价值的见解，指导人们为量子时代开发更强大、更有韧性的安全措施。

Meta 的 AI：机器人领域的最新创新#

Meta 在机器人领域的最新工作，旨在提升 AI 的触觉感知、灵巧度和与人类协作的能力，让 AI 能更自然地与物理世界互动。具体来说，Meta Digit 360 是一种先进的触觉传感器，能为机器人提供更精细的触觉。该传感器可帮助机器人感知纹理、压力，甚至物体形状等细节。有了这些信息，机器人就能更精确地操控物体，这对于医疗保健和制造业等领域至关重要。

以下是 Meta Digit 360 的一些主要功能：

• 它配备了 18 种不同的感知功能，能够捕捉丰富多样的触觉细节。
• 该传感器能够检测低至 1 毫牛顿的压力变化，让机器人能够响应细微的纹理和轻微的动作。
• 它在指尖表面集成了超过 800 万个触觉传感点，可提供高分辨率的触觉信息图。

Meta Digit 360 的延伸产品 Meta Digit Plexus 是一个将多种触觉传感器集成到单只机器手上的平台。这种配置使机器人能够同时处理来自多个位置的触觉信息，类似于人手收集感官数据的方式。

图 5. Meta Digit Plexus。

为 AI 的下一个篇章拉开序幕#

Meta 最新的 AI 更新涵盖了多个领域，从 SAM 2.1 和 CoTracker3 在计算机视觉方面的进展，到语言模型和机器人领域的新发展，展现出 AI 正稳步从理论走向实用且有影响力的解决方案。

这些工具旨在让 AI 在不同领域中更具适应性和实用性，既能帮助分割复杂图像、理解人类语言，也能在物理空间中与我们协作。

Meta FAIR 将无障碍和现实应用放在首位，正帮助我们迈向一个未来：AI 能够应对现实世界的挑战，并以切实有意义的方式改善我们的日常生活。

你对 AI 感兴趣吗？加入我们的社区，获取最新动态和见解，并查看我们的 GitHub 代码库。你还可以了解计算机视觉如何应用于自动驾驶汽车和农业等行业！