Explorando SAM 3: El nuevo Segment Anything Model de Meta AI

El 19 de noviembre de 2025, Meta AI lanzó Segment Anything Model 3, también conocido como SAM 3. Esta última versión del Segment Anything Model introduce nuevas formas de detectar, segmentar y rastrear objetos en imágenes y vídeos del mundo real mediante indicaciones de texto, indicaciones visuales y ejemplos de imágenes.

El modelo SAM 3 se basa en SAM y SAM 2 y aporta nuevos avances y características como la segmentación de conceptos, la detección de vocabulario abierto y el seguimiento de vídeo en tiempo real. Puede entender frases nominales cortas, seguir objetos entre fotogramas e identificar conceptos complejos o raros que los modelos anteriores no podían manejar con tanta consistencia.

Como parte del lanzamiento de SAM 3, Meta también presentó SAM 3D. Este conjunto de modelos de última generación reconstruye objetos, escenas y cuerpos humanos completos a partir de una sola imagen y amplía el ecosistema de Segment Anything hacia la comprensión en 3D. Estas adiciones abren nuevas aplicaciones en computer vision, robótica, edición de medios y flujos de trabajo creativos.

En este artículo, exploraremos qué es SAM 3, qué lo diferencia de SAM 2, cómo funciona el modelo y sus aplicaciones en el mundo real. ¡Empecemos!

¿Qué es SAM 3? Un vistazo a Segment Anything Model 3 de Meta#

SAM 3 es un computer vision model de última generación capaz de identificar, separar y rastrear objetos en imágenes y vídeos basándose en instrucciones sencillas. En lugar de depender de una lista fija de etiquetas, SAM 3 comprende lenguaje natural y pistas visuales, lo que facilita indicarle al modelo qué deseas encontrar.

Por ejemplo, con SAM 3, puedes escribir una frase corta como “autobús escolar amarillo” o “gato atigrado”, hacer clic en un objeto o resaltar un ejemplo en una imagen. El modelo detectará entonces cada objeto coincidente y generará máscaras de segmentación limpias (un contorno visual que muestra exactamente qué píxeles pertenecen a un objeto). SAM 3 también puede seguir esos objetos a través de los fotogramas de vídeo, manteniéndolos consistentes a medida que se mueven.

SAM 3D permite la reconstrucción 3D a partir de una sola imagen#

Otra parte emocionante del anuncio de Meta AI es SAM 3D, que amplía el proyecto Segment Anything hacia la 3D understanding. SAM 3D puede tomar una sola imagen 2D y reconstruir la forma, la pose o la estructura de un objeto o un cuerpo humano en tres dimensiones. En otras palabras, el modelo puede estimar cómo algo ocupa el espacio incluso cuando solo se dispone de un punto de vista.

SAM 3D se ha lanzado como dos modelos diferentes: SAM 3D Objects, que reconstruye artículos cotidianos con geometría y textura, y SAM 3D Body, que estima la forma y la postura del cuerpo humano a partir de una sola imagen. Ambos modelos utilizan el resultado de segmentación de SAM 3 y luego generan una representación 3D que se alinea con la apariencia y posición del objeto en la foto original.

Fig 1. Un ejemplo de uso de SAM 3D. (Fuente: Creado usando el playground de segment anything de Meta AI)

SAM 3: Nuevas características para unificar la detección, la segmentación y el seguimiento#

Aquí tienes algunas de las actualizaciones clave que introduce SAM 3 para reunir la detección, la segmentación y el seguimiento en un modelo unificado:

• Tareas de segmentación de conceptos: En SAM y SAM 2, la segmentación de objetos dependía de prompts visuales como clics o cajas. SAM 3 añade la capacidad de segmentar objetos basándose en una frase corta de texto o un recorte de ejemplo de la imagen. Esto significa que el modelo puede identificar todas las instancias coincidentes sin necesidad de hacer clic para cada una de ellas.
• Prompts de texto de vocabulario abierto: A diferencia de versiones anteriores, SAM 3 puede interpretar frases cortas de lenguaje natural. Esto elimina la necesidad de una lista de etiquetas fija y hace posible que el modelo trabaje con conceptos más específicos o menos comunes.
• Un solo modelo para detección, segmentación y seguimiento: SAM 3 unifica la detección, la segmentación y el seguimiento en un solo modelo, eliminando la necesidad de sistemas separados para encontrar objetos, generar máscaras de segmentación y seguirlos a través de fotogramas de vídeo. Esto crea un flujo de trabajo más consistente y simplificado tanto para imágenes como para vídeo, y aunque SAM 2 también ofrecía algunas capacidades de seguimiento, SAM 3 ofrece un rendimiento significativamente más sólido y fiable.
• Resultados más estables en escenas complejas: Dado que SAM 3 puede combinar texto, imágenes de ejemplo y prompts visuales, puede manejar escenas desordenadas o repetitivas de forma más fiable que las versiones anteriores que solo dependían de clics visuales.

Fig 2. SAM 3 introduce la segmentación de conceptos con ejemplos de texto o imagen. (Source)

Comparando SAM 3 vs SAM 2 vs SAM 1#

Digamos que estás viendo un vídeo de un safari con muchos animales diferentes y quieres detectar y segmentar solo los elefantes. ¿Cómo sería esta tarea en las diferentes versiones de SAM?

Con SAM, tendrías que hacer clic manualmente en cada elefante en cada fotograma para generar una máscara de segmentación. No hay seguimiento, así que cada nuevo fotograma requiere nuevos clics.

Con SAM 2, podrías hacer clic una vez en un elefante, obtener su máscara y el modelo rastrearía a ese mismo elefante a través del vídeo. Sin embargo, aún tendrías que proporcionar clics separados si quisieras segmentar múltiples elefantes (objetos específicos), ya que SAM 2 no entiende categorías como “elefante” por sí mismo.

Con SAM 3, el flujo de trabajo se vuelve mucho más sencillo. Puedes escribir “elefante” o dibujar un bounding box alrededor de un solo elefante para proporcionar un ejemplo, y el modelo encontrará automáticamente todos los elefantes en el vídeo, los segmentará y los rastreará de forma consistente a través de los fotogramas. Todavía admite los prompts de clic y caja utilizados en versiones anteriores, pero ahora también puede responder a prompts de texto e imágenes de ejemplo, algo que SAM y SAM 2 no podían hacer.

Cómo funciona el modelo SAM 3#

A continuación, veamos más de cerca cómo funciona el modelo SAM 3 y cómo fue entrenado.

Una descripción general de la arquitectura del modelo SAM 3#

SAM 3 reúne varios componentes para soportar conceptos y prompts visuales en un solo sistema. En su núcleo, el modelo utiliza el Meta Perception Encoder, que es el codificador unificado de imagen-texto de código abierto de Meta.

Este codificador puede procesar tanto imágenes como frases nominales cortas. En pocas palabras, esto permite a SAM 3 vincular el lenguaje y las características visuales de forma más efectiva que las versiones anteriores de Segment Anything Model.

Encima de este codificador, SAM 3 incluye un detector basado en la familia de modelos transformer DETR. Este detector identifica objetos en la imagen y ayuda al sistema a determinar qué objetos corresponden al prompt del usuario.

Específicamente, para la segmentación de vídeo, SAM 3 utiliza un componente de seguimiento que se basa en el banco de memoria y el codificador de memoria de SAM 2. Esto permite al modelo mantener información sobre los objetos a través de fotogramas para que pueda reidentificarlos y rastrearlos con el tiempo.

Fig 3. Cómo funciona la segmentación de cualquier cosa con conceptos (Fuente: scontent)

El motor de datos escalable detrás de Segment Anything Model 3#

Para entrenar a SAM 3, Meta necesitó muchos más datos anotados de los que existen actualmente en internet. Las máscaras de segmentación y etiquetas de texto de alta calidad son difíciles de crear a gran escala, y delinear completamente cada instancia de un concepto en imágenes y vídeos es lento y costoso.

To solve this, Meta built a new data engine that combines SAM 3 itself, additional AI models, and human annotators working together. The workflow begins with a pipeline of AI systems, including SAM 3 and a Llama-based captioning model.

Estos sistemas escanean grandes colecciones de imágenes y vídeos, generan subtítulos, convierten esos subtítulos en etiquetas de texto y producen candidatos iniciales de máscaras de segmentación. Los anotadores humanos y de IA revisan entonces estos candidatos.

Los anotadores de IA, entrenados para igualar o incluso superar la precisión humana en tareas como comprobar la calidad de la máscara y verificar la cobertura del concepto, filtran los casos sencillos. Los humanos solo intervienen en los ejemplos más desafiantes donde el modelo todavía puede tener dificultades.

Fig 4. Motor de datos de SAM 3 (Source)

Este enfoque le da a Meta un gran impulso en la velocidad de anotación. Al dejar que los anotadores de IA manejen los casos fáciles, el pipeline se vuelve unas cinco veces más rápido en prompts negativos y un 36% más rápido en prompts positivos en dominios detallados.

Esta eficiencia hizo posible escalar el conjunto de datos a más de cuatro millones de conceptos únicos. El bucle constante de propuestas de IA, correcciones humanas y predicciones actualizadas del modelo también mejora la calidad de la etiqueta con el tiempo y ayuda a SAM 3 a aprender un conjunto mucho más amplio de conceptos visuales y basados en texto.

Mejoras en el rendimiento de SAM 3#

Con respecto al rendimiento, SAM 3 ofrece una mejora clara sobre modelos anteriores. En el nuevo benchmark SA-Co de Meta, que evalúa la detección y segmentación de conceptos de vocabulario abierto, SAM 3 logra aproximadamente el doble de rendimiento que los sistemas anteriores tanto en imágenes como en vídeo.

También iguala o supera a SAM 2 en tareas visuales interactivas como point-to-mask y mask-to-masklet. Meta reporta ganancias adicionales en evaluaciones más difíciles como zero-shot LVIS (donde los modelos deben reconocer categorías raras sin ejemplos de entrenamiento) y el conteo de objetos (midiendo si todas las instancias de un objeto son detectadas), destacando una generalización más fuerte a través de dominios.

Además de estas mejoras en precisión, SAM 3 es eficiente, procesando una imagen con más de 100 objetos detectados en unos 30 milisegundos en una GPU H200 y manteniendo velocidades casi en tiempo real cuando rastrea múltiples objetos en vídeo.

Aplicaciones de Segment Anything Model 3#

Ahora que tenemos una mejor comprensión de SAM 3, veamos cómo se está utilizando en aplicaciones reales, desde el razonamiento avanzado guiado por texto hasta la investigación científica y los productos de Meta.

Manejo de consultas de texto complejas usando SAM 3 Agent#

SAM 3 también puede ser utilizado como una herramienta dentro de un modelo de lenguaje multimodal más grande, que Meta llama el SAM 3 Agent. En lugar de darle a SAM 3 una frase corta como “elefante”, el agente puede dividir una pregunta más complicada en prompts más pequeños que SAM 3 entiende.

Por ejemplo, si el usuario pregunta: “¿Qué objeto en la imagen se utiliza para controlar y guiar a un caballo?”, el agente prueba diferentes frases nominales, las envía a SAM 3 y comprueba qué máscaras tienen sentido. Sigue refinando hasta que encuentra el objeto correcto.

Incluso sin haber sido entrenado en conjuntos de datos de razonamiento especial, el SAM 3 Agent funciona bien en benchmarks diseñados para consultas de texto complejas, como ReasonSeg y OmniLabel. Esto demuestra que SAM 3 puede soportar sistemas que necesitan tanto comprensión del lenguaje como segmentación visual detallada.

Aplicaciones científicas y de conservación de SAM 3#

Curiosamente, SAM 3 ya se está utilizando en entornos de investigación donde las etiquetas visuales detalladas son importantes. Meta trabajó con Conservation X Labs y Osa Conservation para construir SA-FARI, un conjunto de datos público de monitoreo de vida silvestre con más de 10,000 vídeos de cámaras trampa.

Cada animal en cada fotograma está etiquetado con cajas y máscaras de segmentación, algo que llevaría muchísimo tiempo anotar a mano. De igual manera, en la investigación oceánica, SAM 3 se está utilizando junto con FathomNet y MBARI para crear máscaras de segmentación de instancias para underwater imagery y respaldar nuevos benchmarks de evaluación.

Tales conjuntos de datos ayudan a los científicos a analizar imágenes de vídeo de forma más eficiente y a estudiar animales y hábitats que suelen ser difíciles de rastrear a gran escala. Los investigadores también pueden usar estos recursos para construir sus propios modelos para la identificación de especies, el análisis de comportamiento y el monitoreo ecológico automatizado.

Cómo está desplegando Meta a SAM 3 en sus productos#

Además de sus usos en investigación, SAM 3 también está impulsando nuevas características y casos de uso en los productos de consumo de Meta. Aquí tienes un vistazo a algunas de las formas en que ya se está integrando:

• Ediciones en Instagram: Los creadores pueden aplicar efectos a una persona u objeto específico en un vídeo sin hacer trabajo manual fotograma a fotograma.
• Aplicación Meta AI y meta.ai en la web: SAM 3 admite nuevas herramientas para modificar, mejorar y remezclar imágenes y vídeos.
• “View in Room” de Facebook Marketplace: SAM 3 trabaja con SAM 3D para permitir a las personas previsualizar muebles o decoración en sus hogares usando una sola foto.
• Aria Gen 2 research glasses: El Segment Anything Model 3 ayuda a segmentar y rastrear manos y objetos desde una perspectiva en primera persona, apoyando la investigación en AR (Realidad Aumentada), robótica e IA contextual.

Conclusiones clave#

SAM 3 es un paso emocionante hacia adelante para la segmentación. Introduce la segmentación de conceptos, los prompts de texto de vocabulario abierto y un seguimiento mejorado. Con un rendimiento notablemente más fuerte tanto en imágenes como en vídeo, y la adición de SAM 3D, el conjunto de modelos abre nuevas posibilidades para la visión artificial, herramientas creativas, investigación científica y productos del mundo real.

Únete a our community y explora nuestro GitHub repository para descubrir más sobre la IA. Si buscas construir tu propio proyecto de IA de visión, consulta nuestras licensing options. Explora más sobre aplicaciones como AI in healthcare y Vision AI in retail visitando nuestras páginas de soluciones.