Descubre SAM 3: el nuevo Segment Anything Model de Meta AI

El 19 de noviembre de 2025, Meta AI lanzó Segment Anything Model 3, también conocido como SAM 3. Esta nueva versión de Segment Anything Model introduce nuevas formas de detectar, segmentar y seguir objetos en imágenes y vídeos del mundo real mediante instrucciones de texto, indicaciones visuales y ejemplos de imágenes.

El modelo SAM 3 se basa en SAM y SAM 2, e incorpora nuevos avances y funciones como la segmentación de conceptos, la detección de vocabulario abierto y el seguimiento de vídeo en tiempo real. Puede entender frases nominales breves, seguir objetos entre fotogramas e identificar conceptos poco frecuentes o muy específicos que los modelos anteriores no podían manejar con la misma consistencia.

Como parte del lanzamiento de SAM 3, Meta también presentó SAM 3D. Esta suite de modelos de nueva generación reconstruye objetos, escenas y cuerpos humanos completos a partir de una sola imagen y amplía el ecosistema Segment Anything para comprender el 3D. Estas incorporaciones abren nuevas posibilidades en visión artificial, robótica, edición multimedia y flujos de trabajo creativos.

En este artículo veremos qué es SAM 3, qué lo distingue de SAM 2, cómo funciona el modelo y cuáles son sus aplicaciones en el mundo real.

¿Qué es SAM 3? Un vistazo a Segment Anything Model 3 de Meta#

SAM 3 es un modelo de visión artificial de última generación capaz de identificar, separar y seguir objetos en imágenes y vídeos a partir de instrucciones sencillas. En lugar de depender de una lista fija de etiquetas, SAM 3 entiende el lenguaje natural y las señales visuales, por lo que es fácil indicarle qué quieres encontrar.

Por ejemplo, con SAM 3, puedes escribir una frase breve como «autobús escolar amarillo» o «gato atigrado», hacer clic en un objeto o resaltar un ejemplo en una imagen. A continuación, el modelo detecta todos los objetos coincidentes y genera máscaras de segmentación precisas (un contorno visual que muestra exactamente qué píxeles pertenecen a un objeto). SAM 3 también puede seguir esos objetos a través de los fotogramas de un vídeo y mantenerlos identificados mientras se mueven.

SAM 3D permite reconstruir objetos en 3D a partir de una sola imagen#

Otro aspecto destacado del anuncio de Meta AI es SAM 3D, que amplía el proyecto Segment Anything para ofrecer comprensión 3D. SAM 3D puede tomar una sola imagen 2D y reconstruir la forma, la pose o la estructura de un objeto o de un cuerpo humano en tres dimensiones. En otras palabras, el modelo puede estimar cómo ocupa el espacio algo, aunque solo disponga de un punto de vista.

SAM 3D se ha lanzado en forma de dos modelos distintos: SAM 3D Objects, que reconstruye objetos cotidianos con su geometría y textura, y SAM 3D Body, que estima la forma y la pose del cuerpo humano a partir de una sola imagen. Ambos modelos utilizan el resultado de segmentación de SAM 3 y, a continuación, generan una representación 3D que se ajusta al aspecto y la posición del objeto en la foto original.

Fig. 1. Ejemplo del uso de SAM 3D. (Fuente: creado con el espacio de pruebas de Segment Anything de Meta AI)

SAM 3: nuevas funciones que unifican la detección, la segmentación y el seguimiento#

Estas son algunas de las principales novedades que incorpora SAM 3 para reunir la detección, la segmentación y el seguimiento en un único modelo:

• Tareas de segmentación de conceptos: En SAM y SAM 2, la segmentación de objetos dependía de indicaciones visuales, como clics o recuadros. SAM 3 añade la posibilidad de segmentar objetos a partir de una frase de texto breve o de un recorte de ejemplo de la imagen. Esto permite que el modelo identifique todas las instancias coincidentes sin tener que hacer clic en cada una.
• Indicaciones de texto con vocabulario abierto: A diferencia de las versiones anteriores, SAM 3 puede interpretar frases breves en lenguaje natural. Así, ya no hace falta una lista fija de etiquetas y el modelo puede trabajar con conceptos más específicos o menos comunes.
• Un modelo para la detección, la segmentación y el seguimiento: SAM 3 unifica la detección, la segmentación y el seguimiento en un solo modelo, lo que elimina la necesidad de utilizar sistemas separados para encontrar objetos, generar máscaras de segmentación y seguirlos a través de los fotogramas del vídeo. Esto crea un flujo de trabajo más coherente y ágil tanto para imágenes como para vídeo. Aunque SAM 2 también ofrecía algunas capacidades de seguimiento, SAM 3 proporciona un rendimiento mucho mejor y más fiable.
• Resultados más estables en escenas complejas: Como SAM 3 puede combinar texto, imágenes de ejemplo e indicaciones visuales, gestiona escenas abarrotadas o repetitivas con más fiabilidad que las versiones anteriores, que solo dependían de clics visuales.

Fig. 2. SAM 3 incorpora la segmentación de conceptos a partir de ejemplos de texto o imágenes. (Fuente)

Comparativa de SAM 3, SAM 2 y SAM 1#

Imagina que estás viendo un vídeo de un safari con muchos animales distintos y quieres detectar y segmentar solo los elefantes. ¿Cómo sería esta tarea con las distintas versiones de SAM?

Con SAM, tendrías que hacer clic manualmente en cada elefante de cada fotograma para generar una máscara de segmentación. No hay seguimiento, así que cada fotograma nuevo requiere nuevos clics.

Con SAM 2, podrías hacer clic una vez en un elefante, obtener su máscara y dejar que el modelo siguiera a ese mismo elefante durante el vídeo. Sin embargo, tendrías que hacer clic por separado si quisieras segmentar varios elefantes (objetos concretos), ya que SAM 2 no entiende por sí solo categorías como «elefante».

Con SAM 3, el flujo de trabajo es mucho más sencillo. Puedes escribir «elefante» o dibujar un cuadro delimitador alrededor de un elefante para usarlo como ejemplo; el modelo encontrará automáticamente todos los elefantes del vídeo, los segmentará y los seguirá de forma coherente a través de los fotogramas. Sigue admitiendo las indicaciones de clic y de recuadro de las versiones anteriores, pero ahora también puede responder a indicaciones de texto e imágenes de ejemplo, algo que SAM y SAM 2 no podían hacer.

Cómo funciona el modelo SAM 3#

A continuación, veremos más de cerca cómo funciona el modelo SAM 3 y cómo se ha entrenado.

Descripción general de la arquitectura del modelo SAM 3#

SAM 3 reúne varios componentes para admitir indicaciones de conceptos e indicaciones visuales en un único sistema. En el núcleo del modelo está Meta Perception Encoder, el codificador unificado de imágenes y texto de código abierto de Meta.

Este codificador puede procesar tanto imágenes como frases nominales breves. En pocas palabras, esto permite a SAM 3 relacionar el lenguaje y las características visuales con más eficacia que las versiones anteriores de Segment Anything Model.

Además de este codificador, SAM 3 incluye un detector basado en la familia de modelos Transformer DETR. Este detector identifica objetos en la imagen y ayuda al sistema a determinar cuáles corresponden a la indicación del usuario.

En concreto, para la segmentación de vídeo, SAM 3 utiliza un componente de seguimiento basado en el banco de memoria y el codificador de memoria de SAM 2. Esto permite al modelo conservar información sobre los objetos entre fotogramas para volver a identificarlos y seguirlos a lo largo del tiempo.

Fig. 3. Cómo funciona la segmentación de cualquier elemento mediante conceptos (Fuente: scontent)

El motor de datos escalable detrás de Segment Anything Model 3#

Para entrenar SAM 3, Meta necesitaba muchos más datos anotados de los que existen actualmente en Internet. Es difícil crear a gran escala máscaras de segmentación y etiquetas de texto de alta calidad, y delimitar por completo cada instancia de un concepto en imágenes y vídeos requiere mucho tiempo y dinero.

Para resolverlo, Meta creó un nuevo motor de datos que combina SAM 3, otros modelos de IA y anotadores humanos que trabajan conjuntamente. El flujo de trabajo comienza con una cadena de sistemas de IA, entre ellos SAM 3 y un modelo de generación de pies de foto basado en Llama.

Estos sistemas analizan grandes colecciones de imágenes y vídeos, generan pies de foto, los convierten en etiquetas de texto y producen propuestas iniciales de máscaras de segmentación. Después, anotadores humanos y de IA revisan estas propuestas.

Los anotadores de IA, entrenados para igualar o incluso superar la precisión humana en tareas como comprobar la calidad de las máscaras y verificar la cobertura de conceptos, filtran los casos sencillos. Las personas intervienen solo en los ejemplos más difíciles, que aún pueden suponer un reto para el modelo.

Fig. 4. Motor de datos de SAM 3 (Fuente)

Este método mejora notablemente la velocidad de anotación de Meta. Al dejar que los anotadores de IA se ocupen de los casos sencillos, la cadena de procesamiento es unas cinco veces más rápida con indicaciones negativas y un 36 % más rápida con indicaciones positivas en ámbitos de granularidad fina.

Esta eficiencia permitió ampliar el conjunto de datos hasta superar los cuatro millones de conceptos únicos. El ciclo constante de propuestas de IA, correcciones humanas y predicciones actualizadas del modelo también mejora la calidad de las etiquetas con el tiempo y ayuda a SAM 3 a aprender un conjunto mucho más amplio de conceptos visuales y basados en texto.

Mejoras de rendimiento de SAM 3#

En cuanto al rendimiento, SAM 3 mejora claramente los modelos anteriores. En el nuevo benchmark SA-Co de Meta, que evalúa la detección y segmentación de conceptos con vocabulario abierto, SAM 3 logra aproximadamente el doble de rendimiento que los sistemas anteriores tanto en imágenes como en vídeo.

También iguala o supera a SAM 2 en tareas visuales interactivas como punto a máscara y máscara a conjunto de máscaras. Meta informa de mejoras adicionales en evaluaciones más exigentes, como LVIS en modo de cero ejemplos (donde los modelos deben reconocer categorías poco frecuentes sin ejemplos de entrenamiento) y el recuento de objetos (que mide si se detectan todas las instancias de un objeto), lo que demuestra una mayor capacidad de generalización entre dominios.

Además de estas mejoras de precisión, SAM 3 es eficiente: procesa en unos 30 milisegundos una imagen con más de 100 objetos detectados en una GPU H200 y mantiene velocidades casi en tiempo real al seguir varios objetos en vídeo. Con indicaciones de texto, SAM 3 y el nuevo SAM 3.1 también se comparan con modelos de lenguaje y visión en tareas de detección de objetos del mundo real en la clasificación de modelos VLM de Ultralytics.

Aplicaciones de Segment Anything Model 3#

Ahora que conocemos mejor SAM 3, veamos cómo se utiliza en aplicaciones reales, desde el razonamiento avanzado guiado por texto hasta la investigación científica y los propios productos de Meta.

Gestión de consultas de texto complejas con SAM 3 Agent#

SAM 3 también puede utilizarse como herramienta dentro de un modelo de lenguaje multimodal más amplio, al que Meta llama SAM 3 Agent. En lugar de darle a SAM 3 una frase breve como «elefante», el agente puede dividir una pregunta más compleja en indicaciones más pequeñas que SAM 3 pueda entender.

Por ejemplo, si el usuario pregunta «¿Qué objeto de la imagen sirve para controlar y guiar a un caballo?», el agente prueba distintas frases nominales, se las envía a SAM 3 y comprueba qué máscaras tienen sentido. Sigue afinando la búsqueda hasta encontrar el objeto adecuado.

Aunque no se haya entrenado con conjuntos de datos especializados en razonamiento, SAM 3 Agent obtiene buenos resultados en benchmarks diseñados para consultas de texto complejas, como ReasonSeg y OmniLabel. Esto demuestra que SAM 3 puede ayudar a crear sistemas que necesitan tanto comprensión del lenguaje como segmentación visual detallada.

Aplicaciones científicas y de conservación de SAM 3#

SAM 3 ya se utiliza en proyectos de investigación que requieren etiquetas visuales detalladas. Meta colaboró con Conservation X Labs y Osa Conservation para crear SA-FARI, un conjunto de datos público de monitorización de fauna silvestre con más de 10 000 vídeos de cámaras trampa.

Todos los animales de cada fotograma se etiquetan con recuadros y máscaras de segmentación, una tarea que llevaría muchísimo tiempo si se hiciera a mano. Asimismo, en la investigación oceánica, SAM 3 se utiliza junto con FathomNet y MBARI para crear máscaras de segmentación de instancias de imágenes submarinas y respaldar nuevos benchmarks de evaluación.

Estos conjuntos de datos ayudan a los científicos a analizar grabaciones de vídeo con más eficiencia y a estudiar animales y hábitats que normalmente son difíciles de seguir a gran escala. Los investigadores también pueden utilizar estos recursos para crear sus propios modelos de identificación de especies, análisis del comportamiento y monitorización ecológica automatizada.

Cómo implementa Meta SAM 3 en sus productos#

Además de sus aplicaciones de investigación, SAM 3 también impulsa nuevas funciones y casos de uso en los productos de consumo de Meta. Estas son algunas de las formas en que ya se está integrando:

• Edición en Instagram: Los creadores pueden aplicar efectos a una persona o un objeto concreto de un vídeo sin tener que trabajar manualmente fotograma a fotograma.
• Aplicación Meta AI y meta.ai en la web: SAM 3 ofrece nuevas herramientas para modificar, mejorar y remezclar imágenes y vídeos.
• «Ver en la habitación» de Facebook Marketplace: SAM 3 trabaja con SAM 3D para que la gente pueda previsualizar muebles o decoración en casa a partir de una sola foto.
• Gafas de investigación Aria Gen 2: Segment Anything Model 3 ayuda a segmentar y seguir manos y objetos desde una perspectiva en primera persona, lo que respalda la investigación sobre realidad aumentada (AR), robótica e IA contextual.

Conclusiones clave#

SAM 3 supone un avance emocionante en segmentación. Incorpora segmentación de conceptos, indicaciones de texto con vocabulario abierto y un seguimiento mejorado. Gracias a su rendimiento notablemente superior tanto en imágenes como en vídeo, y a la incorporación de SAM 3D, esta suite de modelos abre nuevas posibilidades para la IA de visión, las herramientas creativas, la investigación científica y los productos del mundo real.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para descubrir más sobre la IA. Si quieres crear tu propio proyecto de IA de visión, consulta nuestras opciones de licencia. Descubre más sobre aplicaciones como la IA en la sanidad y la IA de visión en el comercio minorista en nuestras páginas de soluciones.