Aplicaciones de Segment Anything Model 2 (SAM 2), de Meta AI

El 29 de julio de 2024, Meta AI publicó la segunda versión de su Segment Anything Model, SAM 2. El nuevo modelo puede determinar qué píxeles pertenecen a un objeto objetivo tanto en imágenes como en vídeos. También puede seguir un objeto de forma coherente a lo largo de todos los fotogramas de un vídeo en tiempo real. SAM 2 abre interesantes posibilidades para la edición de vídeo, las experiencias de realidad mixta y el etiquetado más rápido de datos visuales para entrenar sistemas de visión artificial.

A partir del éxito del SAM original, que se ha utilizado en ámbitos como las ciencias marinas, las imágenes por satélite y la medicina, SAM 2 aborda retos como los objetos que se mueven rápidamente y los cambios de apariencia. Su mayor precisión y eficiencia lo convierten en una herramienta versátil para una amplia gama de aplicaciones. En este artículo, nos centraremos en los ámbitos en los que puede aplicarse SAM 2 y por qué es importante para la comunidad de IA.

¿Qué es SAM 2?#

Segment Anything Model 2 es un modelo fundacional avanzado que admite la segmentación visual guiada por indicaciones o PVS, tanto en imágenes como en vídeos. La PVS es una técnica que permite a un modelo segmentar o identificar distintas partes de una imagen o un vídeo a partir de indicaciones o entradas específicas del usuario. Estas indicaciones pueden ser clics, cuadros o máscaras que resaltan la zona de interés. A continuación, el modelo genera una máscara de segmentación que delimita la zona especificada.

La arquitectura de SAM 2 se basa en el SAM original y amplía la segmentación de imágenes para incluir también la segmentación de vídeos. Incorpora un decodificador de máscaras ligero que utiliza datos de imagen e indicaciones para crear máscaras de segmentación. En los vídeos, SAM 2 introduce un sistema de memoria que le ayuda a recordar información de fotogramas anteriores y garantiza un seguimiento preciso a lo largo del tiempo. El sistema de memoria incluye componentes que almacenan y recuperan detalles sobre los objetos segmentados. SAM 2 también puede gestionar oclusiones, seguir objetos a lo largo de varios fotogramas y procesar indicaciones ambiguas generando varias máscaras posibles. La arquitectura avanzada de SAM 2 le permite funcionar con gran eficacia en entornos visuales estáticos y dinámicos.

En concreto, en la segmentación de vídeo, SAM 2 alcanza una precisión superior con tres veces menos interacciones del usuario que los métodos anteriores. En la segmentación de imágenes, SAM 2 supera al Segment Anything Model (SAM) original: es seis veces más rápido y preciso. Esta mejora se presentó en el artículo de investigación de SAM 2, en el que se utilizaron 37 conjuntos de datos distintos, incluidos 23 con los que ya se había probado SAM.

Fig. 1. Comparación entre SAM y SAM 2.

Curiosamente, SAM 2 de Meta AI se desarrolló creando el mayor conjunto de datos de segmentación de vídeo hasta la fecha: el conjunto SA-V. Este amplio conjunto de datos incluye más de 50 000 vídeos y 35,5 millones de máscaras de segmentación, recopilados mediante contribuciones interactivas de usuarios. Los anotadores proporcionaron indicaciones y correcciones para ayudar al modelo a aprender a partir de una gran variedad de situaciones y tipos de objetos.

Aplicaciones de Segment Anything Model 2#

Gracias a sus capacidades avanzadas de segmentación de imágenes y vídeos, SAM 2 puede utilizarse en distintos sectores. Veamos algunas de sus aplicaciones.

SAM 2 permite utilizar realidad aumentada (AR) y realidad virtual (VR)#

El nuevo modelo de segmentación de Meta AI puede utilizarse en aplicaciones de realidad aumentada (AR) y realidad virtual (VR). Por ejemplo, SAM 2 puede identificar y segmentar con precisión objetos del mundo real y hacer que la interacción con objetos virtuales resulte más realista. Puede ser útil en distintos ámbitos, como los videojuegos, la educación y la formación, donde es esencial que la interacción entre elementos virtuales y reales resulte realista.

A medida que los dispositivos, como las gafas de AR, se vuelven más avanzados, las capacidades de SAM 2 podrían integrarse pronto en ellos. Imagina que te pones unas gafas y miras a tu alrededor en el salón. Cuando las gafas segmenten y detecten el cuenco de agua de tu perro, podrían recordarte que lo rellenes, como se muestra en la imagen siguiente. O, si estás preparando una receta nueva, las gafas podrían identificar los ingredientes de la encimera y ofrecerte instrucciones paso a paso y consejos para mejorar tu experiencia en la cocina y asegurarse de que tengas a mano todo lo necesario.

Fig. 2. SAM 2 podría utilizarse pronto en gafas de AR.

Imágenes de sonar con Segment Anything Model 2#

La investigación con el modelo SAM ha demostrado que puede aplicarse en ámbitos especializados, como las imágenes de sonar. Las imágenes de sonar plantean retos específicos debido a su baja resolución, sus altos niveles de ruido y las formas complejas de los objetos que aparecen en ellas. Al ajustar SAM con imágenes de sonar, los investigadores han demostrado su capacidad para segmentar con precisión distintos objetos submarinos, como residuos marinos, formaciones geológicas y otros elementos de interés. Las imágenes submarinas precisas y fiables pueden utilizarse en investigación marina, arqueología subacuática, gestión pesquera y vigilancia, para tareas como la cartografía de hábitats, el descubrimiento de artefactos y la detección de amenazas.

Fig. 3. Ejemplo de uso de SAM ajustado para segmentar imágenes de sonar.

Como SAM 2 se basa en SAM y mejora muchos de los aspectos que planteaban dificultades, tiene potencial para seguir mejorando el análisis de imágenes de sonar. Sus precisas capacidades de segmentación pueden ayudar en diversas aplicaciones submarinas, como la investigación científica y la pesca. Por ejemplo, SAM 2 puede delimitar estructuras submarinas, detectar residuos marinos e identificar objetos en imágenes de sonar de exploración frontal, lo que contribuye a una exploración y vigilancia submarinas más precisas y eficientes.

Estas son algunas de las posibles ventajas de utilizar SAM 2 para analizar imágenes de sonar:

• Eficiencia: Reduce el tiempo y el esfuerzo necesarios para la segmentación manual, lo que permite a los profesionales centrarse más en el análisis y la toma de decisiones.
• Coherencia: Proporciona resultados de segmentación coherentes y reproducibles, algo esencial para la investigación y la vigilancia marinas a gran escala.
• Versatilidad: Puede procesar una amplia variedad de imágenes de sonar, por lo que resulta útil en diversas aplicaciones de la ciencia y la industria marinas.

Al integrar SAM 2 en los procesos de análisis de imágenes de sonar, el sector marino puede lograr una mayor eficiencia, precisión y fiabilidad en la exploración y el análisis submarinos, lo que, en última instancia, permite obtener mejores resultados en la investigación marina.

Uso de SAM 2 en vehículos autónomos#

Otra aplicación de SAM 2 son los vehículos autónomos. SAM 2 puede identificar con precisión y en tiempo real objetos como peatones, otros vehículos, señales de tráfico y obstáculos. El nivel de detalle que ofrece SAM 2 es esencial para tomar decisiones seguras de navegación y evitar colisiones. Al procesar datos visuales con precisión, SAM 2 ayuda a crear un mapa detallado y fiable del entorno y permite tomar mejores decisiones.

Fig. 4. Uso de la segmentación para comprender el tráfico.

La capacidad de SAM 2 para funcionar bien con distintas condiciones de iluminación, cambios meteorológicos y entornos dinámicos lo convierte en una opción fiable para los vehículos autónomos. Tanto en una calle urbana concurrida como en una autopista con niebla, SAM 2 puede identificar y segmentar objetos de forma precisa y sistemática, para que el vehículo responda correctamente a distintas situaciones.

Sin embargo, hay algunas limitaciones que conviene tener en cuenta. Con objetos complejos que se mueven rápidamente, SAM 2 puede pasar por alto algunos detalles y sus predicciones pueden volverse inestables entre fotogramas. Además, en escenas abarrotadas, SAM 2 puede confundir varios objetos de aspecto similar. Por eso, la integración de sensores y tecnologías adicionales es fundamental en las aplicaciones de conducción autónoma.

Monitorización medioambiental con SAM 2#

La monitorización medioambiental mediante visión artificial puede resultar complicada, sobre todo cuando faltan datos anotados, pero eso también la convierte en una aplicación interesante para SAM 2. SAM 2 puede utilizarse para seguir y analizar los cambios en los paisajes naturales, segmentando e identificando con precisión distintos elementos medioambientales, como bosques, masas de agua, zonas urbanas y terrenos agrícolas, a partir de imágenes de satélite o de drones. En concreto, una segmentación precisa ayuda a monitorizar la deforestación, la urbanización y los cambios en el uso del suelo a lo largo del tiempo, y proporciona datos valiosos para la conservación del medio ambiente y la planificación.

Fig. 5. Uso de SAM 2 para la vigilancia medioambiental.

Estas son algunas de las ventajas de utilizar un modelo como SAM 2 para analizar los cambios medioambientales a lo largo del tiempo:

• Detección temprana: identifica los primeros signos de degradación medioambiental, lo que permite intervenir a tiempo para evitar más daños.
• Gestión de recursos: Ayuda a gestionar los recursos naturales de forma eficiente al proporcionar información detallada sobre el estado de distintos elementos medioambientales.
• Conservación de la biodiversidad: Ayuda a seguir la fauna y monitorizar la biodiversidad, lo que contribuye a los esfuerzos de conservación y a la protección de especies amenazadas.
• Respuesta ante catástrofes: Ayuda a evaluar el impacto de catástrofes naturales como inundaciones, incendios forestales y huracanes, y permite responder con rapidez y eficacia y planificar la recuperación.

Edición de vídeo con SAM 2: pruébalo tú mismo#

La demo de Segment Anything 2 es una forma estupenda de probar el modelo con un vídeo. Gracias a las capacidades PVS de SAM 2, pudimos segmentar y pixelar tres objetos o personas de un antiguo vídeo de YouTube de Ultralytics. Tradicionalmente, editar un vídeo para ocultar a tres personas habría sido un proceso largo y tedioso que requeriría aplicar máscaras manualmente fotograma a fotograma. Sin embargo, SAM 2 simplifica el proceso. Con unos pocos clics en la demo, puedes proteger en cuestión de segundos la identidad de tres objetos de interés.

Fig. 6. Prueba de la demo de SAM 2.

La demostración también permite probar distintos efectos visuales, como iluminar los objetos que selecciones para seguirlos y borrar los objetos que se están siguiendo. Si te ha gustado la demostración y quieres empezar a innovar con SAM 2, consulta la página de documentación del modelo SAM 2 de Ultralytics para obtener instrucciones detalladas y empezar a utilizar el modelo. Explora las funciones, los pasos de instalación y los ejemplos para aprovechar al máximo el potencial de SAM 2 en tus proyectos. Desde entonces, Meta ha publicado SAM 3, que añade la segmentación de conceptos a partir de indicaciones de texto.

Conclusiones#

Segment Anything Model 2 (SAM 2) de Meta AI está transformando la segmentación de vídeos e imágenes. A medida que mejoran tareas como el seguimiento de objetos, descubrimos nuevas oportunidades en la edición de vídeo, la realidad mixta, la investigación científica y el diagnóstico por imagen. Al simplificar tareas complejas y acelerar el etiquetado, SAM 2 se perfila como una herramienta importante para la comunidad de IA. A medida que seguimos explorando e innovando con modelos como SAM 2, podemos esperar aún más aplicaciones y avances en distintos campos.

Descubre más sobre la IA explorando nuestro repositorio de GitHub y uniéndote a nuestra comunidad. Echa un vistazo a nuestras páginas de soluciones para conocer en detalle la IA en la fabricación y la sanidad.