Aplicaciones de Segment Anything Model 2 de Meta AI (SAM 2)

El 29 de julio de 2024, Meta AI lanzó la segunda versión de su modelo Segment Anything, SAM 2. ¡El nuevo modelo puede determinar qué píxeles pertenecen a un objeto objetivo tanto en imágenes como en vídeos! Lo mejor es que el modelo puede seguir un objeto en todos los fotogramas de un vídeo de forma constante y en tiempo real. SAM 2 abre posibilidades muy interesantes para la edición de vídeo, las experiencias de realidad mixta y la anotación más rápida de datos visuales para entrenar sistemas de visión artificial.

Basándose en el éxito del SAM original, que se ha utilizado en ámbitos como la ciencia marina, las imágenes por satélite y la medicina, SAM 2 aborda retos como los objetos que se mueven rápidamente y los cambios de apariencia. Su precisión y eficiencia mejoradas lo convierten en una herramienta versátil para una amplia variedad de aplicaciones. En este artículo, nos centraremos en dónde se puede aplicar SAM 2 y por qué es importante para la comunidad de IA.

¿Qué es SAM 2?#

El modelo Segment Anything 2 es un modelo fundacional avanzado compatible con la segmentación visual guiada por prompts, o PVS, tanto en imágenes como en vídeos. La PVS es una técnica mediante la que un modelo puede segmentar o identificar distintas partes de una imagen o un vídeo basándose en prompts o entradas específicos proporcionados por el usuario. Estos prompts pueden adoptar la forma de clics, recuadros o máscaras que resaltan el área de interés. A continuación, el modelo genera una máscara de segmentación que delimita el área especificada.

La arquitectura de SAM 2 se basa en el SAM original y amplía la segmentación de imágenes para incluir también la segmentación de vídeo. Cuenta con un decodificador de máscaras ligero que utiliza datos de imagen y prompts para crear máscaras de segmentación. En el caso de los vídeos, SAM 2 introduce un sistema de memoria que le ayuda a recordar información de fotogramas anteriores, garantizando un seguimiento preciso a lo largo del tiempo. El sistema de memoria incluye componentes que almacenan y recuperan detalles sobre los objetos que se están segmentando. SAM 2 también puede gestionar oclusiones, seguir objetos a través de varios fotogramas y manejar prompts ambiguos generando varias máscaras posibles. La avanzada arquitectura de SAM 2 lo hace muy capaz tanto en entornos visuales estáticos como dinámicos.

En concreto, en lo que respecta a la segmentación de vídeo, SAM 2 alcanza una mayor precisión con tres veces menos interacciones del usuario en comparación con los métodos anteriores. En la segmentación de imágenes, SAM 2 supera al modelo Segment Anything (SAM) original: es seis veces más rápido y preciso. Esta mejora se mostró en el artículo de investigación de SAM 2 en 37 conjuntos de datos diferentes, incluidos 23 en los que SAM ya se había probado anteriormente.

Fig. 1. Comparación entre SAM y SAM 2.

Curiosamente, el SAM 2 de Meta AI se desarrolló creando el mayor conjunto de datos de segmentación de vídeo hasta la fecha: el conjunto de datos SA-V. Este extenso conjunto de datos incluye más de 50.000 vídeos y 35,5 millones de máscaras de segmentación, y se recopiló mediante contribuciones interactivas de los usuarios. Los anotadores proporcionaron prompts y correcciones para ayudar al modelo a aprender de una amplia variedad de situaciones y tipos de objetos.

Aplicaciones del modelo Segment Anything 2#

Gracias a sus avanzadas capacidades de segmentación de imágenes y vídeos, SAM 2 puede utilizarse en diversos sectores. Exploremos algunas de estas aplicaciones.

SAM 2 permite la realidad aumentada (AR) y la realidad virtual (VR)#

El nuevo modelo de segmentación de Meta AI puede utilizarse en aplicaciones de realidad aumentada (AR) y realidad virtual (VR). Por ejemplo, SAM 2 puede identificar y segmentar con precisión objetos del mundo real, haciendo que la interacción con objetos virtuales resulte más realista. Puede ser útil en diversos ámbitos, como los videojuegos, la educación y la formación, donde es esencial una interacción realista entre elementos virtuales y reales.

A medida que dispositivos como las gafas de AR se vuelven más avanzados, las capacidades de SAM 2 podrían integrarse pronto en ellos. Imagina que te pones unas gafas y miras a tu alrededor en el salón. Cuando las gafas segmenten y detecten el cuenco de agua de tu perro, podrían recordarte que lo rellenes, como se muestra en la imagen siguiente. O, si estás cocinando una receta nueva, las gafas podrían identificar los ingredientes de la encimera y proporcionarte instrucciones y consejos paso a paso, mejorando tu experiencia en la cocina y asegurándose de que tengas a mano todo lo necesario.

Fig. 2. SAM 2 podría utilizarse pronto en gafas de AR.

Imágenes de sonar con el modelo Segment Anything 2#

Las investigaciones con el modelo SAM han demostrado que puede aplicarse en ámbitos especializados como las imágenes de sonar. Las imágenes de sonar presentan retos específicos debido a su baja resolución, sus altos niveles de ruido y las formas complejas de los objetos que aparecen en ellas. Al ajustar SAM para imágenes de sonar, los investigadores han demostrado su capacidad para segmentar con precisión diversos objetos subacuáticos, como residuos marinos, formaciones geológicas y otros elementos de interés. Las imágenes subacuáticas precisas y fiables pueden utilizarse en la investigación marina, la arqueología subacuática, la gestión pesquera y la vigilancia para tareas como la cartografía de hábitats, el descubrimiento de artefactos y la detección de amenazas.

Fig. 3. Ejemplo del uso de SAM ajustado para la segmentación de imágenes de sonar.

Dado que SAM 2 se basa en SAM y mejora muchos de los retos a los que se enfrenta este último, tiene potencial para mejorar aún más el análisis de imágenes de sonar. Sus capacidades de segmentación precisa pueden contribuir a diversas aplicaciones marinas, incluida la investigación científica y la pesca. Por ejemplo, SAM 2 puede delimitar eficazmente estructuras subacuáticas, detectar residuos marinos e identificar objetos en imágenes de sonar orientado hacia delante, contribuyendo a una exploración y una supervisión subacuáticas más precisas y eficientes.

Estos son los posibles beneficios de utilizar SAM 2 para analizar imágenes de sonar:

• Eficiencia: Reduce el tiempo y el esfuerzo necesarios para la segmentación manual, lo que permite a los profesionales centrarse más en el análisis y la toma de decisiones.
• Coherencia: Proporciona resultados de segmentación coherentes y reproducibles, algo esencial para la investigación y la supervisión marinas a gran escala.
• Versatilidad: Puede gestionar una amplia variedad de imágenes de sonar, lo que lo hace útil para diversas aplicaciones en la ciencia y la industria marinas.

Al integrar SAM 2 en los procesos de obtención de imágenes de sonar, la industria marina puede lograr una mayor eficiencia, precisión y fiabilidad en la exploración y el análisis subacuáticos, lo que en última instancia se traduce en mejores resultados para la investigación marina.

Uso de SAM 2 en vehículos autónomos#

Otra aplicación de SAM 2 son los vehículos autónomos. SAM 2 puede identificar con precisión objetos como peatones, otros vehículos, señales de tráfico y obstáculos en tiempo real. El nivel de detalle que puede proporcionar SAM 2 es esencial para tomar decisiones de navegación segura y evitar colisiones. Al procesar los datos visuales con precisión, SAM 2 ayuda a crear un mapa detallado y fiable del entorno, lo que conduce a una mejor toma de decisiones.

Fig. 4. Uso de la segmentación para comprender el tráfico.

La capacidad de SAM 2 para funcionar bien en distintas condiciones de iluminación, con cambios meteorológicos y en entornos dinámicos lo hace fiable para los vehículos autónomos. Tanto si se trata de una calle urbana concurrida como de una autopista con niebla, SAM 2 puede identificar y segmentar objetos con precisión de forma constante, para que el vehículo responda correctamente a distintas situaciones.

Sin embargo, hay algunas limitaciones que debes tener en cuenta. En el caso de objetos complejos que se mueven rápidamente, SAM 2 puede pasar por alto algunos detalles pequeños y sus predicciones pueden volverse inestables entre fotogramas. Además, SAM 2 puede confundir a veces varios objetos de aspecto similar en escenas concurridas. Estos retos explican por qué la integración de sensores y tecnologías adicionales es fundamental en las aplicaciones de conducción autónoma.

Supervisión medioambiental con ayuda de SAM 2#

La supervisión medioambiental mediante visión artificial puede resultar complicada, especialmente cuando faltan datos anotados, pero eso también es lo que la convierte en una aplicación interesante para SAM 2. SAM 2 puede utilizarse para seguir y analizar cambios en paisajes naturales segmentando e identificando con precisión diversas características medioambientales, como bosques, masas de agua, zonas urbanas y terrenos agrícolas, a partir de imágenes por satélite o de drones. En concreto, una segmentación precisa ayuda a supervisar la deforestación, la urbanización y los cambios en el uso del suelo a lo largo del tiempo, proporcionando datos valiosos para la conservación medioambiental y la planificación.

Estos son algunos de los beneficios de utilizar un modelo como SAM 2 para analizar los cambios medioambientales a lo largo del tiempo:

• Detección temprana: Identifica los primeros signos de degradación medioambiental, lo que permite intervenir a tiempo para evitar daños mayores.
• Gestión de recursos: Ayuda a gestionar los recursos naturales de forma eficiente al proporcionar información detallada sobre el estado de diversas características medioambientales.
• Conservación de la biodiversidad: Ayuda a seguir la fauna y supervisar la biodiversidad, contribuyendo a los esfuerzos de conservación y a la protección de especies en peligro de extinción.
• Respuesta ante desastres: Ayuda a evaluar el impacto de desastres naturales como inundaciones, incendios forestales y huracanes, permitiendo responder rápidamente y de forma eficaz ante los desastres y planificar la recuperación.

Edición de vídeo con SAM 2: pruébalo tú mismo#

La demo de Segment Anything 2 es una excelente forma de probar el modelo con un vídeo. Utilizando las capacidades de PVS de SAM 2, tomamos un antiguo vídeo de YouTube de Ultralytics y pudimos segmentar tres objetos o personas del vídeo y pixelarlos. Tradicionalmente, editar tres personas de un vídeo de ese modo llevaría mucho tiempo, sería tedioso y requeriría crear máscaras manualmente fotograma a fotograma. Sin embargo, SAM 2 simplifica este proceso. Con unos pocos clics en la demo, puedes proteger la identidad de tres objetos de interés en cuestión de segundos.

Fig. 6. Probando la demo de SAM 2.

La demo también te permite probar varios efectos visuales, como poner un foco sobre los objetos que selecciones para seguirlos y borrar los objetos que se están siguiendo. Si te ha gustado la demo y estás listo para empezar a innovar con SAM 2, consulta la página de documentación del modelo SAM 2 de Ultralytics para obtener instrucciones detalladas sobre cómo trabajar con el modelo. Explora las funciones, los pasos de instalación y los ejemplos para aprovechar al máximo el potencial de SAM 2 en tus proyectos.

Conclusiones#

El modelo Segment Anything 2 (SAM 2) de Meta AI está transformando la segmentación de vídeos e imágenes. A medida que mejoran tareas como el seguimiento de objetos, descubrimos nuevas oportunidades en la edición de vídeo, la realidad mixta, la investigación científica y las imágenes médicas. Al facilitar las tareas complejas y acelerar las anotaciones, SAM 2 está destinado a convertirse en una herramienta importante para la comunidad de IA. A medida que seguimos explorando e innovando con modelos como SAM 2, podemos anticipar aún más aplicaciones y avances revolucionarios en diversos ámbitos.

Conoce mejor la IA explorando nuestro repositorio de GitHub y uniéndote a nuestra comunidad. Consulta nuestras páginas de soluciones para obtener información detallada sobre la IA en la fabricación y la atención sanitaria. 🚀