Novedades de investigación en IA de Meta FAIR: SAM 2.1 y CoTracker3

La investigación en inteligencia artificial (AI) avanza rápidamente y cada vez aparecen nuevos avances con mayor velocidad. En las últimas semanas, el equipo de Fundamental AI Research (FAIR) de Meta presentó un conjunto de herramientas y modelos destinados a abordar retos en distintas áreas de la AI. Estas novedades incluyen actualizaciones que podrían influir en ámbitos tan diversos como la sanidad, la robótica y la realidad aumentada.

Por ejemplo, el modelo SAM 2.1 actualizado mejora la segmentación de objetos, lo que facilita identificar y separar con precisión los objetos en imágenes y vídeos. Mientras tanto, CoTracker3 se centra en el seguimiento de puntos, que permite seguir puntos en los fotogramas de un vídeo incluso cuando los objetos se mueven o quedan parcialmente ocultos.

Meta también ha presentado versiones más ligeras y rápidas de su modelo de lenguaje Llama para usarlas de forma eficiente en dispositivos, además de una nueva tecnología de detección táctil para robótica. En este artículo analizaremos estos últimos lanzamientos de Meta FAIR y veremos qué ofrece cada herramienta.

La versión mejorada de Segment Anything Model de Meta: SAM 2.1#

La segmentación de objetos, una tarea clave de visión artificial, permite identificar y separar objetos distintos dentro de una imagen o un vídeo, lo que facilita analizar áreas de interés concretas. Desde su lanzamiento, el modelo Segment Anything 2 (SAM 2) de Meta se ha utilizado para segmentar objetos en distintos campos, como la obtención de imágenes médicas y la meteorología. A partir de los comentarios de la comunidad, Meta ha presentado SAM 2.1, una versión mejorada diseñada para superar algunos de los retos que planteaba el modelo original y ofrecer un mejor rendimiento general.

Fig. 1. Evaluación comparativa del rendimiento del modelo SAM 2.1.

SAM 2.1 incluye mejoras para manejar mejor los objetos visualmente similares y de menor tamaño gracias a nuevas técnicas de aumento de datos. También mejora el tratamiento de la oclusión (cuando partes de un objeto quedan ocultas) al entrenar el modelo con secuencias de vídeo más largas, lo que le permite «recordar» y reconocer objetos a lo largo del tiempo, aunque queden ocultos temporalmente. Por ejemplo, si alguien graba a una persona caminando detrás de un árbol, SAM 2.1 puede seguir a la persona cuando reaparece al otro lado, usando su memoria de la posición y el movimiento del objeto para completar los huecos cuando la vista se interrumpe brevemente.

Junto con estas mejoras, Meta ha publicado SAM 2 Developer Suite, que proporciona código de entrenamiento de código abierto y toda la infraestructura necesaria para las demostraciones, de modo que los desarrolladores puedan ajustar SAM 2.1 con sus propios datos e integrarlo en distintas aplicaciones.

CoTracker3: el modelo de seguimiento de Meta, sus funciones y actualizaciones#

Otra tarea interesante de visión artificial es el seguimiento de puntos. Consiste en seguir puntos o características concretas a lo largo de varios fotogramas de un vídeo. Imagina un vídeo de un ciclista recorriendo una pista: el seguimiento de puntos permite que el modelo siga puntos del ciclista, como el casco o las ruedas, incluso si los ocultan obstáculos durante un instante.

El seguimiento de puntos es esencial para aplicaciones como la reconstrucción 3D, la robótica y la edición de vídeo. Los modelos tradicionales suelen depender de configuraciones complejas y grandes conjuntos de datos sintéticos, lo que limita su eficacia en situaciones del mundo real.

El modelo de seguimiento CoTracker3 de Meta aborda estas limitaciones al simplificar la arquitectura del modelo. También incorpora una técnica de seudoeetiquetado que permite al modelo aprender de vídeos reales sin anotar, lo que hace que CoTracker3 sea más eficiente y escalable para usos prácticos.

Fig. 2. Comparación de CoTracker3 con otros modelos de seguimiento.

Una de las características que distinguen a CoTracker3 es su capacidad para gestionar bien las oclusiones. Mediante la atención entre trayectorias, una técnica que permite al modelo compartir información entre varios puntos seguidos, CoTracker3 puede inferir la posición de los puntos ocultos consultando los visibles. Así, CoTracker3 está diseñado para ser muy eficaz en entornos dinámicos, como al seguir a una persona en una escena concurrida.

CoTracker3 también ofrece modos en línea y sin conexión. El modo en línea permite el seguimiento en tiempo real, mientras que el modo sin conexión sirve para hacer un seguimiento más exhaustivo de secuencias de vídeo completas, ideal para tareas como la edición de vídeo o la animación.

Otras actualizaciones e investigaciones de Meta FAIR#

Aunque SAM 2.1 y CoTracker3 muestran los últimos avances de Meta en visión artificial, también hay novedades interesantes en otros campos de la IA, como el procesamiento del lenguaje natural (NLP) y la robótica. Veamos algunos de los otros avances recientes de Meta FAIR.

Spirit LM de Meta: innovaciones de IA en modelos lingüísticos y multimodales#

Spirit LM de Meta es un nuevo modelo de lenguaje multimodal que combina capacidades de texto y voz para que las interacciones con la IA resulten más naturales. A diferencia de los modelos tradicionales, que procesan solo texto o solo voz, Spirit LM puede alternar entre ambos.

Spirit LM puede comprender y generar lenguaje de una forma más humana. Por ejemplo, puede mejorar los asistentes virtuales, que pueden escuchar y responder tanto con voz como por escrito, o servir de apoyo a herramientas de accesibilidad que convierten la voz en texto y viceversa.

Fig. 3. Ejemplo de conversión de texto a voz con Meta Spirit LM.

Además, Meta ha desarrollado técnicas para que los modelos de lenguaje grandes sean más eficientes. Una de ellas, denominada Layer Skip, ayuda a reducir las necesidades de cálculo y el consumo energético al activar únicamente las capas necesarias para cada tarea. Esto resulta especialmente útil en aplicaciones para dispositivos con memoria y potencia limitadas.

Para avanzar en el despliegue de aplicaciones de IA en estos dispositivos, Meta también ha lanzado versiones cuantizadas de sus modelos Llama. Estos modelos están comprimidos para ejecutarse más rápido en dispositivos móviles sin sacrificar precisión.

Una mirada al futuro de la optimización con Meta Lingua#

A medida que los modelos de IA aumentan de tamaño y complejidad, optimizar su proceso de entrenamiento se ha vuelto esencial. En este ámbito, Meta ha presentado Meta Lingua, una base de código flexible y eficiente que facilita el entrenamiento de modelos de lenguaje grandes. El diseño modular de Meta Lingua permite a los investigadores personalizar y ampliar sus experimentos rápidamente.

Los investigadores pueden dedicar menos tiempo a la configuración técnica y más a la investigación propiamente dicha. La base de código también es ligera y fácil de integrar, por lo que sirve tanto para pequeños experimentos como para proyectos a gran escala. Al eliminar estos obstáculos técnicos, Meta Lingua ayuda a los investigadores a avanzar más rápido y probar nuevas ideas con mayor facilidad.

Fig. 4. Descripción general de Meta Lingua.

Mejoras de Meta en seguridad de IA#

A medida que avanza la tecnología de computación cuántica, surgen nuevos retos para la seguridad de los datos. A diferencia de los ordenadores actuales, es probable que los ordenadores cuánticos puedan resolver cálculos complejos mucho más rápido. Esto significa que podrían llegar a romper los métodos de cifrado que se utilizan actualmente para proteger la información sensible. Por eso, la investigación en este campo es cada vez más importante: desarrollar nuevas formas de proteger los datos es esencial mientras nos preparamos para el futuro de la computación cuántica.

Para abordar este problema, Meta ha desarrollado Salsa, una herramienta destinada a reforzar la seguridad criptográfica poscuántica. Salsa ayuda a los investigadores a probar ataques basados en IA e identificar posibles puntos débiles, lo que les permite comprender y abordar mejor las vulnerabilidades de los sistemas criptográficos. Al simular escenarios de ataque avanzados, Salsa ofrece información valiosa que puede orientar el desarrollo de medidas de seguridad más sólidas y resilientes para la era cuántica.

IA en Meta: últimas innovaciones en robótica#

El trabajo más reciente de Meta en robótica se centra en ayudar a la IA a interactuar de forma más natural con el mundo físico, mejorando la percepción táctil, la destreza y la colaboración con las personas. En concreto, Meta Digit 360 es un sensor táctil avanzado que proporciona a los robots un sentido del tacto más preciso. Los sensores ayudan a los robots a detectar detalles como la textura, la presión e incluso la forma de los objetos. Gracias a esta información, los robots pueden manipular objetos con más precisión, algo fundamental en sectores como la sanidad y la fabricación.

Estas son algunas de las principales características de Meta Digit 360:

• Está equipado con 18 funciones de detección distintas que le permiten capturar una amplia variedad de detalles táctiles.
• El sensor puede detectar cambios de presión de tan solo 1 milinewton, lo que permite a los robots responder a texturas finas y movimientos sutiles.
• Incluye más de 8 millones de taxels (pequeños puntos de detección) en la superficie de la yema del dedo, lo que proporciona un mapa de información táctil de alta resolución.

Una extensión de Meta Digit 360 es Meta Digit Plexus, una plataforma que integra varios sensores táctiles en una única mano robótica. Esta configuración permite a los robots procesar simultáneamente información táctil procedente de varios puntos, de forma similar a como las manos humanas recopilan datos sensoriales.

Fig. 5. Meta Digit Plexus.

Preparando el terreno para la próxima etapa de la IA#

Las últimas actualizaciones de IA de Meta, desde los avances en visión artificial con SAM 2.1 y CoTracker3 hasta los nuevos desarrollos en modelos lingüísticos y robótica, muestran cómo la IA pasa poco a poco de la teoría a soluciones prácticas y con impacto.

Estas herramientas están diseñadas para que la IA sea más adaptable y útil en distintos ámbitos, y ayudan con tareas que van desde segmentar imágenes complejas hasta comprender el lenguaje humano e incluso colaborar con nosotros en espacios físicos.

Al dar prioridad a la accesibilidad y a las aplicaciones del mundo real, Meta FAIR nos acerca a un futuro en el que la IA pueda afrontar retos reales y mejorar nuestra vida cotidiana de forma significativa.

¿Te interesa la IA? Únete a nuestra comunidad para recibir las últimas novedades e información, y echa un vistazo a nuestro repositorio de GitHub. También puedes descubrir cómo se utiliza la visión artificial en sectores como los coches autónomos y la agricultura.