Actualizaciones de investigación de IA de Meta FAIR: SAM 2.1 y CoTracker3

La inteligencia artificial (IA) es un campo de investigación que últimamente rebosa entusiasmo y energía, con new innovations y avances que surgen más rápido que nunca. En las últimas semanas, el equipo de Investigación Fundamental en Inteligencia Artificial (FAIR) de Meta ha presentado un conjunto de herramientas y models destinadas a abordar retos en diferentes áreas de la IA. Estos lanzamientos incluyen actualizaciones que podrían influir en campos tan diversos como la healthcare, la robotics y la augmented reality.

Por ejemplo, el modelo actualizado SAM 2.1 mejora la object segmentation, lo que facilita identificar y separar con precisión objetos en images y vídeos. Por su parte, CoTracker3 se centra en el tracking de puntos, ayudando a seguir puntos en fotogramas de vídeo incluso cuando los objetos se mueven o quedan parcialmente ocultos.

Meta también ha introducido versiones más ligeras y rápidas de su Llama language model para un uso eficiente on-device use, junto con una nueva tecnología de percepción táctil para la robotics. En este artículo, analizaremos estos últimos lanzamientos de Meta FAIR, examinando lo que ofrece cada herramienta. ¡Empecemos!

El Segment Anything Model mejorado de Meta: SAM 2.1#

La Object segmentation, una computer vision task clave, permite identificar y separar objetos distintos dentro de una imagen o vídeo, facilitando el análisis de áreas de interés específicas. Desde su lanzamiento, el Segment Anything Model 2 (SAM 2) de Meta se ha utilizado para la segmentación de objetos en diversos campos como la medical imaging y la meteorology. Basándose en los comentarios de la comunidad, Meta ha presentado ahora SAM 2.1, una versión mejorada diseñada para afrontar algunos de los retos encontrados en el modelo original y ofrecer un performance global más sólido.

Fig 1. Evaluación comparativa del rendimiento del modelo SAM 2.1.

SAM 2.1 incluye actualizaciones para gestionar mejor los objetos visualmente similares y más pequeños, gracias a nuevas técnicas de data augmentation. También mejora la forma en que el modelo gestiona la oclusión (cuando partes de un objeto están ocultas a la vista) al entrenarlo con secuencias de vídeo más largas, lo que le permite "recordar" y reconocer objetos a lo largo del tiempo, incluso si se tapan temporalmente. Por ejemplo, si alguien está filming a video de una persona caminando detrás de un tree, SAM 2.1 puede track a la persona a medida que reaparece al otro lado, utilizando su memoria de la object’s position y del movement para rellenar los huecos cuando la vista se interrumpe brevemente.

Junto con estas actualizaciones, Meta ha lanzado el paquete de desarrollo de SAM 2 (SAM 2 Developer Suite), que proporciona código de entrenamiento de open-source y una infraestructura de demostración completa para que los desarrolladores puedan fine-tune SAM 2.1 con sus propios data e integrarlo en diversas applications.

CoTracker3: El modelo de seguimiento de Meta y sus características y actualizaciones#

Otra tarea de visión por ordenador interesante es el tracking de puntos. Consiste en seguir puntos o características específicas a lo largo de varios fotogramas en un vídeo. Imagina el vídeo de un cyclist montando en pista; el seguimiento de puntos permite al modelo mantener el track of points en el ciclista, como el casco o las ruedas, aunque queden ocultos por obstáculos durante un momento.

El seguimiento de puntos es esencial para aplicaciones como la 3D reconstruction, la robotics y la edición de vídeo. Los modelos tradicionales suelen depender de configuraciones complejas y grandes conjuntos de datos sintéticos, lo que limita su eficacia cuando se aplican a escenarios del mundo real.

El modelo de tracking CoTracker3 de Meta aborda estas limitaciones simplificando la arquitectura del modelo. También introduce una técnica de pseudo-labeling technique que permite al modelo aprender de vídeos reales y sin anotar, haciendo que CoTracker3 sea más eficiente y escalable para su uso práctico.

Fig 2. Comparación de CoTracker3 con otros modelos de seguimiento.

Una de las características que hace que CoTracker3 destaque es su capacidad para gestionar bien las oclusiones. Mediante la atención de seguimiento cruzado (cross-track attention), una técnica que permite al modelo compartir información entre varios puntos rastreados, CoTracker3 puede inferir las posiciones de los puntos ocultos haciendo referencia a los visibles. De este modo, CoTracker3 está diseñado para ser muy eficaz en entornos dinámicos, como following a person a través de una escena con mucha gente.

CoTracker3 también ofrece modos en línea y fuera de línea. El modo en línea proporciona seguimiento en tiempo real, mientras que el modo fuera de línea se puede utilizar para un seguimiento más exhaustivo en secuencias de vídeo completas, ideal para tareas como la edición de vídeo o la animation.

Otras actualizaciones e investigaciones de Meta FAIR#

Mientras que SAM 2.1 y CoTracker3 muestran los últimos avances de Meta en computer vision, también hay novedades interesantes en otras áreas de la AI, como el natural language processing (NLP) y la robotics. Echemos un vistazo a algunos de estos otros desarrollos recientes de Meta FAIR.

Meta's Spirit LM: Innovaciones de IA en modelos de lenguaje y multimodales#

Spirit LM de Meta es un nuevo multimodal modelo de lenguaje que combina capacidades de text and speech, haciendo que las interactions with AI parezcan más naturales. A diferencia de los modelos tradicionales que gestionan solo texto o solo voz, Spirit LM puede alternar entre ambos sin problemas.

Spirit LM puede comprender y generate language de formas que resultan más humanas. Por ejemplo, puede mejorar los virtual assistants que pueden escuchar y responder tanto en lenguaje hablado como escrito, o dar soporte a las accessibility tools que convierten la voz en texto y viceversa.

Fig 3. Un ejemplo de texto a voz utilizando Meta Spirit LM.

Además, Meta ha desarrollado técnicas para hacer que los grandes modelos de lenguaje sean más eficientes. Una de ellas, denominada Layer Skip, ayuda a reducir las computational needs y los energy costs al activar únicamente las capas necesarias para una tarea determinada. Esto resulta especialmente útil para aplicaciones on devices con memoria y potencia limitadas.

Llevando un paso más allá la necesidad de deploy AI aplicaciones en dichos dispositivos, Meta también ha lanzado versiones quantized de sus Llama models. Estos modelos están comprimidos para ejecutarse más rápido en mobile devices sin sacrificar accuracy.

Una mirada al futuro de la optimización con Meta Lingua#

A medida que los AI models crecen en tamaño y complejidad, optimizar su proceso de training se ha vuelto crucial. En lo que respecta a la optimization, Meta ha introducido Meta Lingua, una base de código flexible y eficiente que facilita el entrenamiento de large language models. El diseño modular de Meta Lingua permite a los researchers personalizar y escalar rápidamente sus experimentos.

Los investigadores pueden dedicar menos tiempo a la configuración técnica y más a la investigación real. La base de código también es ligera y fácil de integrate, por lo que resulta adecuada tanto para experimentos pequeños como para proyectos a gran escala. Al eliminar estos obstáculos técnicos, Meta Lingua ayuda a los investigadores a progresar más rápidamente y a probar new ideas con mayor facilidad.

Fig 4. Una visión general de Meta Lingua.

Las mejoras de Meta en la seguridad de la IA#

A medida que avanza la tecnología de la computación cuántica, surgen nuevos retos para la data security. A diferencia de los ordenadores actuales, es probable que los ordenadores cuánticos puedan resolver cálculos complejos mucho más rápido. Esto significa que podrían llegar a break the encryption métodos utilizados actualmente para protect información confidencial. Por eso la investigación en este campo es cada vez más importante: desarrollar nuevas formas de proteger los datos es esencial mientras nos preparamos para el futuro de la computación cuántica.

Para abordar este problema, Meta ha desarrollado Salsa, una herramienta destinada a reforzar la seguridad criptográfica postcuántica. Salsa ayuda a los investigadores a probar ataques impulsados por IA e identificar posibles debilidades, permitiéndoles comprender mejor y abordar las vulnerabilidades en los sistemas criptográficos. Al simular escenarios de ataque avanzados, Salsa proporciona información valiosa que puede guiar el desarrollo de security measures más fuertes y resistentes para la era cuántica.

IA en Meta: Últimas innovaciones en robótica#

El trabajo más reciente de Meta en robotics se centra en ayudar a la IA a interactuar de forma más natural con el mundo físico mejorando la percepción táctil, la destreza y la colaboración con los humanos. En concreto, Meta Digit 360 es un sensor táctil avanzado que dota a los robots de un sentido del tacto refinado. Los sensores ayudan a los robots a detectar detalles como la textura, la presión e incluso las formas de los objetos. A partir de estos datos, los robots pueden manipular objetos con mayor precisión; algo crucial en áreas como la healthcare y la manufacturing.

Estas son algunas de las características clave que incluye el Meta Digit 360:

• Está equipado con 18 características de detección distintas para poder capturar una amplia gama de detalles táctiles.
• El sensor puede detectar cambios de presión tan pequeños como 1 milinewton, lo que permite a los robots responder a texturas finas y movimientos sutiles.
• Incluye más de 8 millones de taxeles (pequeños puntos de detección) a través de la superficie de la yema del dedo, proporcionando un mapa de alta resolución de la información táctil.

Una extensión del Meta Digit 360 es el Meta Digit Plexus, una plataforma que integra varios sensores táctiles en una sola mano robótica. Esta configuración permite a los robots procesar información táctil de múltiples puntos a la vez, similar a cómo las manos humanas recopilan datos sensoriales.

Fig 5. El Meta Digit Plexus.

Preparando el escenario para el próximo capítulo de la IA#

Las últimas actualizaciones de IA de Meta, que van desde avances en visión artificial con SAM 2.1 y CoTracker3 hasta nuevos desarrollos en modelos de lenguaje y robótica, muestran cómo la IA está pasando de forma constante de la teoría a soluciones prácticas e impactantes.

Estas herramientas están diseñadas para hacer que la IA sea más adaptable y útil en diferentes campos, ayudando con todo, desde segmentar imágenes complejas hasta comprender el lenguaje humano e incluso trabajar junto a nosotros en espacios físicos.

Al priorizar la accesibilidad y la aplicación en el mundo real, Meta FAIR nos acerca a un futuro donde la IA puede abordar desafíos del mundo real y mejorar nuestra vida diaria de maneras significativas.

¿Tienes curiosidad por la IA? Únete a our community para conocer las últimas actualizaciones y perspectivas, y echa un vistazo a nuestro GitHub repository. ¡También puedes explorar cómo se puede utilizar la visión por ordenador en sectores como los self-driving cars y la agriculture!