PaliGemma 2 de Google: análisis de modelos VLM avanzados

El 5 de diciembre de 2024, Google presentó PaliGemma 2, la última versión de su modelo de visión y lenguaje (VLM). PaliGemma 2 está diseñado para realizar tareas que combinan imágenes y texto, como generar descripciones, responder preguntas visuales y detectar objetos en imágenes.

Basado en el PaliGemma original, que ya era una herramienta potente para generar descripciones multilingües y reconocer objetos, PaliGemma 2 incorpora varias mejoras importantes. Entre ellas se incluyen modelos de mayor tamaño, compatibilidad con imágenes de mayor resolución y un mejor rendimiento en tareas visuales complejas. Estas mejoras lo hacen aún más flexible y eficaz para una amplia variedad de usos.

En este artículo, veremos más de cerca PaliGemma 2, incluido su funcionamiento, sus características principales y las aplicaciones en las que destaca.

De Gemma 2 a PaliGemma 2#

PaliGemma 2 se basa en dos tecnologías clave: el codificador visual SigLIP y el modelo de lenguaje Gemma 2. El codificador SigLIP procesa datos visuales, como imágenes o vídeos, y los descompone en características que el modelo puede analizar. Por su parte, Gemma 2 procesa texto, lo que permite al modelo comprender y generar contenido multilingüe. Juntos forman un VLM diseñado para interpretar y conectar información visual y textual.

Lo que convierte a PaliGemma 2 en un gran paso adelante es su escalabilidad y versatilidad. A diferencia de la versión original, PaliGemma 2 está disponible en tres tamaños: 3.000 millones (3B), 10.000 millones (10B) y 28.000 millones (28B) de parámetros. Estos parámetros son como los ajustes internos del modelo y le ayudan a aprender y procesar datos de forma eficaz. También admite distintas resoluciones de imagen (por ejemplo, 224 x 224 píxeles para tareas rápidas y 896 x 896 para análisis detallados), lo que permite adaptarlo a diversas aplicaciones.

Fig. 1. Descripción general de PaliGemma 2.

La integración de las avanzadas capacidades lingüísticas de Gemma 2 con el procesamiento de imágenes de SigLIP hace que PaliGemma 2 sea mucho más capaz. Puede realizar tareas como:

• Generación de pies de foto para imágenes o vídeos: el modelo puede generar descripciones textuales detalladas de elementos visuales, por lo que resulta útil para crear pies de foto automáticamente.
• Respuesta a preguntas visuales: PaliGemma 2 puede responder a preguntas basadas en imágenes, como identificar objetos, personas o acciones en una escena.
• Reconocimiento de objetos: identifica y etiqueta objetos dentro de una imagen, como distinguir entre un gato, una mesa o un coche en una fotografía.

PaliGemma 2 va más allá de procesar imágenes y texto por separado: los combina de forma significativa. Por ejemplo, puede entender las relaciones dentro de una escena, como reconocer que «El gato está sentado en la mesa», o identificar objetos y añadir contexto, como reconocer un monumento famoso.

Cómo funcionan los modelos VLM PaliGemma 2 de Google#

A continuación, veremos un ejemplo con el gráfico que aparece en la imagen siguiente para entender mejor cómo procesa PaliGemma 2 los datos visuales y textuales. Supongamos que subes este gráfico y preguntas al modelo: «¿Qué representa este gráfico?»

Fig. 2. Ejemplo de las capacidades de PaliGemma 2.

El proceso empieza con el codificador visual SigLIP de PaliGemma 2, que analiza las imágenes y extrae las características clave. En un gráfico, esto incluye identificar elementos como los ejes, los puntos de datos y las etiquetas. El codificador se entrena para captar tanto patrones generales como detalles minuciosos. También utiliza el reconocimiento óptico de caracteres (OCR) para detectar y procesar el texto integrado en la imagen. Estas características visuales se convierten en tokens, que son representaciones numéricas que el modelo puede procesar. Después, estos tokens se ajustan mediante una capa de proyección lineal, una técnica que permite combinarlos con datos textuales.

Al mismo tiempo, el modelo lingüístico Gemma 2 procesa la consulta asociada para determinar su significado e intención. El texto de la consulta se convierte en tokens, que se combinan con los tokens visuales de SigLIP para crear una representación multimodal, un formato unificado que conecta los datos visuales y textuales.

A partir de esta representación integrada, PaliGemma 2 genera una respuesta paso a paso mediante decodificación autorregresiva, un método en el que el modelo predice una parte de la respuesta cada vez, basándose en el contexto que ya ha procesado.

Capacidades clave de PaliGemma 2#

Ahora que hemos explicado cómo funciona, veamos las características clave que hacen de PaliGemma 2 un modelo de visión y lenguaje fiable:

• Flexibilidad de ajuste fino: Se adapta fácilmente a conjuntos de datos y tareas específicos, y ofrece un buen rendimiento en aplicaciones como la generación de descripciones de imágenes, el razonamiento espacial y el diagnóstico por imagen.
• Datos de entrenamiento diversos: Se ha entrenado con conjuntos de datos como WebLI y Open Images, lo que le proporciona sólidas capacidades de reconocimiento de objetos y de generación multilingüe.
• Integración del OCR: incluye reconocimiento óptico de caracteres para extraer e interpretar texto de imágenes, por lo que es ideal para el análisis de documentos y otras tareas basadas en texto.
• Respuestas en varios idiomas: genera pies de foto y respuestas en varios idiomas, ideal para aplicaciones globales.
• Integración con herramientas: Es compatible con marcos de trabajo como Hugging Face Transformers, PyTorch y Keras, lo que facilita su implementación y experimentación.

Comparación entre PaliGemma 2 y PaliGemma: ¿qué ha mejorado?#

Analizar la arquitectura de la primera versión de PaliGemma es una buena forma de ver las mejoras de PaliGemma 2. Uno de los cambios más destacados es la sustitución del modelo lingüístico Gemma original por Gemma 2, que aporta mejoras sustanciales tanto en rendimiento como en eficiencia.

Gemma 2, disponible en tamaños de 2B, 9B y 27B parámetros, se diseñó para ofrecer una precisión y velocidad líderes en su categoría y reducir los costes de implementación. Lo consigue gracias a una arquitectura rediseñada y optimizada para lograr una inferencia eficiente en distintas configuraciones de hardware, desde GPU potentes hasta equipos más accesibles.

Fig. 3. Un vistazo a la primera versión de PaliGemma.

Como resultado, PaliGemma 2 es un modelo muy preciso. La versión 10B de PaliGemma 2 obtiene una puntuación Non-Entailment Sentence (NES) más baja, de 20,3, frente a los 34,3 del modelo original, lo que significa que comete menos errores fácticos en sus resultados. Estos avances hacen que PaliGemma 2 sea más escalable, preciso y adaptable a una gama más amplia de aplicaciones, desde la generación de descripciones detalladas hasta la respuesta a preguntas visuales. Los modelos Gemma 4 más recientes de Google, como Gemma 4 26B, se comparan con otros modelos de visión y lenguaje en la clasificación de VLM para la detección de objetos en el mundo real.

Aplicaciones de PaliGemma 2: usos reales de los modelos VLM#

PaliGemma 2 puede aplicarse en muchos sectores porque combina la comprensión visual y lingüística. Por ejemplo, en lo que respecta a la accesibilidad, puede generar descripciones detalladas de objetos, escenas y relaciones espaciales, lo que proporciona una ayuda fundamental a las personas con discapacidad visual. Esta capacidad ayuda a los usuarios a comprender mejor su entorno y les ofrece más autonomía en las tareas cotidianas.

Fig. 4. PaliGemma 2 puede hacer del mundo un lugar más accesible.

Además de mejorar la accesibilidad, PaliGemma 2 está teniendo un impacto en diversos sectores, entre ellos:

• Comercio electrónico: el modelo mejora la clasificación de productos al analizar y describir los artículos que aparecen en las imágenes, lo que simplifica la gestión del inventario y mejora la experiencia de búsqueda de los usuarios.
• Sanidad: ayuda a los profesionales sanitarios a interpretar imágenes médicas, como radiografías y resonancias magnéticas, junto con notas clínicas, para ofrecer diagnósticos más precisos y fundamentados.
• Educación: PaliGemma 2 ayuda a los docentes a crear materiales de aprendizaje descriptivos y accesibles mediante la generación de pies de foto y la aportación de información contextual sobre las imágenes.
• Creación de contenido: El modelo automatiza la generación de pies de foto y descripciones visuales para contenido multimedia, lo que ahorra tiempo a los creadores.

Pruébalo tú mismo: PaliGemma 2#

Para probar PaliGemma 2, puedes empezar con la demo interactiva de Hugging Face. Te permite explorar sus capacidades en tareas como la generación de pies de foto para imágenes y la respuesta a preguntas visuales. Solo tienes que subir una imagen y hacerle preguntas al modelo o pedirle una descripción de la escena.

Fig. 5. Una demostración de PaliGemma 2 (fuente: Hugging Face).

Si quieres profundizar más, aquí tienes algunas formas de ponerlo en práctica:

• Modelos preentrenados: Puedes acceder a modelos preentrenados y código en plataformas como Hugging Face y Kaggle. Estos recursos te ofrecen todo lo que necesitas para empezar a trabajar con el modelo.
• Cuadernos: Dispones de documentación completa y cuadernos de ejemplo para familiarizarte con PaliGemma 2. Puedes empezar con ejemplos de inferencia y experimentar con el ajuste fino del modelo en tu propio conjunto de datos para tareas específicas.
• Integraciones: PaliGemma 2 es compatible con marcos de trabajo muy utilizados, como Hugging Face Transformers, Keras, PyTorch, JAX y Gemma.cpp, lo que te permite integrarlo en tus flujos de trabajo actuales.

Ventajas e inconvenientes de PaliGemma 2 de Google#

Ahora que hemos visto cómo empezar a utilizar PaliGemma 2, vamos a analizar más detenidamente sus principales puntos fuertes y sus inconvenientes, que debes tener en cuenta al usar estos modelos.

Esto es lo que hace que PaliGemma 2 destaque como modelo de visión y lenguaje:

• Mejoras de eficiencia: Gracias a la arquitectura optimizada de Gemma 2, PaliGemma 2 ofrece un alto rendimiento y minimiza los costes de implementación.
• Funciones de seguridad mejoradas: PaliGemma 2 incorpora importantes mejoras de seguridad en su proceso de entrenamiento, como un filtrado sólido de los datos de preentrenamiento para reducir los sesgos y una evaluación rigurosa frente a pruebas de referencia de seguridad.
• Baja latencia en las configuraciones más pequeñas: El modelo 3B ofrece tiempos de inferencia más rápidos, por lo que es adecuado para casos de uso en los que la velocidad es fundamental, como las recomendaciones de productos de comercio electrónico o los sistemas de asistencia en directo.

Por otro lado, estas son algunas de las limitaciones que PaliGemma 2 podría presentar:

• Latencia: Aunque los modelos más grandes son potentes, pueden presentar problemas de latencia, sobre todo cuando se implementan en tareas que requieren respuestas inmediatas, como los sistemas interactivos de IA en tiempo real.
• Dependencia de grandes conjuntos de datos: El rendimiento de PaliGemma 2 está estrechamente ligado a la calidad y diversidad de sus conjuntos de datos de entrenamiento, lo que podría limitar su eficacia en ámbitos poco representados o en idiomas que no estén incluidos en los datos de entrenamiento.
• Altos requisitos de recursos: A pesar de las optimizaciones, las versiones de 10B y 28B parámetros requieren una gran capacidad de cálculo, por lo que resultan menos accesibles para las organizaciones pequeñas con recursos limitados.

Conclusiones clave#

PaliGemma 2 es un avance fascinante en el modelado de visión y lenguaje que ofrece una escalabilidad mejorada, flexibilidad para el ajuste fino y mayor precisión. Puede ser una herramienta muy útil para aplicaciones que van desde las soluciones de accesibilidad y el comercio electrónico hasta el diagnóstico sanitario y la educación.

Aunque tiene limitaciones, como los requisitos de cálculo y la dependencia de datos de alta calidad, sus puntos fuertes lo convierten en una opción práctica para abordar tareas complejas que integran datos visuales y textuales. PaliGemma 2 puede ofrecer una base sólida para que investigadores y desarrolladores exploren y amplíen el potencial de la IA en aplicaciones multimodales.

Forma parte de la conversación sobre la IA visitando nuestro repositorio de GitHub y nuestra comunidad. ¡Lee cómo la IA está avanzando en la agricultura y la sanidad!