Al hacer clic en "Aceptar todas las cookies", usted acepta el almacenamiento de cookies en su dispositivo para mejorar la navegación por el sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información en
Configuración de cookies
Al hacer clic en "Aceptar todas las cookies", usted acepta el almacenamiento de cookies en su dispositivo para mejorar la navegación por el sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información en
Acompáñenos a conocer más de cerca los nuevos modelos lingüísticos de visión de Google: PaliGemma 2. Estos modelos pueden ayudar a comprender y analizar tanto imágenes como texto.
El 5 de diciembre de 2024, Google presentó PaliGemma 2, la última versión de su vanguardista modelo de visión-lenguaje (VLM). PaliGemma 2 está diseñado para realizar tareas que combinan imágenes y texto, como generar pies de foto, responder a preguntas visuales y detectar objetos en imágenes.
Basándose en el PaliGemma original, que ya era una herramienta sólida para el subtitulado multilingüe y el reconocimiento de objetos, PaliGemma 2 aporta varias mejoras clave. Entre ellas se incluyen modelos de mayor tamaño, compatibilidad con imágenes de mayor resolución y mejor rendimiento en tareas visuales complejas. Estas mejoras lo hacen aún más flexible y eficaz para una amplia gama de usos.
En este artículo analizaremos en detalle PaliGemma 2, su funcionamiento, sus principales características y las aplicaciones en las que destaca. Vamos a empezar.
De Gemma 2 a PaliGemma 2
PaliGemma 2 se basa en dos tecnologías clave: el codificador de visión SigLIP y el modelo de lenguaje Gemma 2. El codificador SigLIP procesa datos visuales, como imágenes o vídeos, y los descompone en características que el modelo puede analizar. Por su parte, Gemma 2 procesa el texto, lo que permite al modelo comprender y generar lenguaje multilingüe. Juntos forman un VLM, diseñado para interpretar y conectar a la perfección la información visual y textual.
Lo que hace de PaliGemma 2 un gran paso adelante es su escalabilidad y versatilidad. A diferencia de la versión original, PaliGemma 2 está disponible en tres tamaños: 3.000 millones (3B), 10.000 millones (10B) y 28.000 millones (28B) de parámetros. Estos parámetros son como los ajustes internos del modelo, que le ayudan a aprender y procesar los datos con eficacia. También admite distintas resoluciones de imagen (por ejemplo, 224 x 224 píxeles para tareas rápidas y 896 x 896 para análisis detallados), lo que lo hace adaptable a diversas aplicaciones.
La integración de las capacidades lingüísticas avanzadas de Gemma 2 con el procesamiento de imágenes de SigLIP hace que PaliGemma 2 sea significativamente más inteligente. Puede manejar tareas como:
Subtitular imágenes o vídeos: El modelo puede generar descripciones textuales detalladas de los elementos visuales, por lo que resulta útil para crear subtítulos automáticamente.
Respuesta visual a preguntas: PaliGemma 2 puede responder a preguntas basadas en imágenes, como identificar objetos, personas o acciones en una escena.
Reconocimiento de objetos: Identifica y etiqueta objetos dentro de una imagen, como distinguir entre un gato, una mesa o un coche en una foto.
PaliGemma 2 va más allá del procesamiento de imágenes y texto por separado: los une de forma significativa. Por ejemplo, puede entender las relaciones en una escena, como reconocer que "El gato está sentado en la mesa", o identificar objetos añadiendo contexto, como reconocer un monumento famoso.
Cómo funcionan los modelos PaliGemma 2 VLM de Google
A continuación, veremos un ejemplo en el que se utiliza el gráfico que se muestra en la siguiente imagen para comprender mejor cómo PaliGemma 2 procesa los datos visuales y textuales. Supongamos que cargas este gráfico y preguntas al modelo: "¿Qué representa este gráfico?
Fig. 2. Un ejemplo de las capacidades de PaliGemma 2.
El proceso comienza con el codificador de visión SigLIP de PaliGemma 2 para analizar imágenes y extraer características clave. En el caso de un gráfico, esto incluye la identificación de elementos como ejes, puntos de datos y etiquetas. El codificador está entrenado para captar tanto patrones amplios como detalles finos. También utiliza el reconocimiento óptico de caracteres (OCR ) para detectar y procesar cualquier texto incrustado en la imagen. Estas características visuales se convierten en fichas, que son representaciones numéricas que el modelo puede procesar. Estos tokens se ajustan después mediante una capa de proyección lineal, una técnica que garantiza que puedan combinarse a la perfección con los datos textuales.
Al mismo tiempo, el modelo lingüístico Gemma 2 procesa la consulta adjunta para determinar su significado e intención. El texto de la consulta se convierte en tokens, que se combinan con los tokens visuales de SigLIP para crear una representación multimodal, un formato unificado que vincula datos visuales y textuales.
A partir de esta representación integrada, PaliGemma 2 genera una respuesta paso a paso mediante descodificación autorregresiva, un método en el que el modelo predice una parte de la respuesta cada vez basándose en el contexto que ya ha procesado.
Principales funciones de PaliGemma 2
Ahora que ya hemos entendido cómo funciona, vamos a explorar las características clave que hacen de PaliGemma 2 un modelo fiable de visión-lenguaje:
Flexibilidad de ajuste: Se adapta fácilmente a conjuntos de datos y tareas específicas, con un buen rendimiento en aplicaciones como el subtitulado de imágenes, el razonamiento espacial y la obtención de imágenes médicas.
Datos de formación diversos: Se ha entrenado con conjuntos de datos como WebLI y OpenImages, lo que le confiere una gran capacidad de reconocimiento de objetos y resultados multilingües.
Integración de OCR: Incluye reconocimiento óptico de caracteres para extraer e interpretar texto de imágenes, por lo que resulta ideal para el análisis de documentos y otras tareas basadas en texto.
Resultados multilingües: Genera subtítulos y respuestas en varios idiomas, ideal para aplicaciones globales.
Integración con herramientas: Es compatible con frameworks como Hugging Face Transformers, PyTorch y Keras, lo que permite una fácil implementación y experimentación.
Comparación de PaliGemma 2 y PaliGemma: ¿Qué ha mejorado?
Echar un vistazo a la arquitectura de la primera versión de PaliGemma es una buena forma de ver las mejoras de PaliGemma 2. Uno de los cambios más notables es la sustitución del modelo de lenguaje Gemma original por Gemma 2, que aporta mejoras sustanciales tanto en rendimiento como en eficiencia.
Gemma 2, disponible en tamaños de parámetro de 9B y 27B, se ha diseñado para ofrecer una precisión y velocidad líderes en su clase, reduciendo al mismo tiempo los costes de implantación. Lo consigue gracias a una arquitectura rediseñada y optimizada para la eficiencia de la inferencia en distintas configuraciones de hardware, desde potentes GPU hasta configuraciones más accesibles.
Fig. 3. Vista retrospectiva de la primera versión de PaliGemma 2.
Como resultado, PaliGemma 2 es un modelo muy preciso. La versión 10B de PaliGemma 2 alcanza una puntuación más baja de 20,3 en las frases no detalladas (Non-Entailment Sentence, NES), frente a los 34,3 del modelo original, lo que se traduce en menos errores factuales en sus resultados. Estos avances hacen que PaliGemma 2 sea más escalable, preciso y adaptable a una gama más amplia de aplicaciones, desde el subtitulado detallado hasta la respuesta visual a preguntas.
Aplicaciones de PaliGemma 2: usos reales de los modelos VLM
PaliGemma 2 tiene el potencial de redefinir las industrias combinando a la perfección la comprensión visual y lingüística. Por ejemplo, en lo que respecta a la accesibilidad, puede generar descripciones detalladas de objetos, escenas y relaciones espaciales, proporcionando una ayuda crucial a las personas con discapacidad visual. Esta capacidad ayuda a los usuarios a comprender mejor su entorno, ofreciéndoles una mayor independencia en las tareas cotidianas.
Fig. 4. PaliGemma 2 puede hacer del mundo un lugar más accesible.
Además de la accesibilidad, PaliGemma 2 está teniendo impacto en varios sectores, entre ellos:
Comercio electrónico: El modelo mejora la categorización de los productos analizando y describiendo los artículos en imágenes, lo que simplifica la gestión del inventario y mejora la experiencia de búsqueda de los usuarios.
Sanidad: Ayuda a los profesionales médicos interpretando imágenes médicas, como radiografías y resonancias magnéticas, junto con notas clínicas para ofrecer diagnósticos más precisos e informados.
Educación: PaliGemma 2 ayuda a los educadores a crear materiales didácticos descriptivos y accesibles generando pies de foto y proporcionando información contextual a las imágenes.
Creación de contenidos: El modelo automatiza el proceso de generación de subtítulos y descripciones visuales para contenidos multimedia, lo que ahorra tiempo a los creadores.
Pruébelo usted mismo: PaliGemma 2
Para probar PaliGemma 2, puedes empezar con la demo interactiva de Hugging Face. Te permite explorar sus capacidades en tareas como el subtitulado de imágenes y la respuesta a preguntas visuales. Sólo tienes que subir una imagen y hacerle preguntas al modelo sobre ella o pedirle una descripción de la escena.
Si quieres profundizar más, aquí tienes cómo ponerte manos a la obra:
Modelos preentrenados: Puedes acceder a modelos preentrenados y al código de plataformas como Hugging Face y Kaggle. Estos recursos proporcionan todo lo necesario para empezar a trabajar con el modelo.
Cuadernos: Existe una completa documentación y cuadernos de ejemplo para familiarizarse con PaliGemma 2. Puede empezar con ejemplos de inferencia y experimentar con el ajuste fino del modelo en su propio conjunto de datos para tareas específicas.
Integraciones: PaliGemma 2 es compatible con frameworks ampliamente utilizados como Hugging Face Transformers, Keras, PyTorch, JAX y Gemma.cpp, lo que le permite integrarlo en sus flujos de trabajo existentes sin esfuerzo.
Ventajas e inconvenientes del PaliGemma 2 de Google
Una vez entendido cómo empezar a utilizar PaliGemma 2, veamos más de cerca sus principales puntos fuertes e inconvenientes a tener en cuenta al utilizar estos modelos.
Esto es lo que hace que PaliGemma 2 destaque como modelo de lenguaje visual:
Aumento de la eficiencia: Aprovechando la arquitectura optimizada de Gemma 2, PaliGemma 2 ofrece un alto rendimiento al tiempo que minimiza los costes de implantación.
Funciones de seguridad mejoradas: PaliGemma 2 incluye importantes mejoras de seguridad en su proceso de entrenamiento, como un sólido filtrado de los datos de preentrenamiento para reducir los sesgos y una rigurosa evaluación frente a parámetros de seguridad.
Baja latencia para configuraciones más pequeñas: El modelo 3B ofrece tiempos de inferencia más rápidos, lo que lo hace adecuado para casos de uso en los que la velocidad es fundamental, como las recomendaciones de productos de comercio electrónico o los sistemas de asistencia en directo.
Mientras tanto, he aquí algunas áreas en las que PaliGemma 2 puede tener limitaciones:
Latencia: Aunque potentes, los modelos más grandes pueden tener problemas de latencia, sobre todo cuando se despliegan para tareas que requieren respuestas inmediatas, como los sistemas interactivos de IA en tiempo real.
Dependencia de grandes conjuntos de datos: El rendimiento de PaliGemma 2 está estrechamente ligado a la calidad y diversidad de sus conjuntos de datos de entrenamiento, lo que podría limitar su eficacia en dominios infrarrepresentados o idiomas no incluidos en los datos de entrenamiento.
Elevados requisitos de recursos: A pesar de las optimizaciones, las versiones de parámetros 10B y 28B exigen una potencia de cálculo considerable, lo que las hace menos accesibles para las organizaciones más pequeñas con recursos limitados.
Principales conclusiones
PaliGemma 2 es un fascinante avance en el modelado del lenguaje visual, que ofrece una mayor escalabilidad, flexibilidad de ajuste y precisión. Puede ser una valiosa herramienta para aplicaciones que van desde las soluciones de accesibilidad y el comercio electrónico hasta el diagnóstico sanitario y la educación.
Aunque tiene limitaciones, como los requisitos computacionales y la dependencia de datos de alta calidad, sus puntos fuertes lo convierten en una opción práctica para abordar tareas complejas que integran datos visuales y textuales. PaliGemma 2 puede proporcionar una base sólida para que investigadores y desarrolladores exploren y amplíen el potencial de la IA en aplicaciones multimodales.
