Comprender los modelos de lenguaje y visión y sus aplicaciones

En un artículo anterior, exploramos cómo GPT-4o puede comprender y describir imágenes con palabras. También vemos esta capacidad en otros modelos nuevos, como Google Gemini y Claude 3. Hoy profundizaremos en este concepto para explicar cómo funcionan los modelos de visión y lenguaje y cómo combinan datos visuales y textuales.

Estos modelos pueden realizar una amplia variedad de tareas impresionantes, como generar descripciones detalladas de fotos, responder a preguntas sobre imágenes e incluso crear contenido visual nuevo a partir de descripciones textuales. Al integrar información visual y lingüística, los modelos de visión y lenguaje están cambiando nuestra forma de interactuar con la tecnología y de comprender el mundo que nos rodea.

Cómo funcionan los modelos de visión y lenguaje#

Antes de analizar dónde se pueden utilizar los modelos de visión y lenguaje (VLMs), veamos qué son y cómo funcionan. Los VLMs son modelos de IA avanzados que combinan las capacidades de los modelos de visión y lenguaje para procesar imágenes y texto. Estos modelos reciben imágenes junto con sus descripciones textuales y aprenden a relacionarlas. La parte visual del modelo capta los detalles de las imágenes, mientras que la parte lingüística interpreta el texto. Esta combinación permite a los VLMs comprender y analizar tanto imágenes como texto.

Estas son las principales capacidades de los modelos de visión y lenguaje:

• Descripción de imágenes: Generar texto descriptivo a partir del contenido de las imágenes.
• Respuesta visual a preguntas (VQA): Responder a preguntas relacionadas con el contenido de una imagen.
• Generación de texto a imagen: Crear imágenes a partir de descripciones textuales.
• Recuperación de imágenes y texto: Encontrar imágenes relevantes para una consulta de texto determinada y viceversa.
• Creación de contenido multimodal: Combinar imágenes y texto para generar contenido nuevo.
• Comprensión de escenas y detección de objetos: Identificar y clasificar objetos y detalles dentro de una imagen. En Ultralytics Platform, muchos VLM pueden anotar automáticamente conjuntos de datos de detección, y la clasificación de VLM compara la precisión con la que lo hace cada uno.

Fig. 1. Ejemplo de las capacidades de un modelo de visión y lenguaje.

A continuación, exploremos las arquitecturas de VLM y las técnicas de aprendizaje habituales que utilizan modelos conocidos como CLIP, SimVLM y VisualGPT.

Aprendizaje contrastivo#

El aprendizaje contrastivo es una técnica que ayuda a los modelos a aprender comparando las diferencias entre puntos de datos. Calcula cuánto se parecen o se diferencian las instancias y busca minimizar la pérdida contrastiva, que mide estas diferencias. Resulta especialmente útil en el aprendizaje semisupervisado, donde un pequeño conjunto de ejemplos etiquetados guía al modelo para etiquetar datos nuevos que aún no ha visto. Por ejemplo, para entender el aspecto de un gato, el modelo lo compara con imágenes de gatos similares y de perros. Al identificar características como la estructura facial, el tamaño corporal y el pelaje, las técnicas de aprendizaje contrastivo pueden distinguir un gato de un perro.

Fig. 2. Cómo funciona el aprendizaje contrastivo.

CLIP es un modelo de visión y lenguaje que utiliza el aprendizaje contrastivo para relacionar descripciones textuales con imágenes. Funciona en tres sencillos pasos. Primero, entrena las partes del modelo que entienden tanto el texto como las imágenes. Segundo, convierte las categorías de un conjunto de datos en descripciones textuales. Tercero, identifica la descripción que mejor coincide con una imagen determinada. Gracias a este método, el modelo CLIP puede realizar predicciones precisas incluso en tareas para las que no se ha entrenado específicamente.

PrefixLM#

PrefixLM es una técnica de procesamiento del lenguaje natural (NLP) que se utiliza para entrenar modelos. Parte de una oración (un prefijo) y aprende a predecir la siguiente palabra. En los modelos de visión y lenguaje, PrefixLM ayuda al modelo a predecir las siguientes palabras a partir de una imagen y de un fragmento de texto. Utiliza un Vision Transformer (ViT), que divide una imagen en pequeños fragmentos, cada uno de los cuales representa una parte de la imagen, y los procesa en secuencia.

Fig. 3. Ejemplo de entrenamiento de un VLM que utiliza la técnica PrefixLM.

SimVLM es un VLM que utiliza la técnica de aprendizaje PrefixLM. Utiliza una arquitectura Transformer más sencilla que la de los modelos anteriores, pero obtiene mejores resultados en diversas pruebas. La arquitectura del modelo aprende a asociar imágenes con prefijos de texto mediante un codificador Transformer y, después, genera texto mediante un decodificador Transformer.

Fusión multimodal con atención cruzada#

La fusión multimodal con atención cruzada es una técnica que mejora la capacidad de un modelo de visión y lenguaje preentrenado para comprender y procesar datos visuales. Consiste en añadir capas de atención cruzada al modelo, lo que le permite prestar atención a la información visual y textual al mismo tiempo.

Así es como funciona:

• Se identifican y resaltan los objetos clave de una imagen.
• Un codificador visual procesa los objetos resaltados y transforma la información visual a un formato que el modelo puede entender.
• La información visual se pasa a un decodificador, que interpreta la imagen utilizando los conocimientos del modelo de lenguaje preentrenado.

VisualGPT es un buen ejemplo de modelo que utiliza esta técnica. Incluye una función especial denominada unidad de activación autorregenerativa (SRAU), que ayuda al modelo a evitar un problema habitual llamado desvanecimiento del gradiente. El desvanecimiento del gradiente puede hacer que los modelos pierdan información importante durante el entrenamiento, pero SRAU mantiene un alto rendimiento del modelo.

Fig. 4. Arquitectura del modelo VisualGPT.

Aplicaciones de los modelos de visión y lenguaje#

Los modelos de visión y lenguaje están teniendo repercusión en numerosos sectores. Desde mejorar las plataformas de comercio electrónico hasta hacer que Internet sea más accesible, las posibles aplicaciones de los VLM son muy prometedoras. Veamos algunas de ellas.

Generación de descripciones de productos#

Cuando compras por Internet, ves descripciones detalladas de cada producto, pero crearlas puede llevar mucho tiempo. Los VLM agilizan este proceso automatizando la generación de estas descripciones. Las tiendas online pueden generar directamente descripciones detalladas y precisas a partir de imágenes de productos mediante modelos de visión y lenguaje.

Las descripciones de productos de calidad ayudan a los motores de búsqueda a identificar productos a partir de atributos específicos mencionados en la descripción. Por ejemplo, una descripción que incluya «manga larga» y «cuello de algodón» ayuda a los clientes a encontrar más fácilmente una «camisa de algodón de manga larga». También les ayuda a encontrar rápidamente lo que buscan y, a su vez, aumenta las ventas y la satisfacción de los clientes.

Fig. 5. Ejemplo de descripción de producto generada por IA.

Los modelos de IA generativa, como BLIP-2, son ejemplos de VLM sofisticados que pueden predecir los atributos de un producto directamente a partir de imágenes. BLIP-2 utiliza varios componentes para comprender y describir con precisión productos de comercio electrónico. Primero, procesa y comprende los aspectos visuales del producto mediante un codificador de imágenes. Después, un Transformer de consulta interpreta esta información visual en el contexto de preguntas o tareas específicas. Por último, un modelo de lenguaje de gran tamaño genera descripciones de productos detalladas y precisas.

Hacer que Internet sea más accesible#

Los modelos de visión y lenguaje pueden hacer que Internet sea más accesible mediante la descripción de imágenes, especialmente para las personas con discapacidad visual. Tradicionalmente, los usuarios deben introducir descripciones del contenido visual en sitios web y redes sociales. Por ejemplo, al publicar en Instagram, puedes añadir texto alternativo para los lectores de pantalla. Sin embargo, los VLM pueden automatizar este proceso.

Cuando un VLM ve una imagen de un gato sentado en un sofá, puede generar el pie de foto «Un gato sentado en un sofá», para que la escena quede clara a las personas con discapacidad visual. Los VLM utilizan técnicas como la generación de indicaciones con pocos ejemplos, en la que aprenden a partir de unos pocos pares de imágenes y pies de foto, y la generación de indicaciones con cadena de pensamiento, que les ayuda a desglosar escenas complejas de forma lógica. Estas técnicas hacen que los pies de foto generados sean más coherentes y detallados.

Fig. 6. Uso de la IA para generar pies de foto de imágenes.

Con este fin, la función de Google «Obtener descripciones de imágenes de Google» de Chrome genera automáticamente descripciones para las imágenes que no tienen texto alternativo. Aunque estas descripciones generadas por IA quizá no sean tan detalladas como las escritas por personas, siguen proporcionando información valiosa.

Ventajas y limitaciones de los modelos de visión y lenguaje#

Los modelos de visión y lenguaje (VLM) ofrecen numerosas ventajas al combinar datos visuales y textuales. Estas son algunas de las principales:

• Mejor interacción entre personas y máquinas: Permitir que los sistemas comprendan y respondan tanto a entradas visuales como textuales, mejorando los asistentes virtuales, los chatbots y la robótica.
• Diagnóstico y análisis avanzados: Ayudar en el ámbito médico analizando imágenes y generando descripciones, ofreciendo segundas opiniones a los profesionales sanitarios y detectando anomalías.
• Narrativa interactiva y entretenimiento: Generar narraciones atractivas combinando entradas visuales y textuales para mejorar la experiencia de usuario en los videojuegos y la realidad virtual.

A pesar de sus impresionantes capacidades, los modelos de visión y lenguaje también presentan ciertas limitaciones. Estos son algunos aspectos que debes tener en cuenta en relación con los VLM:

• Grandes requisitos computacionales: Entrenar e implementar VLM requiere recursos computacionales considerables, lo que aumenta los costes y reduce su accesibilidad.
• Dependencia de los datos y sesgo: Los VLM pueden producir resultados sesgados si se entrenan con conjuntos de datos poco diversos o sesgados, lo que puede perpetuar estereotipos e información errónea.
• Comprensión contextual limitada: A los VLM puede costarles comprender el contexto o el panorama general, y pueden generar resultados demasiado simplificados o incorrectos.

Conclusiones clave#

Los modelos de lenguaje visual tienen un gran potencial en muchos campos, como el comercio electrónico y la sanidad. Al combinar datos visuales y textuales, pueden impulsar la innovación y transformar sectores. Sin embargo, es esencial desarrollar estas tecnologías de forma responsable y ética para garantizar que se utilicen de manera justa. A medida que los VLM sigan evolucionando, mejorarán tareas como la búsqueda basada en imágenes y las tecnologías de asistencia.

Para seguir aprendiendo sobre IA, ¡únete a nuestra comunidad! Explora nuestro repositorio de GitHub para ver cómo utilizamos la IA para crear soluciones innovadoras en sectores como la fabricación y la sanidad.