Conectar el procesamiento del lenguaje natural con la visión artificial

El procesamiento del lenguaje natural (NLP) y la visión artificial (CV) son dos ramas distintas de la inteligencia artificial (AI) que han ganado mucha popularidad en los últimos años. Gracias a los avances en IA, estas dos ramas están ahora más conectadas que nunca.

Un buen ejemplo de ello es la generación automática de descripciones de imágenes. La visión artificial puede analizar y comprender el contenido de una imagen, mientras que el procesamiento del lenguaje natural puede generar una descripción. La generación automática de descripciones de imágenes se utiliza habitualmente en las redes sociales para mejorar la accesibilidad y en los sistemas de gestión de contenidos para organizar y etiquetar imágenes de forma eficiente.

Las innovaciones en NLP e IA visual han dado lugar a muchos casos de uso de este tipo en diversos sectores. En este artículo, analizaremos más detenidamente el NLP y la visión artificial y explicaremos cómo funcionan. También exploraremos aplicaciones que combinan ambas tecnologías.

Introducción al NLP y la IA de visión#

El NLP se centra en la interacción entre los ordenadores y el lenguaje humano. Permite a las máquinas comprender, interpretar y generar texto o voz de forma significativa. Puede utilizarse para tareas como la traducción, el análisis de sentimientos o la síntesis de textos.

Por su parte, la visión artificial ayuda a las máquinas a analizar y procesar imágenes y vídeos. Puede utilizarse para tareas como la detección de objetos en una fotografía, el reconocimiento facial, el seguimiento de objetos o la clasificación de imágenes. La tecnología de IA visual permite a las máquinas comprender e interactuar mejor con el mundo visual.

Fig. 1. Ejemplo de clasificación de imágenes.

Cuando se integra con la visión artificial, el NLP puede aportar significado a los datos visuales combinando texto e imágenes, lo que permite comprenderlos mejor. Como dice el refrán, «una imagen vale más que mil palabras» y, al combinarla con texto, resulta aún más poderosa y ofrece información más completa.

Ejemplos de colaboración entre NLP y visión artificial#

Probablemente hayas visto el NLP y la visión artificial trabajar juntos en herramientas cotidianas sin darte cuenta, por ejemplo, cuando el móvil traduce el texto de una imagen.

De hecho, Google Translate utiliza tanto el procesamiento del lenguaje natural como la visión artificial para traducir el texto de las imágenes. Cuando haces una foto de una señal de tráfico en otro idioma, la visión artificial identifica y extrae el texto, mientras que el NLP lo traduce al idioma que prefieras.

El NLP y la CV trabajan conjuntamente para que el proceso sea sencillo y eficiente, y permiten a los usuarios comprender la información e interactuar con ella en distintos idiomas y en tiempo real. Esta integración ayuda a eliminar las barreras de comunicación.

Fig. 2. Función Translate de Google.

Estas son otras aplicaciones en las que colaboran el NLP y la visión artificial:

• Coches autónomos: La CV puede utilizarse para detectar señales de tráfico, carriles y obstáculos, mientras que el NLP puede procesar órdenes habladas o el texto de las señales.
• Lectores de documentos: La IA visual puede reconocer texto en documentos escaneados o manuscritos, y el procesamiento del lenguaje natural puede interpretar y resumir la información.
• Búsqueda visual en aplicaciones de compras: La visión artificial puede identificar productos en fotografías, mientras que el NLP procesa los términos de búsqueda para mejorar las recomendaciones.
• Herramientas educativas: La CV puede reconocer apuntes manuscritos o entradas visuales, y el NLP puede ofrecer explicaciones o comentarios según el contenido.

Conceptos clave que conectan la visión artificial y el NLP#

Ahora que hemos visto cómo se utilizan la visión artificial y el procesamiento del lenguaje natural, veamos cómo se combinan para hacer posible la IA multimodal.

La IA multimodal combina la comprensión visual de la visión artificial con la comprensión del lenguaje del NLP para procesar y relacionar información presente en textos e imágenes. Por ejemplo, en el ámbito sanitario, la IA multimodal puede ayudar a analizar una radiografía y generar un resumen claro por escrito de los posibles problemas, lo que ayuda a los médicos a tomar decisiones más rápidas y precisas.

Comprensión del lenguaje natural (NLU)#

La comprensión del lenguaje natural es una rama del NLP que se centra en interpretar y extraer el significado del texto mediante el análisis de su intención, contexto, semántica, tono y estructura. Mientras que el NLP procesa texto sin estructurar, la NLU permite a las máquinas comprender el lenguaje humano de forma más eficaz. Por ejemplo, el análisis sintáctico es una técnica de NLU que convierte el texto escrito en un formato estructurado que las máquinas pueden entender.

Fig. 3. Relación entre NLP y NLU.

La NLU se combina con la visión artificial cuando los datos visuales contienen texto que hay que comprender. La visión artificial, mediante tecnologías como el reconocimiento óptico de caracteres (OCR), extrae texto de imágenes, documentos o vídeos. Esto puede incluir tareas como escanear un recibo, leer el texto de una señal o digitalizar notas manuscritas.

A continuación, la NLU procesa el texto extraído para comprender su significado, contexto e intención. Esta combinación permite que los sistemas hagan mucho más que reconocer texto: pueden clasificar los gastos de los recibos o analizar el tono y los sentimientos. Juntas, la visión artificial y la NLU convierten el texto visual en información útil y significativa.

Ingeniería de prompts#

La ingeniería de prompts consiste en diseñar instrucciones claras, precisas y detalladas para guiar a sistemas de IA generativa, como los modelos de lenguaje grandes (LLMs) y los modelos visión-lenguaje (VLMs), con el fin de obtener los resultados deseados. Estas instrucciones ayudan al modelo de IA a entender lo que quiere el usuario.

Para diseñar prompts eficaces, hay que conocer las capacidades del modelo y elaborar entradas que maximicen su capacidad para generar respuestas precisas, creativas o reveladoras. Esto es especialmente importante en el caso de los modelos multimodales, que trabajan tanto con texto como con imágenes.

Tomemos como ejemplo el modelo de texto a imagen DALL·E de OpenAI. Si le pides que cree «una imagen fotorrealista de un astronauta montado a caballo», puede generar exactamente esa imagen a partir de tu descripción. Esto resulta útil en ámbitos como el diseño gráfico, donde los profesionales pueden convertir rápidamente ideas expresadas en texto en bocetos visuales, ahorrar tiempo y aumentar la productividad.

Fig. 4. Imagen creada con DALL-E de OpenAI.

Quizá te preguntes qué relación tiene esto con la visión artificial: ¿no es simplemente IA generativa? En realidad, ambas están estrechamente relacionadas. La IA generativa se basa en los fundamentos de la visión artificial para crear resultados visuales completamente nuevos.

Los modelos de IA generativa que crean imágenes a partir de instrucciones de texto se entrenan con grandes conjuntos de datos de imágenes acompañadas de descripciones textuales. Así, aprenden las relaciones entre el lenguaje y conceptos visuales como objetos, texturas y relaciones espaciales.

Estos modelos no interpretan los datos visuales del mismo modo que los sistemas tradicionales de visión artificial, por ejemplo, reconociendo objetos en imágenes del mundo real. En su lugar, utilizan lo que han aprendido sobre estos conceptos para generar nuevas imágenes a partir de prompts. Al combinar estos conocimientos con prompts bien elaborados, la IA generativa puede producir imágenes realistas y detalladas que se ajusten a lo que ha escrito el usuario.

Respuesta a preguntas (QA)#

Los sistemas de respuesta a preguntas están diseñados para comprender preguntas en lenguaje natural y ofrecer respuestas precisas y pertinentes. Utilizan técnicas como la recuperación de información, la comprensión semántica y el aprendizaje profundo para interpretar y responder a las consultas.

Los modelos avanzados, como GPT-4o de OpenAI, pueden responder preguntas sobre imágenes mediante la respuesta visual a preguntas (VQA). Sin embargo, GPT-4o no realiza directamente tareas de visión artificial. En su lugar, utiliza un codificador de imágenes especializado para procesarlas y extraer características, y las combina con su comprensión del lenguaje para responder.

Fig. 5. Capacidad de ChatGPT para responder preguntas visuales. Imagen del autor.

Otros sistemas pueden ir un paso más allá e integrar por completo capacidades de visión artificial. Pueden analizar directamente imágenes o vídeos para identificar objetos, escenas o texto. Al combinarse con el procesamiento del lenguaje natural, pueden responder preguntas más complejas sobre contenido visual. Por ejemplo, pueden contestar «¿Qué objetos hay en esta imagen?» o «¿Quién aparece en esta grabación?» mediante la detección y la interpretación de los elementos visuales. Para comprobar cómo localizan objetos en imágenes los modelos visión-lenguaje actuales, consulta la clasificación de modelos VLM.

Aprendizaje sin ejemplos (ZSL)#

El aprendizaje de cero disparos (ZSL) es un método de aprendizaje automático que permite a los modelos de IA abordar tareas nuevas que no han visto antes sin haber sido entrenados específicamente para ellas. Para hacerlo, utiliza información adicional, como descripciones o relaciones semánticas, que conecta lo que el modelo ya conoce (las clases vistas) con categorías nuevas que no ha visto.

En el procesamiento del lenguaje natural, el ZSL ayuda a los modelos a comprender y trabajar con temas para los que no se han entrenado, basándose en las relaciones entre palabras y conceptos. De forma similar, en visión artificial, el ZSL permite a los modelos reconocer objetos o escenas que nunca han visto, relacionando características visuales, como alas o plumas, con conceptos conocidos, como las aves.

El ZSL conecta el NLP y la CV al combinar la comprensión del lenguaje con el reconocimiento visual, por lo que resulta especialmente útil en tareas que requieren ambos. Por ejemplo, en la respuesta a preguntas visuales, un modelo puede analizar una imagen y comprender una pregunta relacionada para ofrecer una respuesta precisa. También resulta útil en tareas como la generación de descripciones de imágenes.

Conclusiones clave#

La combinación del procesamiento del lenguaje natural y la visión artificial ha dado lugar a sistemas de IA capaces de comprender tanto textos como imágenes. Esta combinación se utiliza en muchos sectores, desde ayudar a los coches autónomos a leer las señales de tráfico hasta mejorar los diagnósticos médicos y hacer que las redes sociales sean más seguras. A medida que estas tecnologías mejoren, seguirán facilitándonos la vida y abriendo nuevas oportunidades en diversos ámbitos. Para obtener más información, visita nuestro repositorio de GitHub y participa en nuestra comunidad. Explora las aplicaciones de IA en los coches autónomos y la agricultura en nuestras páginas de soluciones.