Mejora de aplicaciones de IA con RAG y visión artificial

El uso de herramientas de IA como ChatGPT o Gemini se está convirtiendo rápidamente en una forma habitual de encontrar información. Ya sea para redactar un mensaje, resumir un documento o responder a una pregunta, estas herramientas suelen ofrecer una solución más rápida y sencilla.

Pero si has usado modelos de lenguaje grandes (LLMs) unas cuantas veces, seguramente habrás notado sus limitaciones. Si les planteas consultas muy específicas o sujetas a cambios recientes, pueden dar respuestas incorrectas y, a menudo, con mucha seguridad.

Esto ocurre porque los LLM independientes se basan únicamente en los datos con los que se han entrenado. No tienen acceso a las últimas novedades ni a conocimientos especializados ajenos a ese conjunto de datos. Por eso, sus respuestas pueden estar desactualizadas o ser inexactas.

Para ayudar a resolver este problema, los investigadores han desarrollado un método llamado generación aumentada por recuperación (RAG). RAG mejora los modelos de lenguaje al permitirles recuperar información actualizada y pertinente de fuentes fiables al responder a consultas.

En este artículo veremos cómo funciona RAG y cómo mejora las herramientas de IA al recuperar información pertinente y actualizada. También exploraremos cómo funciona junto con la visión artificial, un campo de la inteligencia artificial centrado en interpretar datos visuales, para ayudar a los sistemas a comprender no solo texto, sino también imágenes, diseños y documentos visualmente complejos.

Comprender la generación aumentada por recuperación (RAG)#

Cuando hacemos una pregunta a un chatbot de IA, solemos esperar algo más que una respuesta que suene bien. Lo ideal es que la respuesta sea clara, precisa y realmente útil. Para conseguirlo, el modelo de IA necesita algo más que habilidades lingüísticas: también necesita acceso a la información adecuada, sobre todo en temas específicos o sujetos a cambios rápidos.

RAG es una técnica que ayuda a cerrar esta brecha. Combina la capacidad del modelo de lenguaje para comprender y generar texto con la posibilidad de recuperar información pertinente de fuentes externas. En vez de depender únicamente de sus datos de entrenamiento, el modelo recupera activamente contenido de apoyo de bases de conocimiento fiables mientras formula su respuesta.

Fig. 1. Principales casos de uso de RAG. Imagen del autor.

Puedes imaginarlo como hacerle una pregunta a alguien que consulta una fuente fiable antes de responder. La respuesta sigue estando expresada con sus propias palabras, pero se basa en la información más pertinente y actualizada.

Este enfoque ayuda a los LLM a responder de forma más completa, precisa y adaptada a la consulta del usuario, lo que los hace mucho más fiables en aplicaciones reales donde la precisión es realmente importante.

Veamos cómo funciona RAG#

RAG mejora la forma en que un modelo de lenguaje grande responde mediante dos pasos fundamentales: la recuperación y la generación. Primero, recupera información pertinente de una base de conocimiento externa. Después, usa esa información para generar una respuesta bien formulada y adaptada al contexto.

Veamos un ejemplo sencillo para entender cómo funciona este proceso. Imagina que usas un asistente de IA para gestionar tus finanzas personales y quieres comprobar si has respetado tu objetivo de gasto mensual.

El proceso empieza cuando le haces al asistente una pregunta como: «¿He respetado mi presupuesto este mes?». En vez de basarse únicamente en lo que aprendió durante el entrenamiento, el sistema utiliza un recuperador para buscar en tus registros financieros más recientes, como extractos bancarios o resúmenes de transacciones. Se centra en entender la intención de tu pregunta y recopila la información más pertinente.

Una vez recuperada esa información, entra en juego el modelo de lenguaje. Procesa tanto tu pregunta como los datos extraídos de tus registros para generar una respuesta clara y útil. En lugar de enumerar datos sin procesar, resume tus gastos y te ofrece una conclusión directa y significativa, por ejemplo, confirma si has cumplido tu objetivo y señala las principales áreas de gasto.

Este enfoque ayuda al LLM a ofrecer respuestas que no solo son precisas, sino que también se basan en tu información real y actualizada, lo que hace que la experiencia sea mucho más útil que la de un modelo que solo trabaja con datos de entrenamiento estáticos.

Fig. 2. Cómo funciona RAG.

La necesidad de sistemas RAG multimodales#

La información no siempre se comparte como texto sin formato. Desde imágenes médicas y diagramas hasta diapositivas de presentaciones y documentos escaneados, el contenido visual suele incluir detalles importantes. Los LLM tradicionales, diseñados principalmente para leer y comprender texto, pueden tener dificultades con este tipo de contenido.

Sin embargo, la generación aumentada por recuperación (RAG) puede combinarse con la visión artificial para cerrar esa brecha. Al unir ambas, se crea un sistema de RAG multimodal, capaz de procesar tanto texto como elementos visuales y ayudar a los chatbots de IA a ofrecer respuestas más precisas y completas.

En el núcleo de este enfoque se encuentran los modelos de visión y lenguaje (VLMs), diseñados para procesar y razonar sobre ambos tipos de entradas. En esta configuración, RAG recupera la información más pertinente de grandes fuentes de datos, mientras que el VLM, gracias a la visión artificial, interpreta imágenes, diseños y diagramas.

Esto resulta especialmente útil para documentos del mundo real, como formularios escaneados, informes médicos o diapositivas de presentaciones, en los que puede haber detalles esenciales tanto en el texto como en los elementos visuales. Por ejemplo, al analizar un documento que incluye imágenes junto con tablas y párrafos, un sistema multimodal puede extraer elementos visuales, generar un resumen de lo que muestran y combinarlo con el texto circundante para ofrecer una respuesta más completa y útil.

Fig. 3. RAG multimodal usa imágenes y texto para ofrecer mejores respuestas.

Aplicaciones de RAG para datos visuales#

Ahora que hemos explicado qué es RAG y cómo funciona con la visión artificial, veamos algunos ejemplos reales y proyectos de investigación que muestran cómo se está utilizando este enfoque.

Comprensión de documentos visuales con VisRAG#

Imagina que intentas extraer información útil de un informe financiero o un documento jurídico escaneado. Estos archivos suelen incluir no solo texto, sino también tablas, gráficos y diseños que ayudan a explicar la información. Un modelo de lenguaje básico podría pasar por alto o malinterpretar estos elementos visuales, lo que daría lugar a respuestas incompletas o inexactas.

Los investigadores crearon VisRAG para abordar este reto. Es un flujo de trabajo RAG basado en VLM que trata cada página como una imagen, en lugar de procesar únicamente el texto. Esto permite que el sistema comprenda tanto el contenido como su estructura visual. Como resultado, puede encontrar las partes más pertinentes y ofrecer respuestas más claras y precisas, basadas en el contexto completo del documento.

Fig. 4. VisRAG puede leer documentos como imágenes para captar el contenido textual y la estructura.

Respuesta a preguntas visuales con RAG#

La respuesta a preguntas visuales (VQA) es una tarea en la que un sistema de IA responde a preguntas sobre imágenes. Muchos sistemas de VQA actuales se centran en responder preguntas sobre un único documento sin buscar información adicional; esto se conoce como entorno cerrado.

VDocRAG es un framework RAG que adopta un enfoque más realista. Integra la VQA con la capacidad de recuperar primero documentos pertinentes. Esto resulta útil en situaciones reales en las que la pregunta de un usuario podría referirse a uno de muchos documentos y el sistema debe encontrar el adecuado antes de responder. Para ello, VDocRAG usa VLM para analizar documentos como imágenes y conservar tanto el texto como la estructura visual.

Por eso, VDocRAG resulta especialmente útil en aplicaciones como la búsqueda empresarial, la automatización de documentos y la atención al cliente. Puede ayudar a los equipos a extraer rápidamente respuestas de documentos complejos con formato visual, como manuales o archivos de políticas, en los que comprender la estructura es tan importante como leer el texto.

Fig. 5. Diferencias entre VDocRAG y las soluciones basadas en LLM.

Mejora de la generación de pies de foto para imágenes con RAG#

La generación de pies de foto para imágenes consiste en crear una descripción escrita de lo que ocurre en una imagen. Se utiliza en diversas aplicaciones: desde hacer más accesible el contenido en línea hasta facilitar la búsqueda de imágenes y contribuir a los sistemas de moderación y recomendación de contenido.

Sin embargo, a los modelos de IA no siempre les resulta fácil generar pies de foto precisos. Es especialmente complicado cuando la imagen muestra algo distinto de aquello con lo que se entrenó el modelo. Muchos sistemas de generación de pies de foto dependen en gran medida de los datos de entrenamiento, así que, ante escenas desconocidas, pueden producir descripciones vagas o inexactas.

Para abordar este problema, los investigadores desarrollaron Re-ViLM, un método que incorpora la generación aumentada por recuperación (RAG) a la generación de pies de foto para imágenes. En lugar de generar un pie de foto desde cero, Re-ViLM recupera pares similares de imagen y texto de una base de datos y los usa como guía para generar el pie de foto.

Este enfoque basado en la recuperación ayuda al modelo a fundamentar sus descripciones en ejemplos pertinentes, lo que mejora tanto la precisión como la fluidez. Los primeros resultados muestran que Re-ViLM genera pies de foto más naturales y adaptados al contexto al usar ejemplos reales, lo que ayuda a reducir las descripciones vagas o inexactas.

Fig. 6. Re-ViLM mejora los pies de foto de imágenes al recuperar ejemplos visuales y textuales.

Ventajas e inconvenientes de usar RAG para comprender datos visuales#

Aquí tienes un breve repaso de las ventajas de aplicar técnicas de generación aumentada por recuperación para recuperar y utilizar información visual:

• Mejores capacidades de resumen: Los resúmenes pueden incorporar información extraída de elementos visuales, como tendencias en gráficos o elementos de infografías, y no solo del texto.
• Búsqueda y recuperación más sólidas: Los pasos de recuperación pueden identificar páginas visuales pertinentes aunque no haya palabras clave en el texto, gracias a la comprensión basada en imágenes.
• Compatibilidad con documentos escaneados, manuscritos o basados en imágenes: Los flujos de trabajo RAG habilitados por VLM pueden procesar contenido que sería ilegible para los modelos que solo trabajan con texto.

A pesar de estas ventajas, aún hay algunas limitaciones que conviene tener en cuenta al usar RAG para trabajar con datos visuales. Estas son algunas de las principales:

• Altos requisitos de cálculo: Analizar imágenes y texto requiere más memoria y potencia de procesamiento, lo que puede ralentizar el rendimiento o aumentar los costes.
• Problemas de privacidad de los datos y seguridad: Los documentos visuales, especialmente en sectores como la sanidad o las finanzas, pueden contener información confidencial que complica los flujos de trabajo de recuperación y procesamiento.
• Tiempos de inferencia más largos: Como el procesamiento visual añade complejidad, generar respuestas puede llevar más tiempo que en los sistemas que solo trabajan con texto.

Conclusiones clave#

La generación aumentada por recuperación está mejorando la forma en que los modelos de lenguaje grandes responden a las preguntas, ya que les permite obtener información pertinente y actualizada de fuentes externas. Al combinarse con la visión artificial, estos sistemas pueden procesar no solo texto, sino también contenido visual, como gráficos, tablas, imágenes y documentos escaneados, y ofrecer respuestas más precisas y completas.

Este enfoque hace que los LLM sean más adecuados para tareas del mundo real que implican documentos complejos. Al combinar la recuperación con la comprensión visual, estos modelos pueden interpretar distintos formatos con mayor eficacia y ofrecer información más útil en situaciones prácticas y cotidianas.

¡Únete a nuestra creciente comunidad! Explora nuestro repositorio de GitHub para profundizar en la IA. ¿Quieres empezar tus propios proyectos de visión artificial? Consulta nuestras opciones de licencia. ¡Descubre más sobre la IA en la sanidad y la visión artificial en el comercio minorista en nuestras páginas de soluciones!