Mejora de las aplicaciones de IA con RAG y visión artificial

Usar herramientas de IA como ChatGPT o Gemini se está convirtiendo rápidamente en una forma común de encontrar información. Tanto si estás redactando un mensaje, resumiendo un documento o respondiendo a una pregunta, estas herramientas suelen ofrecer una solución más rápida y sencilla.

Pero si has utilizado modelos de lenguaje extenso (LLM) unas cuantas veces, probablemente habrás notado sus limitaciones. Cuando se les plantean consultas muy específicas o urgentes, pueden responder con respuestas incorrectas, a menudo con mucha seguridad.

Esto sucede porque los LLM independientes dependen únicamente de los datos con los que fueron entrenados. No tienen acceso a las últimas actualizaciones ni a conocimientos especializados más allá de ese conjunto de datos. Como resultado, sus respuestas pueden estar desactualizadas o ser imprecisas.

Para ayudar a resolver esto, los investigadores han desarrollado un método llamado generación aumentada por recuperación (RAG). RAG mejora los modelos de lenguaje permitiéndoles obtener información fresca y relevante de fuentes fiables al responder a consultas.

En este artículo, exploraremos cómo funciona RAG y cómo mejora las herramientas de IA mediante la recuperación de información relevante y actualizada. También analizaremos cómo funciona junto con la visión artificial, un campo de la inteligencia artificial centrado en interpretar datos visuales, para ayudar a los sistemas a comprender no solo texto, sino también imágenes, diseños y documentos visualmente complejos.

Link to this sectionEntendiendo la generación aumentada por recuperación (RAG)#

Al hacer una pregunta a un chatbot de IA, generalmente esperamos algo más que una respuesta que suene bien. Idealmente, una buena respuesta debe ser clara, precisa y verdaderamente útil. Para lograrlo, el modelo de IA necesita más que habilidades lingüísticas; también necesita acceso a la información correcta, especialmente para temas específicos o urgentes.

RAG es una técnica que ayuda a cerrar esta brecha. Combina la capacidad del modelo de lenguaje para entender y generar texto con la capacidad de recuperar información relevante de fuentes externas. En lugar de depender únicamente de sus datos de entrenamiento, el modelo extrae activamente contenido de apoyo de bases de conocimiento fiables mientras forma su respuesta.

Fig 1. Casos de uso clave de RAG. Imagen del autor.

Puedes pensar en ello como si le hicieras una pregunta a alguien y le pidieras que consulte una referencia fiable antes de responder. Su respuesta sigue siendo con sus propias palabras, pero está informada por la información más relevante y actualizada.

Este enfoque ayuda a los LLM a responder con respuestas que son más completas, precisas y adaptadas a la consulta del usuario, haciéndolos mucho más fiables en aplicaciones del mundo real donde la precisión realmente importa.

Link to this sectionUn vistazo a cómo funciona RAG#

RAG mejora cómo responde un modelo de lenguaje extenso introduciendo dos pasos clave: recuperación y generación. Primero, recupera información relevante de una base de conocimiento externa. Luego, utiliza esa información para generar una respuesta bien formada y consciente del contexto.

Echemos un vistazo a un ejemplo sencillo para ver cómo funciona este proceso. Imagina que usas un asistente de IA para gestionar tus finanzas personales y quieres comprobar si te mantuviste dentro de tu objetivo de gasto para el mes.

El proceso comienza cuando le haces al asistente una pregunta como: "¿He cumplido mi presupuesto este mes?". En lugar de depender solo de lo que aprendió durante el entrenamiento, el sistema utiliza un recuperador para buscar en tus registros financieros más recientes (como estados bancarios o resúmenes de transacciones). Se centra en entender la intención detrás de tu pregunta y reúne la información más relevante.

Una vez recuperada esa información, el modelo de lenguaje toma el control. Procesa tanto tu pregunta como los datos extraídos de tus registros para generar una respuesta clara y útil. En lugar de enumerar detalles sin procesar, la respuesta resume tus gastos y te ofrece una perspectiva directa y significativa, como confirmar si cumpliste tu objetivo y señalar áreas de gasto clave.

Este enfoque ayuda al LLM a proporcionar respuestas que no solo son precisas, sino que también están fundamentadas en tu información real y actualizada, haciendo que la experiencia sea mucho más útil que un modelo que trabaja solo con datos de entrenamiento estáticos.

Fig 2. Entendiendo cómo funciona RAG.

Link to this sectionLa necesidad de sistemas RAG multimodales#

Normalmente, la información no siempre se comparte en texto plano. Desde escaneos médicos y diagramas hasta diapositivas de presentación y documentos escaneados, los elementos visuales a menudo contienen detalles importantes. Los LLM tradicionales, que están construidos principalmente para leer y entender texto, pueden tener dificultades con este tipo de contenido.

Sin embargo, RAG se puede utilizar junto con la visión por computador para cerrar esa brecha. Cuando se combinan, forman lo que se conoce como un sistema RAG multimodal, una configuración que puede manejar tanto texto como elementos visuales, ayudando a los chatbots de IA a proporcionar respuestas más precisas y completas.

En el centro de este enfoque se encuentran los modelos de visión-lenguaje (VLM), que están diseñados para procesar y razonar sobre ambos tipos de entrada. En esta configuración, RAG recupera la información más relevante de grandes fuentes de datos, mientras que el VLM, habilitado por la visión por computador, interpreta imágenes, diseños y diagramas.

Esto es especialmente útil para documentos del mundo real, como formularios escaneados, informes médicos o diapositivas de presentación, donde los detalles vitales pueden encontrarse tanto en el texto como en los elementos visuales. Por ejemplo, al analizar un documento que incluye imágenes junto con tablas y párrafos, un sistema multimodal puede extraer elementos visuales, generar un resumen de lo que muestran y combinarlo con el texto circundante para ofrecer una respuesta más completa y útil.

Fig 3. El RAG multimodal utiliza imágenes y texto para proporcionar mejores respuestas.

Link to this sectionAplicaciones de RAG para datos visuales#

Ahora que hemos discutido qué es RAG y cómo funciona con la visión por computador, veamos algunos ejemplos del mundo real y proyectos de investigación que muestran cómo se está utilizando este enfoque.

Link to this sectionEntendiendo documentos visuales con VisRAG#

Supongamos que intentas extraer información de un informe financiero o un documento legal escaneado. Estos tipos de archivos suelen incluir no solo texto, sino también tablas, gráficos y diseños que ayudan a explicar la información. Un modelo de lenguaje sencillo podría pasar por alto o malinterpretar estos elementos visuales, lo que llevaría a respuestas incompletas o inexactas.

VisRAG fue creado por investigadores para abordar este desafío. Es una tubería RAG basada en VLM que trata cada página como una imagen en lugar de procesar solo el texto. Esto permite al sistema entender tanto el contenido como su estructura visual. Como resultado, puede encontrar las partes más relevantes y dar respuestas que son más claras, precisas y basadas en el contexto completo del documento.

Fig 4. VisRAG puede leer documentos como imágenes para capturar contenido textual y el diseño.

Link to this sectionRespuesta a preguntas visuales con RAG#

La respuesta a preguntas visuales (VQA) es una tarea en la que un sistema de IA responde a preguntas sobre imágenes. Muchos sistemas VQA existentes se centran en responder preguntas sobre un solo documento sin necesidad de buscar información adicional; esto se conoce como un entorno cerrado.

VDocRAG es un marco RAG que adopta un enfoque más realista. Integra VQA con la capacidad de recuperar primero documentos relevantes. Esto es útil en situaciones del mundo real donde la pregunta de un usuario podría aplicarse a uno de muchos documentos, y el sistema necesita encontrar el correcto antes de responder. Para hacer esto, VDocRAG utiliza VLM para analizar documentos como imágenes, preservando tanto su texto como su estructura visual.

Esto hace que VDocRAG sea especialmente impactante en aplicaciones como la búsqueda empresarial, la automatización de documentos y el soporte al cliente. Puede ayudar a los equipos a extraer rápidamente respuestas de documentos complejos y con formato visual, como manuales o archivos de políticas, donde entender el diseño es tan importante como leer las palabras.

Fig 5. La diferencia entre VDocRAG y las soluciones basadas en LLM.

Link to this sectionMejorando los subtítulos de imágenes con RAG#

Subtitulado de imágenes implica generar una descripción escrita de lo que sucede en una imagen. Se utiliza en una variedad de aplicaciones: desde hacer que el contenido en línea sea más accesible hasta potenciar la búsqueda de imágenes y apoyar la moderación de contenido y los sistemas de recomendación.

Sin embargo, generar subtítulos precisos no siempre es fácil para los modelos de IA. Es especialmente difícil cuando la imagen muestra algo diferente a lo que el modelo fue entrenado. Muchos sistemas de subtitulado dependen en gran medida de los datos de entrenamiento, por lo que cuando se enfrentan a escenas desconocidas, sus subtítulos pueden resultar vagos o inexactos.

Para abordar esto, los investigadores desarrollaron Re-ViLM, un método que incorpora la generación aumentada por recuperación (RAG) en el subtitulado de imágenes. En lugar de generar un subtítulo desde cero, Re-ViLM recupera pares de imagen-texto similares de una base de datos y los utiliza para guiar la salida del subtítulo.

Este enfoque basado en la recuperación ayuda al modelo a fundamentar sus descripciones en ejemplos relevantes, mejorando tanto la precisión como la fluidez. Los resultados iniciales muestran que Re-ViLM genera subtítulos más naturales y conscientes del contexto mediante el uso de ejemplos reales, ayudando a reducir descripciones vagas o inexactas.

Fig 6. Re-ViLM mejora los subtítulos de imágenes mediante la recuperación de ejemplos visuales-textuales.

Link to this sectionPros y contras de usar RAG para entender datos visuales#

Aquí tienes un vistazo rápido a los beneficios de aplicar técnicas de generación aumentada por recuperación para recuperar y utilizar información visual:

• Capacidades de resumen mejoradas: Los resúmenes pueden incorporar perspectivas de elementos visuales (como tendencias de gráficos o elementos de infografía), no solo texto.
• Búsqueda y recuperación más robustas: Los pasos de recuperación pueden identificar páginas visuales relevantes incluso cuando las palabras clave no están presentes en el texto, utilizando la comprensión basada en imágenes.
• Soporte para documentos escaneados, escritos a mano o basados en imágenes: Las tuberías RAG habilitadas por VLM pueden procesar contenido que sería ilegible para modelos de solo texto.

A pesar de estos beneficios, todavía hay algunas limitaciones a tener en cuenta al usar RAG para trabajar con datos visuales. Aquí tienes algunas de las principales:

• Altos requisitos informáticos: El análisis tanto de imágenes como de texto utiliza más memoria y potencia de procesamiento, lo que puede ralentizar el rendimiento o aumentar los costes.
• Preocupaciones sobre privacidad de datos y seguridad: Los documentos visuales, especialmente en sectores como la salud o las finanzas, pueden contener información sensible que complica los flujos de trabajo de recuperación y procesamiento.
• Tiempos de inferencia más largos: Debido a que el procesamiento visual añade complejidad, generar respuestas puede llevar más tiempo en comparación con los sistemas de solo texto.

Link to this sectionConclusiones clave#

La generación aumentada por recuperación está mejorando la forma en que los modelos de lenguaje extenso responden a las preguntas, permitiéndoles obtener información relevante y actualizada de fuentes externas. Cuando se combinan con la visión por computador, estos sistemas pueden procesar no solo texto, sino también contenido visual, como gráficos, tablas, imágenes y documentos escaneados, lo que lleva a respuestas más precisas y completas.

Este enfoque hace que los LLM sean más adecuados para tareas del mundo real que involucran documentos complejos. Al unir la recuperación y la comprensión visual, estos modelos pueden interpretar diversos formatos de manera más efectiva y proporcionar información que es más útil en contextos prácticos y cotidianos.

¡Únete a nuestra creciente comunidad! Explora nuestro repositorio de GitHub para profundizar en la IA. ¿Listo para comenzar tus propios proyectos de visión por computador? Echa un vistazo a nuestras opciones de licencia. ¡Descubre más sobre IA en la salud y visión por computador en el comercio minorista en nuestras páginas de soluciones!