Al hacer clic en “Aceptar todas las cookies”, aceptas el almacenamiento de cookies en tu dispositivo para mejorar la navegación del sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información
Configuración de cookies
Al hacer clic en “Aceptar todas las cookies”, aceptas el almacenamiento de cookies en tu dispositivo para mejorar la navegación del sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información
Descubra cómo la combinación de la generación aumentada por recuperación (RAG) con la visión artificial está ayudando a los sistemas de IA a interpretar documentos, elementos visuales y contenido complejo del mundo real.
El uso de herramientas de IA como ChatGPT o Gemini se está convirtiendo rápidamente en una forma común de encontrar información. Ya sea para redactar un mensaje, resumir un documento o responder a una pregunta, estas herramientas suelen ofrecer una solución más rápida y sencilla.
Pero si ha utilizado modelos de lenguaje grandes (LLM) algunas veces, es probable que haya notado sus limitaciones. Cuando se les plantean preguntas muy específicas o urgentes, pueden responder con respuestas incorrectas, a menudo con seguridad.
Esto ocurre porque los LLM independientes se basan únicamente en los datos con los que fueron entrenados. No tienen acceso a las últimas actualizaciones ni a conocimientos especializados más allá de ese conjunto de datos. Como resultado, sus respuestas pueden estar desactualizadas o ser inexactas.
Para ayudar a resolver esto, los investigadores han desarrollado un método llamado generación aumentada por recuperación (RAG). RAG mejora los modelos de lenguaje al permitirles extraer información fresca y relevante de fuentes confiables al responder a las preguntas.
En este artículo, exploraremos cómo funciona RAG y cómo mejora las herramientas de IA al recuperar información relevante y actualizada. También veremos cómo funciona junto con la visión artificial, un campo de la inteligencia artificial centrado en la interpretación de datos visuales, para ayudar a los sistemas a comprender no solo el texto, sino también las imágenes, los diseños y los documentos visualmente complejos.
Comprensión de la generación aumentada por recuperación (RAG)
Cuando le hacemos una pregunta a un chatbot de IA, generalmente esperamos algo más que una respuesta que suene bien. Idealmente, una buena respuesta debe ser clara, precisa y genuinamente útil. Para lograrlo, el modelo de IA necesita algo más que habilidades lingüísticas; también necesita acceso a la información correcta, especialmente para temas específicos o urgentes.
RAG es una técnica que ayuda a cerrar esta brecha. Reúne la capacidad del modelo de lenguaje para comprender y generar texto con el poder de recuperar información relevante de fuentes externas. En lugar de depender únicamente de sus datos de entrenamiento, el modelo extrae activamente contenido de apoyo de bases de conocimiento confiables al formar su respuesta.
Fig. 1. Casos de uso clave de RAG. Imagen del autor.
Puede pensarlo como si le hiciera una pregunta a alguien y este consultara una referencia confiable antes de responder. Su respuesta sigue siendo en sus propias palabras, pero está informada por la información más relevante y actualizada.
Este enfoque ayuda a los LLM a responder con respuestas más completas, precisas y adaptadas a la consulta del usuario, lo que los hace mucho más confiables en aplicaciones del mundo real donde la precisión es realmente importante.
Un vistazo a cómo funciona RAG
RAG mejora la forma en que responde un modelo de lenguaje grande al introducir dos pasos clave: recuperación y generación. Primero, recupera información relevante de una base de conocimiento externa. Luego, utiliza esa información para generar una respuesta bien formada y consciente del contexto.
Echemos un vistazo a un ejemplo sencillo para ver cómo funciona este proceso. Imagine que está utilizando un asistente de IA para administrar sus finanzas personales y desea comprobar si se mantuvo dentro de su objetivo de gasto para el mes.
El proceso comienza cuando le hace al asistente una pregunta como: "¿Me mantuve dentro de mi presupuesto este mes?" En lugar de depender únicamente de lo que aprendió durante el entrenamiento, el sistema utiliza un recuperador para buscar en sus registros financieros más recientes (cosas como extractos bancarios o resúmenes de transacciones). Se centra en comprender la intención detrás de su pregunta y recopila la información más relevante.
Una vez que se recupera esa información, el modelo de lenguaje toma el control. Procesa tanto tu pregunta como los datos extraídos de tus registros para generar una respuesta clara y útil. En lugar de enumerar detalles sin procesar, la respuesta resume tus gastos y te proporciona una visión directa y significativa, como confirmar si alcanzaste tu objetivo y señalar las áreas clave de gasto.
Este enfoque ayuda al LLM a proporcionar respuestas que no solo son precisas, sino que también se basan en tu información real y actualizada, lo que hace que la experiencia sea mucho más útil que un modelo que funciona solo con datos de entrenamiento estáticos.
Normalmente, la información no siempre se comparte en texto plano. Desde escáneres médicos y diagramas hasta diapositivas de presentación y documentos escaneados, las imágenes a menudo contienen detalles importantes. Los LLM tradicionales, que están construidos principalmente para leer y comprender texto, pueden tener dificultades con este tipo de contenido.
Sin embargo, RAG se puede utilizar junto con la visión artificial para cerrar esa brecha. Cuando los dos se unen, forman lo que se conoce como un sistema RAG multimodal, una configuración que puede manejar tanto texto como imágenes, lo que ayuda a los chatbots de IA a proporcionar respuestas más precisas y completas.
En el núcleo de este enfoque se encuentran los modelos de visión-lenguaje (VLM), que están diseñados para procesar y razonar sobre ambos tipos de entrada. En esta configuración, RAG recupera la información más relevante de grandes fuentes de datos, mientras que el VLM, habilitado por la visión artificial, interpreta imágenes, diseños y diagramas.
Esto es especialmente útil para documentos del mundo real, como formularios escaneados, informes médicos o diapositivas de presentación, donde se pueden encontrar detalles vitales tanto en el texto como en las imágenes. Por ejemplo, al analizar un documento que incluye imágenes junto con tablas y párrafos, un sistema multimodal puede extraer elementos visuales, generar un resumen de lo que muestran y combinarlo con el texto circundante para ofrecer una respuesta más completa y útil.
Fig. 3. RAG multimodal utiliza imágenes y texto para proporcionar mejores respuestas.
Aplicaciones de RAG para datos visuales
Ahora que hemos analizado qué es RAG y cómo funciona con la visión artificial, veamos algunos ejemplos del mundo real y proyectos de investigación que muestran cómo se está utilizando este enfoque.
Comprensión de documentos visuales con VisRAG
Digamos que estás intentando extraer información de un informe financiero o un documento legal escaneado. Este tipo de archivos a menudo incluyen no solo texto, sino también tablas, gráficos y diseños que ayudan a explicar la información. Un modelo de lenguaje sencillo podría pasar por alto o malinterpretar estos elementos visuales, lo que llevaría a respuestas incompletas o inexactas.
VisRAG fue creado por investigadores para abordar este desafío. Es un pipeline RAG basado en VLM que trata cada página como una imagen en lugar de procesar solo el texto. Esto permite que el sistema comprenda tanto el contenido como su estructura visual. Como resultado, puede encontrar las partes más relevantes y dar respuestas que sean más claras, más precisas y basadas en el contexto completo del documento.
Fig. 4. VisRAG puede leer documentos como imágenes para capturar el contenido textual y el diseño.
Preguntas y respuestas visuales con RAG
Las preguntas y respuestas visuales (VQA) son una tarea en la que un sistema de IA responde preguntas sobre imágenes. Muchos sistemas VQA existentes se centran en responder preguntas sobre un solo documento sin necesidad de buscar información adicional; esto se conoce como un entorno cerrado.
VDocRAG es un framework RAG que adopta un enfoque más realista. Integra VQA con la capacidad de recuperar primero los documentos relevantes. Esto es útil en situaciones del mundo real donde la pregunta de un usuario podría aplicarse a uno de muchos documentos, y el sistema necesita encontrar el correcto antes de responder. Para hacer esto, VDocRAG utiliza VLM para analizar documentos como imágenes, preservando tanto su texto como su estructura visual.
Esto hace que VDocRAG sea especialmente impactante en aplicaciones como la búsqueda empresarial, la automatización de documentos y la atención al cliente. Puede ayudar a los equipos a extraer rápidamente respuestas de documentos complejos con formato visual, como manuales o archivos de políticas, donde comprender el diseño es tan importante como leer las palabras.
Fig. 5. La diferencia entre VDocRAG y las soluciones basadas en LLM.
Mejora de la descripción de imágenes con RAG
La descripción de imágenes implica generar una descripción escrita de lo que está sucediendo en una imagen. Se utiliza en una variedad de aplicaciones, desde hacer que el contenido en línea sea más accesible hasta impulsar la búsqueda de imágenes y respaldar los sistemas de moderación y recomendación de contenido.
Sin embargo, generar subtítulos precisos no siempre es fácil para los modelos de IA. Es especialmente difícil cuando la imagen muestra algo diferente de aquello con lo que se entrenó el modelo. Muchos sistemas de subtitulado dependen en gran medida de los datos de entrenamiento, por lo que, cuando se enfrentan a escenas desconocidas, sus subtítulos pueden resultar vagos o inexactos.
Para abordar esto, los investigadores desarrollaron Re-ViLM, un método que incorpora la generación aumentada por recuperación (RAG) en la descripción de imágenes. En lugar de generar un subtítulo desde cero, Re-ViLM recupera pares imagen-texto similares de una base de datos y los utiliza para guiar la salida del subtítulo.
Este enfoque basado en la recuperación ayuda al modelo a basar sus descripciones en ejemplos relevantes, mejorando tanto la precisión como la fluidez. Los primeros resultados muestran que Re-ViLM genera subtítulos más naturales y conscientes del contexto mediante el uso de ejemplos reales, lo que ayuda a reducir las descripciones vagas o inexactas.
Fig. 6. Re-ViLM mejora los subtítulos de las imágenes recuperando ejemplos visuales-textuales.
Pros y contras de usar RAG para comprender datos visuales
Aquí tienes un vistazo rápido a los beneficios de aplicar técnicas de generación aumentada por recuperación para recuperar y utilizar información visual:
Capacidades de resumen mejoradas: Los resúmenes pueden incorporar información de elementos visuales (como tendencias de gráficos o elementos de infografías), no solo texto.
Búsqueda y recuperación más robustas: Los pasos de recuperación pueden identificar páginas visuales relevantes incluso cuando las palabras clave no están presentes en el texto, utilizando la comprensión basada en imágenes.
Soporte para documentos escaneados, manuscritos o basados en imágenes: Los pipelines RAG habilitados por los VLM pueden procesar contenido que sería ilegible para los modelos de solo texto.
A pesar de estos beneficios, todavía hay algunas limitaciones a tener en cuenta al usar RAG para trabajar con datos visuales. Estas son algunas de las principales:
Altos requisitos de computación: Analizar tanto imágenes como texto utiliza más memoria y potencia de procesamiento, lo que puede ralentizar el rendimiento o aumentar los costes.
Privacidad de datos y problemas de seguridad: Los documentos visuales, especialmente en sectores como la sanidad o las finanzas, pueden contener información sensible que complica los flujos de trabajo de recuperación y procesamiento.
Tiempos de inferencia más largos: Debido a que el procesamiento visual añade complejidad, la generación de respuestas puede llevar más tiempo en comparación con los sistemas de solo texto.
Conclusiones clave
La generación aumentada por recuperación está mejorando la forma en que los modelos de lenguaje grandes responden a las preguntas, permitiéndoles obtener información relevante y actualizada de fuentes externas. Cuando se combina con la visión artificial, estos sistemas pueden procesar no solo texto, sino también contenido visual, como gráficos, tablas, imágenes y documentos escaneados, lo que conduce a respuestas más precisas y completas.
Este enfoque hace que los LLM sean más adecuados para tareas del mundo real que involucran documentos complejos. Al reunir la recuperación y la comprensión visual, estos modelos pueden interpretar diversos formatos de manera más efectiva y proporcionar información que es más útil en contextos prácticos y cotidianos.
