Multimodal RAG

La RAG multimodal es la generación aumentada por recuperación (RAG) aplicada a una base de conocimiento que contiene imágenes, vídeos, audio y documentos escaneados o generados, además de texto. Una pregunta recupera los elementos más pertinentes de cualquiera de estas modalidades, y un modelo de visión y lenguaje (VLM) genera la respuesta a partir de ellos. Así, se puede recuperar y leer directamente un diagrama de cableado, una foto de un producto o un gráfico dentro de un PDF, en lugar de hacerlo solo mediante una descripción textual que alguien haya redactado previamente.

Cómo se indexan los datos no textuales#

El enfoque más sencillo convierte todo a texto. Los resultados de descripción de imágenes, el reconocimiento óptico de caracteres (OCR), las transcripciones de voz a texto y las etiquetas de la detección de objetos describen cada elemento con palabras que se pueden buscar en un índice de texto normal. Así se reutiliza sin cambios un proceso RAG de texto, pero se pierde todo lo que omita la descripción.

El segundo enfoque inserta imágenes y texto en un mismo espacio compartido. Los modelos entrenados mediante aprendizaje contrastivo, como CLIP de OpenAI y SigLIP de Google, asignan a una foto y a una frase que la describe incrustaciones cercanas, de modo que una pregunta textual recupera imágenes directamente de una base de datos vectorial. Para documentos, ColPali (2024) convierte la captura de cada página en una cuadrícula de vectores de parches y la puntúa frente a los tokens de la pregunta mediante una interacción tardía al estilo de ColBERT, que evita el OCR y el análisis de diseño en PDF llenos de tablas y gráficos.

A continuación, la generación pasa al VLM los elementos recuperados, que suelen ser una combinación de imágenes y fragmentos de texto, junto con la pregunta. Fundamentar la respuesta en imágenes recuperadas mediante anclaje reduce las alucinaciones sobre detalles visuales que el modelo no había visto durante el entrenamiento, como la disposición del panel de control de una empresa concreta.

Recuperación en un espacio compartido de incrustaciones#

Este ejemplo utiliza el punto de control CLIP ViT-B/32 para elegir la imagen que responde a cada pregunta a partir de una base de conocimiento con dos imágenes:

import requests
from PIL import Image
from transformers import CLIPModel, CLIPProcessor

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

# Image knowledge base: CLIP embeds images and text into one shared vector space
urls = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]
images = [Image.open(requests.get(url, stream=True, timeout=10).raw) for url in urls]
questions = ["What color is the man's tie?", "How many people are standing next to the bus?"]

# Retrieve: score each question against every image and keep the best match for the VLM
inputs = processor(text=questions, images=images, return_tensors="pt", padding=True)
scores = model(**inputs).logits_per_text
for question, row in zip(questions, scores):
    print(f"{question} -> {urls[row.argmax()].split('/')[-1]}")

La pregunta sobre la corbata recupera zidane.jpg y la pregunta sobre el autobús recupera bus.jpg, porque CLIP sitúa la incrustación de texto de cada pregunta más cerca de la foto correspondiente. La interfaz LLM de Ultralytics cubre el paso de generación posterior: llm(question, image=...) envía la pregunta y la imagen recuperada a cualquier modelo de visión y lenguaje compatible con OpenAI en una sola llamada y devuelve la respuesta del proveedor.

RAG multimodal frente a términos relacionados#

• Respuesta a preguntas visuales (VQA): Responde a una pregunta sobre una imagen que proporciona el usuario. La RAG multimodal busca primero qué imágenes, páginas o clips consultar entre miles.
• Modelos multimodales: Los generadores, como GPT de OpenAI o los modelos Gemini de Google, que leen imágenes y texto a la vez. RAG multimodal es el sistema de recuperación que decide qué ven esos modelos.
• Búsqueda semántica: La parte de recuperación por sí sola, que devuelve resultados ordenados a una persona en lugar de a un modelo.

Aplicaciones en el mundo real#

• Mantenimiento industrial: Un técnico fotografía una pieza averiada y el sistema recupera la página del manual con el diagrama de despiece correspondiente, además de fotos de reparaciones anteriores del mismo conjunto.
• Búsqueda y asistencia en el comercio minorista: La foto de un comprador recupera artículos similares del catálogo, y el asistente responde preguntas sobre ajuste o compatibilidad a partir de las fichas de producto.
• Respuesta a preguntas sobre documentos: Los informes anuales, artículos científicos y presentaciones guardan cifras clave en gráficos y tablas, que la recuperación de imágenes de página encuentra sin necesidad de un analizador de tablas independiente.
• Comprensión de vídeo: La indexación de fotogramas muestreados o clips cortos mediante incrustaciones permite que una pregunta como «¿Cuándo llegó la furgoneta de reparto?» recupere los minutos pertinentes de vídeo, para que el VLM lea unos pocos fotogramas en lugar de horas de vídeo.

Compromisos de diseño#

Las imágenes ocupan mucho contexto: un VLM convierte cada imagen en cientos o miles de tokens, así que los procesos suelen pasar solo unas pocas imágenes recuperadas con mayor puntuación y las acompañan de fragmentos de texto más breves. Los sistemas de recuperación con incrustaciones compartidas también heredan las limitaciones de su entrenamiento. El codificador de texto de CLIP admite como máximo 77 tokens, por lo que las preguntas más largas se truncan antes de la comparación; además, las incrustaciones de imágenes completas captan mejor el contenido general de una escena que los detalles pequeños, como un número de serie en una etiqueta. La conversión a texto mantiene esos detalles disponibles para las búsquedas siempre que el OCR pueda leerlos, así que muchos sistemas indexan tanto el texto del OCR como las incrustaciones de imágenes y combinan ambas listas de resultados mediante búsqueda híbrida.