Multimodal AI

La IA multimodal se refiere a sistemas de inteligencia artificial (AI) que reciben, combinan o generan más de un tipo de datos o modalidad: texto, imágenes, vídeo, audio y lecturas de sensores como lidar y radar. Un asistente multimodal puede observar la foto de un testigo del salpicadero, leer una pregunta escrita sobre él y responder con texto o voz; un coche autónomo combina datos de cámaras, lidar y radar en una única representación de la carretera. El término designa estos sistemas y productos, que se crean con aprendizaje multimodal: los métodos de entrenamiento, como la alineación contrastiva y la fusión, que enseñan a un modelo cómo se relacionan las modalidades.

Cómo se construyen los sistemas multimodales#

Cada modalidad pasa primero por un codificador adecuado, como un transformador de visión (ViT) para las imágenes o un codificador de espectrogramas para el audio, que convierte la entrada sin procesar en embeddings. Después, una etapa de fusión las combina y un decodificador o una cabeza de tarea genera la salida. La mayoría de los asistentes actuales canalizan todo a través de un modelo de lenguaje grande (LLM): LLaVA (2023) conectó un codificador de imágenes CLIP al modelo de lenguaje Vicuna mediante una proyección aprendida que convierte las características de imagen en vectores similares a tokens; Flamingo, de DeepMind (2022), insertó nuevas capas de atención cruzada en un modelo de lenguaje congelado para que sus tokens de texto pudieran prestar atención a las características de imagen.

Los modelos multimodales nativos se entrenan desde el principio con datos mixtos, en lugar de añadir codificadores a un modelo de lenguaje ya terminado. Google presentó Gemini como modelo multimodal nativo en diciembre de 2023, y GPT-4o de OpenAI (mayo de 2024) acepta cualquier combinación de texto, audio, imagen y vídeo, y responde a entradas de voz en 320 milisegundos de media.

Los primeros modelos de flujo único, como ViLT (2021), introducían parches de imagen y tokens de preguntas en un único transformador y elegían cada respuesta de un vocabulario fijo de 3129 respuestas. ViLT es lo bastante pequeño como para responder preguntas sobre una imagen en una CPU:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

ViLT responde correctamente «azul y blanco» y «no», y cuenta 3 personas, aunque se ven al menos parcialmente cuatro: dos hombres caminando a plena vista y dos personas cortadas por los bordes izquierdo y derecho. Contar objetos pequeños o parcialmente visibles es un error habitual en los modelos de visión y lenguaje.

Aplicaciones#

• Respuesta visual a preguntas (VQA): Be My Eyes añadió Be My AI en 2023, que utiliza GPT-4 de OpenAI para describir fotos y responder a preguntas de seguimiento de personas ciegas o con baja visión.
• Vehículos autónomos: Los robotaxis, como los de Waymo, combinan cámaras, lidar y radar; cada uno cubre condiciones en las que los demás tienen dificultades, como el deslumbramiento, la oscuridad o la niebla.
• Sanidad: Los modelos clínicos leen exploraciones junto con las notas y el historial del paciente, el contexto que utiliza un radiólogo al analizar una imagen.
• Generación de texto a imagen: Modelos como Stable Diffusion convierten una descripción escrita en una imagen, y los modelos de texto a vídeo amplían esta capacidad al movimiento.
• RAG multimodal: Recupera imágenes, tablas y fragmentos de texto para que un LLM genere una respuesta a partir de ellos.

El etiquetado de conjuntos de datos también se ha convertido en una tarea multimodal. En un conjunto de datos de detección, la anotación inteligente guiada por clases de Ultralytics Platform envía los nombres de clase del conjunto como texto a modelos alojados, como Florence-2 de Microsoft, Grounding DINO de IDEA Research y SAM 3.1 de Meta, que devuelven cuadros editables para entrenar un detector YOLO26. La clasificación de VLM compara la precisión con la que estos modelos y los VLM generativos etiquetan conjuntos de datos de detección del mundo real.

IA multimodal y términos relacionados#

• Aprendizaje multimodal: Métodos para entrenar con varias modalidades, como la alineación contrastiva y la fusión temprana, tardía o mediante atención cruzada. La IA multimodal son los sistemas y aplicaciones resultantes.
• Modelo multimodal: Un único modelo entrenado para trabajar con varias modalidades, componente central de la mayoría de los sistemas de IA multimodal.
• Modelo de visión y lenguaje (VLM): El tipo más común de modelo multimodal, limitado a imágenes o vídeos y texto.
• Fusión de sensores: Combina mediciones de varios sensores sobre la misma escena, a menudo mediante un filtro de Kalman; una práctica de robótica y automoción muy anterior a los modelos multimodales aprendidos.