Multi-Modal Model

Un modelo multimodal, también escrito multi-modal, es un único modelo de aprendizaje automático (ML) que recibe y, en ocasiones, genera más de un tipo de datos o modalidad: imágenes, texto, audio, vídeo, mapas de profundidad o lecturas de sensores. Como procesa las modalidades conjuntamente, puede usar cada una como contexto para las demás: responder a una pregunta hablada sobre una foto, encontrar los fotogramas de vídeo que describe una frase o detectar peatones simultáneamente a partir de datos de cámara y radar. Una cadena de modelos unimodales separados, como un reconocedor de voz que alimenta un chatbot solo de texto, transmite información entre modalidades únicamente mediante la salida final de cada modelo; en cambio, un modelo multimodal aprende cómo se relacionan.

Cómo funcionan los modelos multimodales#

Cada modalidad pasa primero por un codificador adecuado, como un Transformer de visión (ViT) para las imágenes, o un tokenizador y una capa de incrustación para el texto, que la convierte en vectores. Después, el modelo fusiona esos vectores y predice texto, etiquetas, cajas o acciones a partir de la representación combinada. El punto en el que se produce la fusión define las principales familias de diseño:

• Fusión temprana: Las entradas se combinan antes de las primeras capas o en ellas. Los sensores registrados entre sí pueden apilarse como canales de imagen adicionales, y Ultralytics YOLO26 lo admite directamente: al establecer la clave channels en un YAML del conjunto de datos, se entrena un detector con imágenes de más de tres canales, como RGB más bandas térmicas o de profundidad guardadas en un único TIFF multicanal, tal y como demuestra el conjunto de datos COCO8-Multispectral de 10 canales.
• Fusión intermedia: Cada modalidad se codifica por separado y las características se combinan en una etapa intermedia, normalmente mediante atención. Flamingo, de DeepMind, inserta capas de atención cruzada en un modelo de lenguaje congelado para que los tokens de texto puedan atender a las características de imagen. Muchos modelos de visión y lenguaje (VLM) proyectan las características de imagen en «tokens visuales» que un modelo de lenguaje grande (LLM) lee junto con la instrucción.
• Fusión tardía: Modelos separados realizan predicciones que se combinan al final. Este enfoque es robusto si falla un sensor, pero no puede aprender las interacciones entre modalidades.
• Incrustación conjunta: Los codificadores asignan cada modalidad a un espacio vectorial compartido. Se entrenan con aprendizaje contrastivo para que los pares coincidentes queden próximos. CLIP alinea imágenes y texto, e ImageBind, de Meta, amplía un espacio de incrustación a seis modalidades —imágenes, texto, audio, profundidad, datos térmicos y datos de sensores de movimiento— usando únicamente datos emparejados con imágenes.

Los datos y la tarea determinan en gran medida qué diseño es el adecuado:

ViLT, el Transformer de visión y lenguaje, es un ejemplo compacto de fusión temprana: divide una imagen en parches, los incrusta junto con las palabras de una pregunta y ejecuta un único transformer sobre la secuencia combinada. El siguiente ejemplo usa el punto de control de ViLT ajustado para responder preguntas visuales (VQA) mediante Hugging Face Transformers:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

El modelo responde correctamente bus y blue and white a partir de la misma imagen, y responde 3 a la pregunta de recuento, aunque en la foto aparecen cuatro personas, dos de ellas cortadas por los bordes; el recuento sigue siendo una debilidad habitual de los modelos de visión y lenguaje.

Tipos de modelos multimodales#

• Modelos de lenguaje y visión: Leen imágenes y texto para generar descripciones, responder preguntas, leer documentos o localizar objetos mencionados en una instrucción, una tarea llamada anclaje. Los resultados del benchmark de VLM comparan la precisión con la que estos modelos localizan objetos en conjuntos de datos de detección del mundo real.
• Asistentes nativamente multimodales: GPT-4o de OpenAI, publicado en 2024, se entrenó como una única red de extremo a extremo con texto, visión y audio. Google diseñó sus modelos Gemini para que fueran multimodales desde el principio, de modo que un mismo modelo pueda recibir una combinación de texto, imágenes, audio y vídeo en una sola instrucción.
• Modelos de audio y lenguaje: Combinan voz o sonido con texto para transcribir, traducir y mantener conversaciones habladas.
• Modelos de visión, lenguaje y acción: Amplían un VLM para generar comandos de los motores de un robot, de modo que pueda seguir instrucciones como «pon la manzana en el cuenco».
• Percepción con fusión de sensores: Los vehículos autónomos fusionan las entradas de cámaras, lidar y radar en un único modelo que detecta y sigue objetos en 3D.

Modelos multimodales y términos relacionados#

• IA multimodal: Campo más amplio de la IA que trabaja con varios tipos de datos, incluidos los sistemas que encadenan modelos unimodales. Un modelo multimodal es un único modelo dentro de ese campo.
• Aprendizaje multimodal: Métodos de entrenamiento, como la alineación contrastiva y el preentrenamiento entre modalidades, que producen modelos multimodales.
• Fusión de sensores: Combinación de lecturas de varios sensores, a menudo mediante estimadores clásicos como los filtros de Kalman en lugar de un modelo aprendido.
• Modelo fundacional: Modelo grande preentrenado para muchas tareas posteriores. Muchos modelos fundacionales recientes son multimodales, mientras que otros, como los LLM solo de texto, procesan una única modalidad.

Retos#

Los modelos multimodales necesitan grandes cantidades de datos emparejados, como imágenes con descripciones o audio transcrito, y deben poder gestionar una modalidad ausente o ruidosa durante la inferencia, como una cámara cegada por un reflejo. Las entradas de imagen y vídeo son costosas, ya que cada imagen añade cientos o miles de tokens al contexto de un LLM. Los modelos también pueden apoyarse en la modalidad más sencilla e ignorar la más difícil: los primeros modelos VQA solían responder basándose únicamente en patrones de la pregunta. Por eso, el conjunto de evaluación VQA v2 emparejó cada pregunta con dos imágenes parecidas que daban lugar a respuestas diferentes, lo que aproximadamente duplicó los pares de imagen y pregunta del conjunto de datos.