Multi-Modal Model

Um modelo multimodal, também escrito multi-modal, é um único modelo de aprendizado de máquina (ML) que recebe e, às vezes, produz mais de um tipo de dado ou modalidade: imagens, texto, áudio, vídeo, mapas de profundidade ou leituras de sensores. Como processa as modalidades em conjunto, pode usar cada uma como contexto para as outras, respondendo a uma pergunta falada sobre uma foto, encontrando os quadros de vídeo descritos por uma frase ou detectando pedestres simultaneamente a partir de dados de câmera e radar. Um pipeline que encadeia modelos unimodais separados, como um reconhecedor de fala que alimenta um chatbot somente de texto, transmite informações entre modalidades apenas por meio da saída final de cada modelo; já um modelo multimodal aprende como elas se relacionam.

Como funcionam os modelos multimodais#

Cada modalidade passa primeiro por um codificador adequado a ela, como um Vision Transformer (ViT) para imagens ou um tokenizador e uma camada de incorporação para texto, que a converte em vetores. Em seguida, o modelo combina esses vetores e prevê texto, rótulos, caixas ou ações a partir da representação combinada. O local onde ocorre a combinação define as principais famílias de arquitetura:

• Fusão inicial: As entradas são combinadas antes das primeiras camadas ou nelas. Sensores co-registrados podem ser empilhados como canais extras de imagem, e o Ultralytics YOLO26 oferece suporte direto a isso: definir a chave channels em um YAML de conjunto de dados treina um detector com imagens de mais de três canais, como RGB mais bandas térmicas ou de profundidade salvas em um único TIFF multicanal, conforme demonstrado pelo conjunto de dados de 10 canais COCO8-Multispectral.
• Fusão intermediária: Cada modalidade é codificada separadamente e as características se encontram no meio, geralmente por meio de atenção. O Flamingo, da DeepMind, insere camadas de atenção cruzada em um modelo de linguagem congelado para que os tokens de texto possam prestar atenção às características de imagem; muitos modelos de visão e linguagem (VLMs) projetam características de imagem em "tokens visuais" que um modelo de linguagem grande (LLM) lê junto com o prompt.
• Fusão tardia: Modelos separados fazem previsões que são combinadas no final, uma abordagem robusta quando um sensor falha, mas que não consegue aprender interações entre modalidades.
• Incorporação conjunta: Os codificadores mapeiam cada modalidade para um espaço vetorial compartilhado, treinado com aprendizado contrastivo para que pares correspondentes fiquem próximos. O CLIP alinha imagens e texto, e o ImageBind, da Meta, estende um espaço de incorporação a seis modalidades — imagens, texto, áudio, profundidade, dados térmicos e de sensores de movimento — usando apenas dados emparelhados com imagens.

Os dados e a tarefa determinam, em grande parte, qual arquitetura é mais adequada:

O ViLT, o Vision-and-Language Transformer, é um exemplo compacto de fusão inicial: divide uma imagem em patches, incorpora-os junto com as palavras de uma pergunta e executa um único transformer sobre a sequência combinada. O exemplo a seguir usa o checkpoint do ViLT ajustado para respostas visuais a perguntas (VQA) por meio do Hugging Face Transformers:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

O modelo responde corretamente a bus e blue and white com base na mesma imagem e responde 3 à pergunta de contagem, embora quatro pessoas apareçam na foto, duas delas cortadas pelas bordas; contar continua sendo uma fraqueza comum dos modelos de visão e linguagem.

Tipos de modelos multimodais#

• Modelos de linguagem visual: Leem imagens e texto para gerar legendas, responder a perguntas, ler documentos ou localizar objetos nomeados em um prompt — tarefa chamada ancoragem. Os resultados dos benchmarks de VLMs comparam a precisão com que esses modelos localizam objetos em conjuntos de dados de detecção do mundo real.
• Assistentes nativamente multimodais: O GPT-4o da OpenAI, lançado em 2024, foi treinado como uma única rede de ponta a ponta com texto, visão e áudio; o Google projetou seus modelos Gemini para serem multimodais desde o início, permitindo que um único modelo receba uma combinação de texto, imagens, áudio e vídeo no mesmo prompt.
• Modelos de áudio e linguagem: combinam fala ou som com texto para transcrição, tradução e conversas faladas.
• Modelos de visão, linguagem e ação: Estendem um VLM para produzir comandos para os motores de um robô, permitindo que ele siga instruções como "coloque a maçã na tigela".
• Percepção com fusão de sensores: Veículos autônomos combinam entradas de câmera, lidar e radar em um único modelo que detecta e rastreia objetos em 3D.

Modelo multimodal vs. termos relacionados#

• IA multimodal: O campo mais amplo da IA que trabalha com vários tipos de dados, incluindo sistemas que encadeiam modelos unimodais. Um modelo multimodal é um único modelo dentro desse campo.
• Aprendizado multimodal: Os métodos de treinamento, como alinhamento contrastivo e pré-treinamento entre modalidades, que produzem modelos multimodais.
• Fusão de sensores: Combinação de leituras de vários sensores, muitas vezes com estimadores clássicos, como filtros de Kalman, em vez de um modelo aprendido.
• Modelo de base: Um modelo grande pré-treinado para muitas tarefas posteriores. Muitos modelos de base recentes são multimodais, enquanto outros, como LLMs somente de texto, lidam com uma única modalidade.

Desafios#

Modelos multimodais precisam de grandes quantidades de dados pareados, como imagens com legendas ou áudio transcrito, e devem lidar com modalidades ausentes ou ruidosas durante a inferência, como uma câmera ofuscada pelo brilho. Entradas de imagem e vídeo são caras, pois cada imagem acrescenta centenas ou milhares de tokens ao contexto de um LLM. Os modelos também podem se apoiar na modalidade mais fácil e ignorar a mais difícil: os primeiros modelos de VQA frequentemente respondiam apenas com base em padrões da pergunta, então o benchmark VQA v2 emparelhou cada pergunta com duas imagens semelhantes que levam a respostas diferentes, praticamente dobrando os pares de imagem e pergunta do conjunto de dados.