Multimodal AI

A IA multimodal refere-se a sistemas de inteligência artificial (AI) que recebem, combinam ou produzem mais de um tipo de dado, ou modalidade: texto, imagens, vídeo, áudio e leituras de sensores, como lidar e radar. Um assistente multimodal pode analisar uma foto de uma luz de aviso no painel, ler uma pergunta digitada sobre ela e responder por texto ou fala; um carro autônomo combina dados de câmaras, lidar e radar numa única representação da estrada. O termo designa esses sistemas e produtos, criados com aprendizagem multimodal, os métodos de treino, como alinhamento contrastivo e fusão, que ensinam um modelo a relacionar modalidades.

Como são construídos os sistemas multimodais#

Cada modalidade passa primeiro por um codificador adequado, como um transformador de visão (ViT) para imagens ou um codificador de espectrogramas para áudio, que converte a entrada bruta em embeddings. Uma etapa de fusão combina-os, e um descodificador ou uma cabeça específica da tarefa produz a saída. A maioria dos assistentes atuais encaminha tudo através de um modelo de linguagem de grande escala (LLM): LLaVA (2023) ligou um codificador de imagens CLIP ao modelo de linguagem Vicuna por meio de uma projeção aprendida que converte as características da imagem em vetores semelhantes a tokens, e o Flamingo da DeepMind (2022) inseriu novas camadas de atenção cruzada num modelo de linguagem congelado para que os tokens de texto pudessem prestar atenção às características da imagem.

Os modelos multimodais nativos são treinados desde o início com dados mistos, em vez de se anexarem codificadores a um modelo de linguagem já concluído. A Google apresentou o Gemini como multimodal nativo em dezembro de 2023, e o GPT-4o da OpenAI (maio de 2024) aceita qualquer combinação de texto, áudio, imagem e vídeo e responde a entradas de voz em 320 milissegundos, em média.

Os primeiros modelos de fluxo único, como o ViLT (2021), introduziam recortes da imagem e tokens da pergunta num único transformador e escolhiam cada resposta num vocabulário fixo de 3.129 respostas. O ViLT é suficientemente pequeno para responder a perguntas sobre uma imagem num CPU:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

O ViLT responde corretamente «azul e branco» e «não» e conta 3 pessoas, embora quatro estejam pelo menos parcialmente visíveis: dois homens a caminhar, totalmente à vista, e duas pessoas cortadas nas margens esquerda e direita. Contar objetos pequenos ou parcialmente visíveis é um erro comum nos modelos de visão e linguagem.

Aplicações#

• Resposta a perguntas visuais (VQA): Em 2023, a Be My Eyes lançou o Be My AI, que usa o GPT-4 da OpenAI para descrever fotografias e responder a perguntas de seguimento para utilizadores cegos ou com baixa visão.
• Veículos autónomos: Os robotáxis, como os da Waymo, combinam câmaras, lidar e radar; cada um cobre condições em que os outros têm dificuldades, como encandeamento, escuridão ou nevoeiro.
• Cuidados de saúde: Os modelos clínicos leem exames em conjunto com as notas e o historial do paciente, o contexto que um radiologista usa ao analisar uma imagem.
• Geração de texto para imagem: Modelos como o Stable Diffusion transformam uma descrição escrita numa imagem, e os modelos de texto para vídeo estendem esta capacidade ao movimento.
• RAG multimodal: Recupera imagens, tabelas e excertos de texto para que um LLM formule respostas com base neles.

A rotulagem de conjuntos de dados também se tornou uma tarefa multimodal. Em um conjunto de dados de detecção, a anotação inteligente orientada por classes da Ultralytics Platform envia os nomes das classes do conjunto de dados como texto a modelos hospedados, como o Florence-2 da Microsoft, o Grounding DINO da IDEA Research e o SAM 3.1 da Meta, que retornam caixas editáveis para treinar um detector YOLO26. O VLM Leaderboard compara a precisão com que esses modelos e VLMs generativos rotulam conjuntos de dados de detecção do mundo real.

IA multimodal e termos relacionados#

• Aprendizagem multimodal: Métodos para treinar com várias modalidades, como alinhamento contrastivo e fusão por atenção precoce, tardia ou cruzada. A IA multimodal é o conjunto de sistemas e aplicações resultantes.
• Modelo multimodal: Um único modelo treinado para lidar com várias modalidades, componente central da maioria dos sistemas de IA multimodal.
• Modelo de visão e linguagem (VLM): O tipo mais comum de modelo multimodal, limitado a imagens ou vídeo e texto.
• Fusão de sensores: Combina medições da mesma cena provenientes de vários sensores, muitas vezes com um filtro de Kalman; uma prática da robótica e dos veículos que antecede há muito os modelos multimodais aprendidos.