Multi-Modal Model

Un modello multimodale, detto anche modello multi-modale, è un singolo modello di apprendimento automatico (ML) che riceve e talvolta produce più di un tipo di dati, o modalità: immagini, testo, audio, video, mappe di profondità o letture di sensori. Elaborando insieme le modalità, può usare ciascuna come contesto per le altre: per esempio, rispondere a una domanda pronunciata su una foto, trovare i fotogrammi di un video descritti in una frase o rilevare pedoni usando contemporaneamente dati di telecamere e radar. Una pipeline che concatena modelli unimodali distinti, come un sistema di riconoscimento vocale collegato a un chatbot solo testuale, trasferisce informazioni tra le modalità solo attraverso l'output finale di ciascun modello; un modello multimodale, invece, apprende le relazioni tra di esse.

Come funzionano i modelli multimodali#

Ogni modalità passa prima attraverso un encoder adatto, come un Vision Transformer (ViT) per le immagini oppure un tokenizzatore e un layer di embedding per il testo, che la trasformano in vettori. Il modello combina quindi questi vettori e, a partire dalla rappresentazione risultante, predice testo, etichette, riquadri o azioni. Il punto in cui avviene la fusione definisce le principali famiglie di architetture:

• Fusione precoce: gli input vengono combinati prima dei primi layer o al loro interno. I sensori co-registrati possono essere impilati come canali d'immagine aggiuntivi; Ultralytics YOLO26 supporta questa modalità direttamente: impostando la chiave channels in un file YAML del dataset, puoi addestrare un rilevatore su immagini con più di tre canali, ad esempio RGB più bande termiche o di profondità salvate in un unico TIFF multicanale, come dimostra il dataset a 10 canali COCO8-Multispectral.
• Fusione intermedia: ogni modalità viene codificata separatamente e le caratteristiche si incontrano a metà percorso, di solito tramite attenzione. Flamingo di DeepMind inserisce layer di cross-attention in un modello linguistico congelato, così che i token di testo possano prestare attenzione alle caratteristiche delle immagini; molti modelli visione-linguaggio (VLM) proiettano le caratteristiche delle immagini in «token visivi», che un modello linguistico di grandi dimensioni (LLM) legge insieme al prompt.
• Fusione tardiva: modelli separati producono previsioni che vengono combinate alla fine. Questa soluzione è robusta quando un sensore si guasta, ma non può apprendere le interazioni tra le modalità.
• Embedding congiunto: gli encoder mappano ogni modalità in un unico spazio vettoriale condiviso, addestrato con l'apprendimento contrastivo affinché le coppie corrispondenti risultino vicine. CLIP allinea immagini e testo, mentre ImageBind di Meta estende un singolo spazio di embedding a sei modalità — immagini, testo, audio, profondità, dati termici e dati dei sensori di movimento — usando solo dati abbinati a immagini.

La scelta dell'architettura dipende soprattutto dai dati e dall'attività:

ViLT, il Vision-and-Language Transformer, è un esempio compatto di fusione precoce: suddivide un'immagine in patch, le incorpora insieme alle parole di una domanda e applica un unico transformer alla sequenza combinata. L'esempio seguente usa il checkpoint ViLT ottimizzato per la risposta a domande visive (VQA) tramite Hugging Face Transformers:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

Il modello risponde correttamente a bus e blue and white partendo dalla stessa immagine e risponde 3 alla domanda sul conteggio, sebbene nella foto compaiano quattro persone, due delle quali tagliate dai bordi; il conteggio resta un punto debole comune dei modelli visione-linguaggio.

Tipi di modelli multimodali#

• Modelli visione-linguaggio: Leggono immagini e testo per generare didascalie, rispondere a domande, leggere documenti o localizzare oggetti nominati in un prompt: un'attività chiamata grounding. I risultati dei benchmark VLM confrontano la precisione con cui tali modelli localizzano gli oggetti nei dataset di rilevamento del mondo reale.
• Assistenti nativamente multimodali: GPT-4o di OpenAI, rilasciato nel 2024, è stato addestrato end-to-end come un'unica rete per testo, visione e audio; Google ha progettato i modelli Gemini come multimodali fin dall'inizio, così un unico modello può accettare nello stesso prompt una combinazione di testo, immagini, audio e video.
• Modelli audio-linguistici: combinano parlato o suoni con il testo per la trascrizione, la traduzione e la conversazione vocale.
• Modelli visione-linguaggio-azione: estendono un VLM per produrre comandi ai motori di un robot, che può così seguire istruzioni come «metti la mela nella ciotola».
• Percezione con fusione dei sensori: i veicoli autonomi combinano gli input di telecamere, lidar e radar in un unico modello che rileva e traccia gli oggetti in 3D.

Modelli multimodali e termini correlati#

• IA multimodale: il campo più ampio dell'IA che lavora con diversi tipi di dati, compresi i sistemi che concatenano modelli unimodali. Un modello multimodale è un singolo modello appartenente a questo campo.
• Apprendimento multimodale: i metodi di training, come l'allineamento contrastivo e il pretraining cross-modale, che producono modelli multimodali.
• Fusione dei sensori: combinazione delle letture di più sensori, spesso con stimatori classici come i filtri di Kalman anziché con un modello appreso.
• Modello di base: un modello di grandi dimensioni preaddestrato per molti task a valle. Molti modelli di base recenti sono multimodali, mentre altri, come gli LLM solo testuali, gestiscono una sola modalità.

Sfide#

I modelli multimodali richiedono grandi quantità di dati abbinati, come immagini con didascalie o audio trascritto, e devono gestire modalità mancanti o rumorose durante l'inferenza, per esempio una telecamera accecata dai riflessi. Gli input di immagini e video sono costosi, perché ogni immagine aggiunge centinaia o migliaia di token al contesto di un LLM. I modelli possono anche fare affidamento sulla modalità più semplice e ignorare quella più difficile: i primi modelli VQA spesso rispondevano basandosi solo sugli schemi delle domande; per questo, il benchmark VQA v2 abbinava ogni domanda a due immagini simili che richiedevano risposte diverse, raddoppiando all'incirca le coppie immagine-domanda del dataset.