Multimodal AI

L’IA multimodale si riferisce a sistemi di intelligenza artificiale (AI) che acquisiscono, combinano o producono più di un tipo di dati, o modalità: testo, immagini, video, audio e misurazioni di sensori come lidar e radar. Un assistente multimodale può esaminare la foto di una spia sul cruscotto, leggere una domanda digitata al riguardo e rispondere con testo o voce; un’auto a guida autonoma combina invece i dati di telecamere, lidar e radar in un’unica rappresentazione della strada. Il termine indica questi sistemi e prodotti, realizzati con l’apprendimento multimodale, ovvero i metodi di addestramento, come l’allineamento contrastivo e la fusione, che insegnano a un modello come si relazionano le diverse modalità.

Come si costruiscono i sistemi multimodali#

Ogni modalità passa prima attraverso un encoder adatto, come un vision transformer (ViT) per le immagini o un encoder di spettrogrammi per l’audio, che trasforma l’input grezzo in embedding. Una fase di fusione li combina, poi un decoder o una testa specifica del compito genera l’output. La maggior parte degli assistenti attuali convoglia tutto attraverso un modello linguistico di grandi dimensioni (LLM): LLaVA (2023) ha collegato un encoder di immagini CLIP al modello linguistico Vicuna tramite una proiezione appresa che trasforma le caratteristiche dell’immagine in vettori simili a token, mentre Flamingo di DeepMind (2022) ha inserito nuovi livelli di attenzione incrociata in un modello linguistico congelato, così che i token testuali potessero prestare attenzione alle caratteristiche delle immagini.

I modelli nativamente multimodali vengono addestrati fin dall’inizio su dati misti, invece di aggiungere encoder a un modello linguistico già pronto. Google ha presentato Gemini come nativamente multimodale nel dicembre 2023, mentre GPT-4o di OpenAI (maggio 2024) accetta qualsiasi combinazione di testo, audio, immagini e video e risponde agli input vocali in media in 320 millisecondi.

I primi modelli a flusso singolo, come ViLT (2021), inserivano patch di immagini e token delle domande in un unico transformer e selezionavano ogni risposta da un vocabolario fisso di 3.129 risposte. ViLT è abbastanza piccolo da rispondere alle domande su un’immagine usando una CPU:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

ViLT risponde correttamente «blu e bianco» e «no» e conta 3 persone, anche se quattro sono almeno parzialmente visibili: due uomini che camminano, inquadrati per intero, e due persone tagliate ai bordi sinistro e destro. Contare oggetti piccoli o parzialmente visibili è un errore comune dei modelli visione-linguaggio.

Applicazioni#

• Risposta a domande visive (VQA): Nel 2023 Be My Eyes ha introdotto Be My AI, che usa GPT-4 di OpenAI per descrivere foto e rispondere alle domande di approfondimento degli utenti ciechi e ipovedenti.
• Veicoli autonomi: I robotaxi, come quelli di Waymo, combinano telecamere, lidar e radar, ognuno dei quali copre condizioni in cui gli altri sono meno efficaci, come abbagliamento, buio o nebbia.
• Assistenza sanitaria: I modelli clinici leggono le scansioni insieme alle note e all’anamnesi del paziente, il contesto che un radiologo considera quando esamina un’immagine.
• Generazione da testo a immagine: i modelli come Stable Diffusion trasformano una descrizione scritta in un’immagine, mentre i modelli da testo a video estendono questa capacità al movimento.
• RAG multimodale: Recupera immagini, tabelle e passaggi di testo da cui un LLM può ricavare una risposta.

Anche l'etichettatura dei dataset è diventata un'attività multimodale. In un dataset di rilevamento, l'annotazione intelligente basata sulle classi di Ultralytics Platform invia i nomi delle classi del dataset come testo a modelli ospitati, come Florence-2 di Microsoft, Grounding DINO di IDEA Research e SAM 3.1 di Meta, che restituiscono riquadri modificabili per addestrare un rilevatore YOLO26. La classifica VLM confronta la precisione con cui questi modelli e i VLM generativi etichettano dataset di rilevamento del mondo reale.

IA multimodale e termini correlati#

• Apprendimento multimodale: I metodi per addestrare su più modalità, come l’allineamento contrastivo e la fusione con attenzione anticipata, tardiva o incrociata. L’IA multimodale è l’insieme dei sistemi e delle applicazioni che ne risulta.
• Modello multimodale: Un singolo modello addestrato per gestire più modalità, componente fondamentale della maggior parte dei sistemi di IA multimodale.
• Modello visione-linguaggio (VLM): Il tipo più comune di modello multimodale, limitato a immagini o video e testo.
• Fusione dei sensori: Combina le misurazioni della stessa scena provenienti da più sensori, spesso con un filtro di Kalman; è una pratica usata in robotica e nei veicoli ben prima dell’avvento dei modelli multimodali appresi.