Generative AI

L'IA generativa è il ramo dell'intelligenza artificiale (AI) i cui modelli apprendono la distribuzione di probabilità dei dati di addestramento e ne campionano nuovi: testo, immagini, audio, video, codice, scene 3D o strutture molecolari. Un modello discriminativo apprende p(etichetta | input), la probabilità di un'etichetta dato un input, mentre un modello generativo apprende p(input) oppure p(input | prompt), quindi può produrre input mai esistiti. Il termine è entrato nell'uso quotidiano dopo il rilascio di ChatGPT da parte di OpenAI, il 30 novembre 2022, ma i metodi sono più datati: Diederik Kingma e Max Welling hanno introdotto l'autoencoder variazionale nel 2013, mentre Ian Goodfellow e i suoi colleghi hanno introdotto le reti generative avversarie nel 2014.

Come funzionano i modelli generativi#

Quattro famiglie di modelli di deep learning producono oggi la maggior parte dell'IA generativa, e ogni modello linguistico di grandi dimensioni (LLM) della famiglia GPT appartiene alla prima:

• Transformer autoregressivi: generano una sequenza un token alla volta, ciascuno condizionato da tutto ciò che è stato scritto fino a quel momento, per testo, codice, parlato e immagini tokenizzate.
• Modelli di diffusione: aggiungono rumore ai campioni di addestramento e imparano a rimuoverlo gradualmente, così la generazione parte dal rumore puro e lo denoisa fino a ottenere un campione. Stable Diffusion, rilasciato nell'agosto 2022, esegue questo processo in uno spazio latente compresso.
• Reti generative avversarie (GAN): addestrano un generatore contro un discriminatore che cerca di distinguere i campioni reali da quelli generati, spingendo il generatore a produrre risultati realistici in un unico passaggio in avanti.
• Autoencoder variazionali (VAE): codificano i dati in uno spazio latente con una distribuzione nota e decodificano i campioni estratti da essa. I modelli di diffusione latente usano un VAE per comprimere le immagini prima di denoisarle.

L'idea di fondo si spiega in poche righe. Un modello a mistura gaussiana apprende la distribuzione dei 150 fiori del dataset Iris e ne campiona di nuovi, mentre un classificatore discriminativo addestrato sugli stessi dati li etichetta:

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.mixture import GaussianMixture

iris = load_iris()  # 150 fiori: lunghezza e larghezza dei sepali e dei petali in cm

# Modello discriminativo: apprende p(specie | misurazioni), quindi può solo classificare i fiori
classifier = LogisticRegression(max_iter=1000).fit(iris.data, iris.target)

# Modello generativo: apprende p(misurazioni) stesso, quindi può campionare nuovi fiori
generator = GaussianMixture(n_components=3, random_state=0).fit(iris.data)
new_flowers, _ = generator.sample(3)

# Il modello discriminativo classifica i campioni generati
for flower, species in zip(new_flowers.round(1), classifier.predict(new_flowers)):
    print(flower, iris.target_names[species])

I tre fiori campionati, per esempio uno con sepali di 4,7 cm e petali di 1,4 cm, non erano mai stati misurati, eppure il classificatore li assegna rispettivamente a versicolor, setosa e virginica, perché i tre cluster della mistura corrispondono alle tre specie. Un generatore di testo o immagini sostituisce le tre gaussiane con una rete neurale con miliardi di parametri e le misurazioni con token o pixel.

Modelli generativi e discriminativi insieme#

La classificazione delle immagini e il rilevamento degli oggetti sono attività discriminative: YOLO26 converte un'immagine in riquadri e classi e non può disegnare un'immagine. Spesso i due tipi di modello operano in sequenza. L'annotazione intelligente basata sulle classi di Ultralytics Platform usa modelli visione-linguaggio (VLM) generativi, con Moondream 3.1 come impostazione predefinita, per disegnare riquadri per i nomi delle classi di un dataset; i riquadri revisionati diventano poi etichette per addestrare un rilevatore YOLO26.

I generatori creano anche dati sintetici per eventi rari che sono costosi o pericolosi da fotografare, come difetti insoliti o pericoli stradali, e le pipeline di generazione di dati sintetici mescolano queste immagini con quelle reali per l'addestramento. È comune anche il percorso inverso: i rilevatori e i classificatori valutano la qualità delle immagini generate o segnalano contenuti non sicuri.

Applicazioni#

• Generazione di testo: gli assistenti conversazionali, la sintesi e la traduzione si basano sugli LLM, mentre gli assistenti alla programmazione scrivono e testano software a partire da una descrizione.
• Da testo a immagine: modelli come Stable Diffusion creano immagini a partire dai prompt e gli stessi modelli riempiono o sostituiscono le regioni mascherate di una foto.
• Da testo a video: modelli come Sora di OpenAI, presentato in anteprima nel febbraio 2024, generano videoclip a partire da una descrizione.
• Struttura molecolare: AlphaFold 3 di Google DeepMind e Isomorphic Labs, pubblicato nel maggio 2024, prevede le strutture dei complessi proteici con un modulo basato sulla diffusione che genera le coordinate degli atomi.

Rischi e limiti#

I generatori linguistici allucinano affermazioni scorrevoli ma false, i generatori di immagini e voce consentono di creare deepfake e l’addestramento sui dati del web solleva questioni di copyright e consenso. La filigranatura dei contenuti generati dall’IA e le credenziali dei contenuti C2PA contrassegnano i contenuti multimediali generati, così da poterli identificare in seguito. I contenuti generati confluiscono anche nei dati di addestramento: Ilia Shumailov e i suoi colleghi hanno mostrato in La maledizione della ricorsione, pubblicato su Nature nel 2024, che i modelli addestrati ricorsivamente sui propri output perdono le code rare della distribuzione originale, un fenomeno che hanno definito collasso del modello.