Text-to-Image

La generazione da testo a immagine consiste nel creare una nuova immagine a partire da una descrizione in linguaggio naturale, chiamata prompt. Un modello da testo a immagine apprende la relazione tra le parole e il contenuto visivo da centinaia di milioni o miliardi di coppie immagine-didascalia, poi trasforma un prompt come "una bicicletta rossa appoggiata a un muro di mattoni al tramonto" in un'immagine mai esistita prima. È un'applicazione fondamentale dell'IA generativa, che unisce l'elaborazione del linguaggio naturale (NLP) e la visione artificiale. La maggior parte dei sistemi attuali, tra cui Stable Diffusion, FLUX e Imagen di Google, usa modelli di diffusione o di flusso, mentre altri, come il generatore di immagini integrato da OpenAI in GPT-4o nel 2025, producono immagini autoregressivamente come sequenze di token.

Come funzionano i modelli di generazione da testo a immagine#

Un encoder di testo converte prima il prompt in embedding. Le prime versioni di Stable Diffusion usavano l'encoder di testo CLIP di OpenAI, mentre Imagen di Google ha dimostrato che ingrandire l'encoder linguistico congelato, fino al modello T5-XXL, migliorava sia la qualità dell'immagine sia l'allineamento tra immagine e testo molto più che ingrandire il generatore di immagini. Il generatore parte poi dal rumore casuale e lo rimuove in 20-50 passaggi, di solito nello spazio compresso di un modello di diffusione latente, con livelli di cross-attention o attenzione congiunta che permettono a ogni parte dell'immagine di prestare attenzione al prompt. La guida senza classificatore confronta la predizione del modello con e senza prompt e amplifica la differenza; un valore di guida più alto segue più da vicino il prompt, a scapito della varietà. Infine, un decoder converte il latente finito in pixel.

I dati di addestramento determinano ciò che un modello può disegnare. Stable Diffusion è stato addestrato su sottoinsiemi di LAION-5B, 5,85 miliardi di coppie immagine-testo raccolte dal web, mentre DALL-E 3 di OpenAI ha migliorato la capacità di seguire i prompt addestrandosi su didascalie sintetiche dettagliate invece che sui brevi testi alt che accompagnano la maggior parte delle immagini sul web. I dati su scala web presentano anche problemi: LAION ha ritirato LAION-5B nel dicembre 2023 dopo che un rapporto dello Stanford Internet Observatory vi aveva rilevato collegamenti a materiale pedopornografico e nell'agosto 2024 ha pubblicato la versione ripulita Re-LAION-5B.

Famiglie di modelli#

• Modelli di diffusione e di flusso: rimuovono il rumore da un'immagine o da un latente in molti passaggi. Questa famiglia include DALL-E 2 e 3, Imagen, Stable Diffusion e FLUX; i modelli più recenti sostituiscono il denoiser U-Net con un Transformer a diffusione addestrato con flusso rettificato.
• Modelli autoregressivi: convertono le immagini in token discreti e li predicono uno alla volta con un Transformer, come nell'approccio del DALL-E originale del 2021 e di Parti di Google. OpenAI descrive la generazione di immagini di GPT-4o, lanciata nel marzo 2025, come un modello autoregressivo integrato nativamente in ChatGPT, a differenza di DALL-E, basato sulla diffusione.
• Reti generative avversarie: generano un'immagine in un solo passaggio in avanti. Le GAN condizionate dal testo, come AttnGAN, hanno preceduto i modelli di diffusione: sono più rapide nel campionamento, ma seguono i prompt complessi in modo meno affidabile.

Valutazione delle immagini generate#

La distanza di Fréchet Inception (FID) confronta le statistiche delle immagini generate e reali per misurarne la qualità e la diversità, mentre il punteggio CLIP misura quanto un'immagine corrisponde al proprio prompt in uno spazio di embedding condiviso. Nessuna delle due metriche verifica aspetti specifici, come il numero o la posizione degli oggetti; per questo GenEval esegue un modello di rilevamento degli oggetti sulle immagini generate per verificare la co-occorrenza, la posizione e il numero di oggetti, e usa altri modelli di visione per controllare i colori. Le classifiche pubbliche ordinano i modelli commerciali e aperti sulla base di molte migliaia di voti umani a coppie, che considerano insieme l'estetica e l'aderenza al prompt.

Generazione da testo a immagine e termini correlati#

• Didascalie di immagini: il processo inverso, che genera una descrizione testuale di un'immagine esistente.
• Da testo a video: genera una sequenza di fotogrammi che deve rimanere coerente nel tempo, moltiplicando il calcolo e i dati necessari a un modello da testo a immagine.
• Riempimento di immagini e da immagine a immagine: partono da un'immagine esistente e ne modificano una parte o la totalità in base a un prompt, usando gli stessi modelli con un'immagine in input aggiuntiva.
• Modelli visione-linguaggio: Leggono immagini e testo e rispondono in testo. I modelli nativamente multimodali, come GPT-4o e Gemini, hanno aggiunto la generazione di immagini alla comprensione delle immagini.

Applicazioni e rischi#

Designer, studi di videogiochi e team di marketing usano i modelli da testo a immagine per esplorare concetti e produrre immagini di prodotti; i team di visione li usano per creare dati sintetici relativi a classi, difetti e condizioni rare, difficili da fotografare. Su Ultralytics Platform, l'azione Genera immagini simili descrive nuove scene ispirate a un'immagine del dataset e genera un'immagine per ogni descrizione, con istruzioni opzionali per illuminazione, punto di vista, sfondo o oggetti; le immagini conservate dall'utente vengono aggiunte al dataset senza etichette, pronte per l'annotazione. Le immagini sintetiche sono utili solo se corrispondono alle lacune del modello:

Lo stesso realismo comporta dei rischi. I modelli riproducono i bias dei loro dati di addestramento e possono generare deepfake convincenti. I fornitori reagiscono con la filigrana per l'IA, come SynthID di Google, e con le Credenziali dei contenuti C2PA, metadati firmati che registrano quale strumento ha creato o modificato un'immagine.