Licenza YOLO
Torna al glossario di Ultralytics

World Model

Un modello del mondo è un sistema di IA che apprende come evolve il proprio ambiente e come le azioni lo modificano, così che gli agenti possano immaginare gli esiti e pianificare prima di agire.

Un modello del mondo è un modello appreso di come un ambiente cambia nel tempo e in risposta alle azioni. A partire dallo stato attuale o da una sequenza di osservazioni, insieme a un'azione, predice ciò che accadrà: l'osservazione successiva, uno stato interno compatto, una ricompensa o una sequenza di passaggi futuri. Un agente dotato di un modello del mondo può immaginare i risultati delle azioni prima di eseguirle, pianificare confrontando i futuri immaginati e apprendere da esperienze simulate anziché solo da tentativi ed errori reali. L'idea deriva dal controllo basato su modello e dall'apprendimento per rinforzo; l'articolo World Models del 2018 di David Ha e Jürgen Schmidhuber ha reso popolare il termine per indicare le reti neurali che apprendono dai pixel un simulatore compresso di un gioco e addestrano una policy al suo interno, in una sorta di «sogno». Oggi il termine comprende i modelli interni di dinamica di agenti come Dreamer e MuZero, i generatori video interattivi come Genie 3 di Google DeepMind e i modelli fondazionali del mondo che generano video per addestrare l'IA fisica.

Come funzionano i modelli del mondo#

Un modello del mondo comprende in genere tre parti. Un encoder comprime ogni osservazione ad alta dimensionalità, come un fotogramma della telecamera, in un piccolo stato latente. Un modello dinamico predice lo stato latente successivo a partire da quello attuale e da un'azione, spesso insieme alla ricompensa e all'indicazione se l'episodio è terminato. Un decoder opzionale riconverte gli stati latenti in immagini, per l'addestramento o per mostrare ciò che il modello immagina. Ha e Schmidhuber hanno costruito queste parti usando un autoencoder variazionale, una rete ricorrente che predice il latente successivo e un piccolo controllore lineare addestrato sui latenti.

Un agente usa il modello in due modi. Per la pianificazione, fa scorrere nel modello sequenze di azioni candidate, valuta i risultati immaginati ed esegue la sequenza migliore, come nel controllo predittivo basato su modello o nella ricerca ad albero di MuZero. Questo codice PyTorch apprende un modello del mondo di un carrello semplice a partire da transizioni casuali e pianifica mentalmente una sequenza di spinte di 20 passaggi:

import torch
from torch import nn

torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])

# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
    loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
    imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
    real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin()  # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")

Stampa chosen plan: imagined final position 3.00, real final position 2.93. L'agente ha scelto il proprio piano senza toccare il carrello reale e lo scarto di 0,07 è l'errore del modello accumulato in 20 passaggi immaginati. Gli errori piccoli si sommano nelle simulazioni lunghe; per questo i pianificatori pratici ricalcolano il piano dopo ogni passaggio e mantengono brevi gli orizzonti immaginati.

Nell'apprendimento per immaginazione, l'agente addestra la propria policy sulle simulazioni generate all'interno del modello. DreamerV3, pubblicato su Nature nel 2025, alterna la raccolta di esperienze reali, il miglioramento del modello del mondo e l'addestramento di un attore e di un critico esclusivamente su traiettorie immaginate:

Con un unico insieme di iperparametri, DreamerV3 ha superato metodi specializzati in oltre 150 attività ed è diventato il primo algoritmo a raccogliere diamanti in Minecraft partendo da zero, senza dati umani né programmi didattici progressivi.

Tipi di modelli del mondo#

  • Modelli di dinamica degli agenti: Dreamer predice gli stati latenti futuri, le ricompense e le terminazioni degli episodi. MuZero predice solo ciò che serve alla pianificazione: ricompensa, policy e valore; con la ricerca ad albero Monte Carlo ha eguagliato AlphaZero a Go, scacchi e shogi senza che gli venissero fornite le regole.
  • Modelli video interattivi: Genie, un modello da 11 miliardi di parametri addestrato su video senza etichette di giochi platform 2D provenienti da Internet, ha appreso le proprie azioni latenti e trasforma una singola immagine, foto o schizzo in un mondo di gioco controllabile. Genie 3 genera mondi che gli utenti possono esplorare in tempo reale a 24 fotogrammi al secondo e a 720p, mantenendo la coerenza per alcuni minuti.
  • Modelli fondazionali del mondo: Cosmos di NVIDIA offre modelli con pesi aperti che predicono video futuri a partire da testo, immagini o fotogrammi precedenti, progettati per essere sottoposti a post-addestramento su robot e veicoli specifici.
  • Modelli di embedding predittivo: un'architettura predittiva a embedding congiunti (JEPA) predice la rappresentazione di contenuti futuri o mancanti invece dei relativi pixel, così il modello non spreca capacità su dettagli imprevedibili come l'esatto movimento delle foglie.

I modelli del mondo incentrati sugli oggetti rappresentano una scena come un insieme di oggetti e predicono il movimento di ciascuno. Ultralytics YOLO26 in modalità tracking trasforma il video in questo tipo di stato: riquadri per ogni oggetto, collegati tra i fotogrammi tramite ID persistenti.

  • Generazione video: Un generatore video produce una clip plausibile a partire da un prompt. Un modello del mondo prevede le conseguenze delle azioni, quindi deve rispondere correttamente quando l'azione cambia. OpenAI ha descritto i generatori video come potenziali simulatori del mondo, e modelli come Genie 3, che accettano i controlli dell'utente fotogramma per fotogramma, si collocano a metà strada tra i due.
  • Apprendimento per rinforzo senza modello: Gli agenti senza modello apprendono direttamente dall'esperienza reale una policy o una funzione di valore, senza prevedere come cambia l'ambiente. Gli agenti basati su modello apprendono un modello del mondo e lo riutilizzano per pianificare o generare esperienze di addestramento, il che di solito richiede molte meno interazioni reali.
  • Simulatori e gemelli digitali: Gli ingegneri costruiscono motori fisici e gemelli digitali a partire da equazioni, modelli CAD e parametri misurati. Un modello del mondo viene appreso dai dati, quindi può acquisire effetti difficili da esprimere con equazioni, come il modo in cui si piega un tessuto o reagiscono i pedoni al traffico.
  • Modelli linguistici di grandi dimensioni: Un modello linguistico predice il token di testo successivo. Un modello del mondo predice lo stato successivo di un ambiente, di solito a partire da video, dati dei sensori e azioni.

Applicazioni nel mondo reale#

  • Guida autonoma: GAIA-1 di Wayve genera video di guida condizionati da video precedenti, testo e azioni del veicolo ego. Il modello del mondo di Waymo, basato su Genie 3 e annunciato a febbraio 2026, genera sia dati delle telecamere sia dati lidar per simulare situazioni mai registrate dalla flotta, come un tornado o un elefante sulla strada.
  • Giochi e media interattivi: I modelli video interattivi trasformano un prompt testuale o un'immagine in un mondo esplorabile che risponde agli input della tastiera.
  • Robotica: V-JEPA 2 di Meta è stato sottoposto a preaddestramento su oltre 1 milione di ore di video disponibili su Internet. La sua versione condizionata dalle azioni, V-JEPA 2-AC, è stata sottoposta a post-addestramento su meno di 62 ore di video di robot non etichettati e ha poi afferrato e posizionato oggetti con bracci Franka in due nuovi laboratori, pianificando verso immagini obiettivo senza raccogliere dati da quei robot o ambienti.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning