Latent Space
Uno spazio latente è lo spazio compresso delle caratteristiche apprese in cui una rete neurale colloca input simili vicini tra loro; viene usato per la ricerca e la generazione.
Uno spazio latente è lo spazio delle rappresentazioni interne apprese da un modello di apprendimento automatico, in cui ogni input diventa un punto, in genere con molte meno dimensioni rispetto ai dati grezzi, e gli input dal significato simile si trovano vicini. «Latente» significa nascosto: le coordinate non sono misurate nei dati, ma dedotte dal modello durante l'addestramento. Una foto a colori di 640 x 640 contiene 1.228.800 valori di pixel; un modello per immagini può riassumerla in un vettore di poche centinaia di numeri e, in uno spazio ben addestrato, i vicini più prossimi di una foto di un'auto sono altre auto, mentre le direzioni nello spazio corrispondono a proprietà come posa, colore o stile.
Gli spazi latenti funzionano perché i dati naturali sono altamente ridondanti. La maggior parte delle possibili matrici di pixel sembra rumore, mentre le immagini reali occupano una regione sottile e curva dello spazio dei pixel, un concetto noto come ipotesi della varietà. Una rete neurale che apprende coordinate lungo quella regione può descrivere ogni immagine con pochi numeri.
Spazio latente, embedding e mappe delle caratteristiche#
Un embedding è un singolo punto in uno spazio latente, il vettore di un'immagine, una parola o un utente; lo spazio latente è l'insieme di tutti questi punti e delle distanze tra loro. «Spazio degli embedding» è un sinonimo. Le mappe delle caratteristiche all'interno di una rete convoluzionale sono rappresentazioni spaziali latenti, con un vettore in ogni posizione, che spesso il modello aggrega in un embedding per immagine. Anche i metodi di riduzione della dimensionalità producono spazi latenti: l'analisi delle componenti principali (PCA) ne individua uno lineare, mentre t-SNE viene usato soprattutto per proiettare uno spazio latente appreso in due dimensioni e visualizzarlo.
Come apprendono uno spazio latente i modelli#
Un autoencoder apprende direttamente uno spazio latente. Il codificatore comprime ogni input in un vettore breve, il decodificatore ricostruisce l'input a partire da quel vettore e la minimizzazione dell'errore di ricostruzione costringe il collo di bottiglia a conservare ciò che distingue un input dall'altro. Non vengono usate etichette, eppure lo spazio risultante raggruppa input simili, cosa che un classificatore dei k vicini più prossimi (KNN) può misurare:
import torch
from sklearn.datasets import load_digits
from sklearn.neighbors import KNeighborsClassifier
from torch import nn
torch.manual_seed(0)
images, labels = load_digits(return_X_y=True) # 1,797 handwritten digits, 8 x 8 = 64 pixels each
x = torch.tensor(images / 16, dtype=torch.float32)
# An autoencoder squeezes 64 pixels through an 8-number bottleneck: the latent space
encoder = nn.Sequential(nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 8))
decoder = nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 64))
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=0.01)
for _ in range(1000):
loss = (decoder(encoder(x)) - x).square().mean() # reconstruction error, no labels used
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Classify held-out digits by their nearest neighbors in each space
codes = encoder(x).detach().numpy()
for name, features in (("64 pixels", images), ("8 latent values", codes)):
knn = KNeighborsClassifier().fit(features[:1400], labels[:1400])
print(f"{name}: {knn.score(features[1400:], labels[1400:]):.2f} accuracy")Stampa 64 pixels: 0.97 accuracy e 8 latent values: 0.93 accuracy. Gli otto numeri appresi per immagine conservano informazioni sufficienti sull'identità della cifra affinché la classificazione dei vicini più prossimi si avvicini ai risultati ottenuti con tutti i 64 pixel, anche se l'autoencoder non ha mai visto un'etichetta.
Gli autoencoder variazionali, introdotti da Diederik Kingma e Max Welling nel 2013, codificano ogni input come una distribuzione anziché come un punto; ciò rende lo spazio abbastanza uniforme da permettere il campionamento di nuovi dati e l'interpolazione tra esempi. L'apprendimento contrastivo modella uno spazio avvicinando le coppie corrispondenti e allontanando le altre; CLIP si addestra su coppie immagine-didascalia affinché immagini e testo condividano uno spazio latente. Le reti supervisionate apprendono uno spazio latente come effetto collaterale della propria attività. model.embed() in Ultralytics YOLO26 esegue la modalità di previsione e restituisce un vettore per immagine, facendo la media della mappa delle caratteristiche del livello precedente alla testa di rilevamento su tutte le posizioni spaziali: una rappresentazione adatta al clustering e alla ricerca di similarità.
Cosa permettono di fare gli spazi latenti#
La generazione costa meno in uno spazio compatto. I modelli di diffusione latente eseguono il processo di denoising dei modelli di diffusione sui valori latenti anziché sui pixel. Stable Diffusion, basato sul paper sulla diffusione latente, usa un autoencoder per comprimere un'immagine RGB di 512 x 512 in un valore latente di 64 x 64 x 4, con 48 volte meno valori, rendendo accessibile la generazione ad alta risoluzione. Le reti generative avversarie (GAN) mappano vettori latenti casuali in immagini; spostarsi tra due punti latenti trasforma quindi un volto generato in un altro.
La ricerca e il riconoscimento si basano sulla misurazione delle distanze. I sistemi di ricerca semantica calcolano una volta gli embedding di documenti o immagini, memorizzano i vettori in un database vettoriale e restituiscono gli elementi con la maggiore similarità coseno rispetto all'embedding di una query. In uno spazio condiviso tra immagini e testo, come quello di CLIP, l'apprendimento zero-shot classifica un'immagine usando il nome della classe il cui embedding testuale è più vicino, senza immagini di addestramento per quella classe. Per il rilevamento delle anomalie, un autoencoder addestrato solo su componenti normali ricostruisce male quelli difettosi; gli input i cui embedding sono lontani dal gruppo normale vengono segnalati per l'ispezione.
Le direzioni in uno spazio ben organizzato codificano attributi. Negli embedding word2vec pubblicati da Tomas Mikolov e colleghi nel 2013, un riferimento fondamentale nell'elaborazione del linguaggio naturale (NLP), il vettore di «re» meno «uomo» più «donna» si trova più vicino a «regina».










