Large Concept Models (LCMs)

Un modello di grandi concetti (LCM) è un modello linguistico che predice il successivo embedding a livello di frase, detto concetto, invece del successivo token. Meta FAIR ha introdotto l'architettura nel dicembre 2024 in Large Concept Models: Language Modeling in a Sentence Representation Space, trattando ogni frase come un concetto e modellando un documento come una sequenza di vettori frase. Questi vettori provengono da SONAR, uno spazio di embedding fisso che supporta input e output testuali in 200 lingue e input vocale in 76 lingue; il modello al centro ragiona quindi sul significato senza essere vincolato alla formulazione di una singola lingua.

Come funzionano i modelli di grandi concetti#

Un modello linguistico di grandi dimensioni (LLM) convenzionale esegue la tokenizzazione e predice una sottoparola alla volta. Un LCM suddivide l'input in frasi, codifica ciascuna con l'encoder SONAR congelato in un vettore di 1.024 numeri e passa la sequenza a un transformer che predice il vettore della frase successiva. La generazione di testo ripete il passaggio finché il modello non segnala la fine del documento; il decoder SONAR congelato trasforma quindi ogni vettore predetto in una frase in una qualsiasi delle lingue supportate:

Il nucleo è un normale transformer causale i cui elementi di sequenza sono vettori frase. La variante più semplice, Base-LCM, lo addestra a regredire ciascun vettore successivo usando una perdita di errore quadratico medio, come in questo esempio di un passaggio di addestramento in PyTorch:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Stampa Next-concept predictions: (1, 5, 1024): cinque predizioni, ciascuna un vettore frase completo di 1.024 numeri, mentre un modello a livello di token produrrebbe cinque distribuzioni di probabilità sul proprio vocabolario. I dati di addestramento di Meta avevano in media circa 19 token per frase, quindi un LCM elabora sequenze circa 19 volte più corte di un LLM per lo stesso testo.

I vettori a livello di frase di questo tipo sono usati anche nel rilevamento a vocabolario aperto. Ultralytics YOLOE codifica ogni prompt di classe passato a set_classes(), per esempio «autobus a due piani», in un singolo embedding testuale MobileCLIP e confronta le regioni dell'immagine con quei vettori: un solo embedding rappresenta così l'intera frase.

Varianti Base, Diffusion e quantizzate#

Una perdita di regressione avvicina ogni predizione alla media di tutte le frasi successive plausibili, che può decodificarsi in un testo banale o sfocato. Per questo Meta ha realizzato anche LCM a diffusione, che avviano il vettore successivo dal rumore e lo denoising passo dopo passo, condizionandolo sulle frasi precedenti e applicando i modelli di diffusione agli embedding. La versione One-Tower usa un singolo transformer per il contesto e il denoising, mentre la versione Two-Tower li separa. Quant-LCM discretizza invece lo spazio SONAR con la quantizzazione vettoriale residua e predice i codici risultanti, in modo simile a un LLM che predice i token.

Meta ha eseguito i confronti con modelli da 1,6 miliardi di parametri addestrati su circa 1,3 trilioni di token, poi ha portato l'LCM a diffusione Two-Tower a 7 miliardi di parametri, addestrandolo su 142,4 miliardi di frasi, ovvero 2,7 trilioni di token, e ha pubblicato il codice di addestramento. Nella sintesi testuale zero-shot sul dataset XLSum in 42 lingue, l'LCM 7B ha ottenuto un punteggio Rouge-L di 23,5 in inglese, contro 20,7 per Llama-3.1-8B-Instruct.

Limiti#

Comprimere una frase in 1.024 numeri può rendere meno precisi nomi, numeri e codice, e il decoder congelato può riprodurre solo ciò che l'embedding conserva. Trattare una frase come un singolo concetto è una scelta pratica, poiché una frase può contenere varie idee e un'idea può estendersi su più frasi. Inoltre, lo spazio SONAR fisso impedisce all'LCM di rappresentare qualsiasi cosa che l'encoder SONAR non abbia mai imparato a codificare; per questo motivo, tre delle 45 lingue di XLSum sono state escluse dalla valutazione.

LCM e termini correlati#

• Modelli linguistici di grandi dimensioni: predicono una distribuzione sui token. Un LCM esegue la modellazione linguistica in uno spazio di embedding di frasi e si affida a un encoder e a un decoder distinti per il testo.
• Architettura predittiva a embedding congiunto (JEPA): un altro approccio di Meta che predice rappresentazioni invece dei dati grezzi, soprattutto per immagini e video.
• Ragionamento latente: ragionamento svolto negli stati nascosti di un modello senza esprimere ogni passaggio sotto forma di testo.
• Modelli a collo di bottiglia concettuale: classificatori che instradano le predizioni attraverso attributi comprensibili alle persone, come «ha le ali», per l'IA spiegabile (XAI).
• Modelli di consistenza latente: condividono l'abbreviazione LCM, ma sono modelli di diffusione latente per immagini, distillati per generare immagini in pochi passaggi.