Large Concept Models (LCMs)

Ein Large Concept Model (LCM) ist ein Sprachmodell, das das nächste satzbasierte Embedding, ein sogenanntes Konzept, statt des nächsten Tokens vorhersagt. Meta FAIR stellte die Architektur im Dezember 2024 in Large Concept Models: Language Modeling in a Sentence Representation Space vor. Dabei wird jeder Satz als ein Konzept behandelt und ein Dokument als Folge von Satzvektoren modelliert. Diese Vektoren stammen von SONAR, einem festen Einbettungsraum für Sätze, der Texteingaben und -ausgaben in 200 Sprachen sowie Spracheingaben in 76 Sprachen unterstützt. So kann das Modell in der Mitte über die Bedeutung nachdenken, ohne an die Formulierungen einer einzelnen Sprache gebunden zu sein.

So funktionieren Large Concept Models#

Ein herkömmliches großes Sprachmodell (LLM) führt eine Tokenisierung durch und sagt jeweils ein Teilwort voraus. Ein LCM unterteilt die Eingabe in Sätze, kodiert jeden Satz mit dem eingefrorenen SONAR-Encoder in einen Vektor aus 1.024 Zahlen und übergibt die Folge an einen Transformer, der den nächsten Satzvektor vorhersagt. Die Textgenerierung wiederholt diesen Schritt, bis das Modell das Ende des Dokuments signalisiert. Anschließend wandelt der eingefrorene SONAR-Decoder jeden vorhergesagten Vektor in einen Satz in einer beliebigen unterstützten Sprache um:

Im Kern steht ein gewöhnlicher kausaler Transformer, dessen Sequenzelemente Satzvektoren sind. Die einfachste Variante, Base-LCM, wird darauf trainiert, jeden nächsten Vektor mit einem mittleren quadratischen Fehler als Verlustfunktion vorherzusagen, wie diese PyTorch-Skizze eines Trainingsschritts zeigt:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Ausgegeben wird Next-concept predictions: (1, 5, 1024): fünf Vorhersagen, jeweils ein vollständiger Satzvektor mit 1.024 Zahlen. Ein Modell auf Tokenebene würde stattdessen fünf Wahrscheinlichkeitsverteilungen über sein Vokabular ausgeben. Die Trainingsdaten von Meta umfassten durchschnittlich etwa 19 Tokens pro Satz. Daher verarbeitet ein LCM für denselben Text Sequenzen, die ungefähr 19-mal kürzer sind als bei einem LLM.

Vektoren auf Phrasenebene dieser Art ermöglichen auch die Erkennung mit offenem Vokabular. Ultralytics YOLOE kodiert jede an set_classes() übergebene Klassenbeschreibung, etwa „Doppeldeckerbus“, in ein einzelnes MobileCLIP-Text-Embedding und gleicht Bildbereiche mit diesen Vektoren ab. So steht ein Embedding für die gesamte Phrase.

Basisvarianten, Diffusionsvarianten und quantisierte Varianten#

Eine Regressionsverlustfunktion zieht jede Vorhersage zum Durchschnitt aller plausiblen nächsten Sätze hin. Daraus kann ein eintöniger oder verschwommener Text entstehen. Deshalb entwickelte Meta auch LCMs mit Diffusion: Sie beginnen den nächsten Vektor mit Rauschen und entrauschen ihn schrittweise, abhängig von den vorherigen Sätzen. Dabei werden Diffusionsmodelle auf Embeddings angewendet. Die One-Tower-Variante verwendet einen einzelnen Transformer für Kontext und Entrauschung, die Two-Tower-Variante trennt beides. Quant-LCM diskretisiert stattdessen den SONAR-Raum mit residualer Vektorquantisierung und sagt die resultierenden Codes ähnlich wie ein LLM Tokens voraus.

Meta führte Vergleiche mit Modellen mit 1,6 Milliarden Parametern durch, die auf etwa 1,3 Billionen Tokens trainiert wurden. Anschließend skalierte das Unternehmen das Two-Tower-Diffusions-LCM auf 7 Milliarden Parameter und trainierte es mit 142,4 Milliarden Sätzen beziehungsweise 2,7 Billionen Tokens. Der Trainingscode wurde veröffentlicht. Bei der Zero-Shot-Textzusammenfassung mit dem XLSum-Datensatz in 42 Sprachen erzielte das 7B-LCM einen Rouge-L-Wert von 23,5 auf Englisch, verglichen mit 20,7 für Llama-3.1-8B-Instruct.

Einschränkungen#

Wenn ein Satz in 1.024 Zahlen komprimiert wird, können genaue Namen, Zahlen und Code verloren gehen. Der eingefrorene Decoder kann nur das wiedergeben, was im Embedding erhalten bleibt. Einen Satz als ein Konzept zu behandeln, ist eine praktische Entscheidung, denn ein Satz kann mehrere Ideen enthalten und eine Idee kann sich über mehrere Sätze erstrecken. Der feste SONAR-Raum bedeutet außerdem, dass das LCM nichts darstellen kann, was der SONAR-Encoder nicht gelernt hat zu kodieren. Aus diesem Grund wurden drei der 45 XLSum-Sprachen bei der Auswertung ausgelassen.

LCMs und verwandte Begriffe#

• Große Sprachmodelle: Sagen eine Verteilung über Tokens voraus. Ein LCM führt Sprachmodellierung in einem Satzeinbettungsraum durch und nutzt für Text einen separaten Encoder und Decoder.
• Gemeinsame Architektur zur Vorhersage von Embeddings (JEPA): Ein weiterer Ansatz von Meta, der Repräsentationen anstelle von Rohdaten vorhersagt, hauptsächlich für Bilder und Videos.
• Latentes Schlussfolgern: Schlussfolgern in den verborgenen Zuständen eines Modells, ohne jeden Schritt als Text auszugeben.
• Modelle mit Konzeptengpass: Klassifikatoren, die Vorhersagen über Attribute mit menschlich verständlichen Bezeichnungen wie „hat Flügel“ leiten, um erklärbare KI (XAI) zu ermöglichen.
• Latente Konsistenzmodelle: Verwenden dieselbe Abkürzung LCM, sind aber destillierte bildbasierte latente Diffusionsmodelle, die Bilder in wenigen Schritten erzeugen.