Large Concept Models (LCMs)

Un grand modèle conceptuel (LCM) est un modèle de langage qui prédit le prochain plongement au niveau de la phrase, appelé concept, plutôt que le prochain jeton. En décembre 2024, Meta FAIR a présenté cette architecture dans Large Concept Models: Language Modeling in a Sentence Representation Space : chaque phrase y est traitée comme un concept unique et un document comme une séquence de vecteurs de phrases. Ces vecteurs proviennent de SONAR, un espace de plongements fixe qui prend en charge le texte en entrée et en sortie dans 200 langues, ainsi que la parole en entrée dans 76 langues. Le modèle intermédiaire raisonne ainsi sur le sens sans dépendre de la formulation propre à une langue.

Fonctionnement des grands modèles de concepts#

Un grand modèle de langage (LLM) classique effectue une tokenisation et prédit un sous-mot à la fois. Un LCM divise l’entrée en phrases, encode chacune d’elles avec l’encodeur SONAR gelé sous forme d’un vecteur de 1 024 nombres, puis transmet cette séquence à un Transformer qui prédit le vecteur de la phrase suivante. La génération de texte répète cette étape jusqu’à ce que le modèle signale la fin du document ; le décodeur SONAR gelé reconvertit alors chaque vecteur prédit en une phrase dans n’importe quelle langue prise en charge :

Le cœur du modèle est un Transformer causal classique dont les éléments de séquence sont des vecteurs de phrases. La variante la plus simple, Base-LCM, l’entraîne à régresser chaque vecteur suivant avec une fonction de perte d’erreur quadratique moyenne, comme dans cet exemple d’une étape d’entraînement en PyTorch :

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Il affiche Next-concept predictions: (1, 5, 1024) : cinq prédictions, chacune correspondant à un vecteur complet de phrase de 1 024 nombres, alors qu’un modèle au niveau des jetons produirait cinq distributions de probabilité sur son vocabulaire. Les données d’entraînement de Meta comptaient en moyenne environ 19 jetons par phrase ; un LCM traite donc des séquences environ 19 fois plus courtes qu’un LLM pour un même texte.

Les vecteurs de ce type, au niveau de la phrase, sont aussi utilisés pour la détection à vocabulaire ouvert. Ultralytics YOLOE encode chaque prompt de classe transmis à set_classes(), tel que « autobus à impériale », en un unique plongement textuel MobileCLIP et compare les régions de l’image à ces vecteurs. Un seul plongement représente ainsi toute l’expression.

Variantes Base, Diffusion et quantifiées#

Une fonction de perte de régression rapproche chaque prédiction de la moyenne de toutes les phrases suivantes plausibles, ce qui peut produire un texte fade ou flou après décodage. Meta a donc aussi créé des LCM de diffusion, qui initialisent le vecteur suivant à partir de bruit, puis le débruitent progressivement en fonction des phrases précédentes, appliquant ainsi les modèles de diffusion aux plongements. La version One-Tower utilise un seul Transformer pour le contexte et le débruitage, tandis que la version Two-Tower les sépare. Quant-LCM discrétise plutôt l’espace SONAR par quantification vectorielle résiduelle et prédit les codes obtenus, à la manière d’un LLM qui prédit des jetons.

Meta a mené ses comparaisons avec des modèles de 1,6 milliard de paramètres entraînés sur environ 1 300 milliards de jetons, puis a porté le LCM de diffusion Two-Tower à 7 milliards de paramètres en l’entraînant sur 142,4 milliards de phrases, soit 2 700 milliards de jetons, avant de publier le code d’entraînement. Pour la tâche de résumé de texte sans exemple, évaluée avec le jeu de données XLSum dans 42 langues, le LCM 7B a obtenu un score Rouge-L de 23,5 en anglais, contre 20,7 pour Llama-3.1-8B-Instruct.

Limites#

Compresser une phrase en 1 024 nombres peut brouiller les noms exacts, les nombres et le code, et le décodeur gelé ne peut reproduire que ce que le plongement préserve. Considérer une phrase comme un concept unique est un choix pragmatique, car une phrase peut contenir plusieurs idées et une idée peut s’étendre sur plusieurs phrases. L’espace SONAR fixe signifie aussi que le LCM ne peut représenter ce que l’encodeur SONAR n’a jamais appris à encoder. Pour cette raison, trois des 45 langues de XLSum ont été exclues de l’évaluation.

LCM et termes connexes#

• Grands modèles de langage : prédisent une distribution sur les jetons. Un LCM effectue de la modélisation du langage dans un espace de plongements de phrases et s’appuie sur un encodeur et un décodeur distincts pour le texte.
• Architecture prédictive à plongements conjoints (JEPA) : autre approche de Meta qui prédit des représentations plutôt que des données brutes, principalement pour les images et les vidéos.
• Raisonnement latent : raisonnement effectué dans les états cachés d’un modèle, sans exprimer chaque étape sous forme de texte.
• Modèles à goulot d’étranglement conceptuel : classifieurs qui font transiter les prédictions par des attributs nommés par des humains, tels que « a des ailes », pour produire une IA explicable (XAI).
• Modèles de cohérence latente : partagent l’abréviation LCM, mais sont des modèles de diffusion latente d’images distillés, qui génèrent des images en quelques étapes.