Large Concept Models (LCMs)

Un modelo de conceptos a gran escala (LCM) es un modelo de lenguaje que predice la siguiente incrustación a nivel de oración, denominada concepto, en lugar del siguiente token. Meta FAIR presentó la arquitectura en diciembre de 2024 en Large Concept Models: Language Modeling in a Sentence Representation Space: trata cada oración como un concepto y modela un documento como una secuencia de vectores de oraciones. Estos vectores proceden de SONAR, un espacio de incrustación de oraciones fijo que admite texto como entrada y salida en 200 idiomas, y voz como entrada en 76. Así, el modelo intermedio razona sobre el significado sin estar ligado a la formulación de un idioma concreto.

Cómo funcionan los modelos de conceptos grandes#

Un modelo de lenguaje grande (LLM) convencional ejecuta la tokenización y predice un subtoken cada vez. Un LCM divide la entrada en oraciones, codifica cada una con el codificador SONAR congelado en un vector de 1.024 números y pasa la secuencia a un Transformer que predice el vector de la siguiente oración. La generación de texto repite ese paso hasta que el modelo indica el final del documento, y el decodificador SONAR congelado convierte cada vector predicho de nuevo en una oración en cualquier idioma compatible:

El núcleo es un Transformer causal convencional cuyos elementos de secuencia son vectores de oraciones. La variante más sencilla, Base-LCM, se entrena para predecir cada vector siguiente con una pérdida de error cuadrático medio, como en este ejemplo de PyTorch de un paso de entrenamiento:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Imprime Next-concept predictions: (1, 5, 1024): cinco predicciones, cada una un vector de oración completo de 1.024 números; un modelo a nivel de token generaría cinco distribuciones de probabilidad sobre su vocabulario. Los datos de entrenamiento de Meta tenían una media de unos 19 tokens por oración, así que un LCM procesa secuencias aproximadamente 19 veces más cortas que un LLM para el mismo texto.

Los vectores de nivel de frase de este tipo también impulsan la detección de vocabulario abierto. Ultralytics YOLOE codifica cada indicación de clase que se pasa a set_classes(), como «autobús de dos pisos», en una única incrustación de texto de MobileCLIP y compara las regiones de la imagen con esos vectores, de modo que una incrustación representa la frase completa.

Variantes Base, de difusión y cuantizadas#

Una pérdida de regresión acerca cada predicción al promedio de todas las posibles oraciones siguientes, lo que puede dar lugar a un texto insulso o borroso. Por eso, Meta también creó LCM de difusión, que parten de ruido para generar el siguiente vector y lo van depurando paso a paso en función de las oraciones anteriores, aplicando modelos de difusión a las incrustaciones. La versión One-Tower usa un único Transformer para el contexto y la eliminación de ruido, mientras que la versión Two-Tower los separa. Quant-LCM, en cambio, discretiza el espacio SONAR mediante cuantización vectorial residual y predice los códigos resultantes, de forma parecida a como un LLM predice tokens.

Meta realizó sus comparaciones con modelos de 1.600 millones de parámetros entrenados con unos 1,3 billones de tokens. Después amplió el LCM de difusión Two-Tower a 7.000 millones de parámetros, entrenados con 142.400 millones de oraciones, es decir, 2,7 billones de tokens, y publicó el código de entrenamiento. En la generación de resúmenes de texto sin ejemplos con el conjunto de datos XLSum en 42 idiomas, el LCM de 7B obtuvo una puntuación Rouge-L de 23,5 en inglés, frente a 20,7 de Llama-3.1-8B-Instruct.

Limitaciones#

Comprimir una oración en 1.024 números puede difuminar nombres exactos, cifras y código, y el decodificador congelado solo puede reproducir lo que conserva la incrustación. Tratar una oración como un concepto es una decisión práctica, ya que una oración puede contener varias ideas y una idea puede ocupar varias oraciones. El espacio SONAR fijo también implica que el LCM no puede representar nada que el codificador de SONAR no haya aprendido a codificar; por ese motivo, se excluyeron de la evaluación tres de los 45 idiomas de XLSum.

LCM y términos relacionados#

• Modelos de lenguaje grandes: Predicen una distribución de tokens. Un LCM realiza modelado del lenguaje en un espacio de incrustación de oraciones y depende de un codificador y un decodificador independientes para el texto.
• Arquitectura predictiva de incrustaciones conjuntas (JEPA): Otro enfoque de Meta que predice representaciones en lugar de datos sin procesar, principalmente para imágenes y vídeo.
• Razonamiento latente: Razonamiento que se lleva a cabo en los estados ocultos de un modelo sin expresar cada paso por escrito.
• Modelos de cuello de botella de conceptos: Clasificadores que canalizan las predicciones a través de atributos con nombres comprensibles para las personas, como «tiene alas», para lograr una IA explicable (XAI).
• Modelos de consistencia latente: Comparten la abreviatura LCM, pero son modelos de difusión latente de imágenes destilados que generan resultados en unos pocos pasos.