Large Concept Models (LCMs)

Um modelo de conceitos de grande escala (LCM) é um modelo de linguagem que prevê o próximo embedding ao nível da frase, denominado conceito, em vez do próximo token. A Meta FAIR apresentou esta arquitetura em dezembro de 2024, no artigo Large Concept Models: Language Modeling in a Sentence Representation Space, tratando cada frase como um conceito e modelando um documento como uma sequência de vetores de frases. Esses vetores provêm do SONAR, um espaço de embeddings de frases fixo que suporta entrada e saída de texto em 200 idiomas e entrada de voz em 76, para que o modelo intermédio raciocine sobre o significado sem ficar preso à formulação de um único idioma.

Como funcionam os Modelos de Conceitos de Grande Escala#

Um modelo de linguagem de grande escala (LLM) convencional executa a tokenização e prevê uma subpalavra de cada vez. Um LCM divide a entrada em frases, codifica cada uma com o codificador SONAR congelado num vetor com 1.024 números e fornece a sequência a um Transformer que prevê o vetor da frase seguinte. A geração de texto repete este passo até o modelo indicar o fim do documento, e o descodificador SONAR congelado converte cada vetor previsto novamente numa frase em qualquer idioma suportado:

O núcleo é um Transformer causal comum, cujos elementos de sequência são vetores de frases. A variante mais simples, Base-LCM, treina-o para regredir cada vetor seguinte com uma função de perda de erro quadrático médio, como nesta PyTorch demonstração de um passo de treino:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Imprime Next-concept predictions: (1, 5, 1024): cinco previsões, cada uma um vetor completo de frase com 1.024 números, enquanto um modelo ao nível do token produziria cinco distribuições de probabilidade sobre o seu vocabulário. Os dados de treino da Meta tinham, em média, cerca de 19 tokens por frase, pelo que um LCM processa sequências aproximadamente 19 vezes mais curtas do que um LLM para o mesmo texto.

Vetores deste tipo ao nível de frases também impulsionam a deteção de vocabulário aberto. O Ultralytics YOLOE codifica cada prompt de classe passado a set_classes(), como "autocarro de dois andares", num único embedding de texto MobileCLIP e compara as regiões da imagem com esses vetores, pelo que um embedding representa a frase completa.

Variantes base, de difusão e quantizadas#

Uma função de perda de regressão aproxima cada previsão da média de todas as frases seguintes plausíveis, o que pode produzir texto insípido ou desfocado. Por isso, a Meta também criou LCM de difusão, que iniciam o vetor seguinte a partir de ruído e removem-no gradualmente, condicionando o processo às frases anteriores e aplicando modelos de difusão aos embeddings. A versão One-Tower usa um único Transformer para o contexto e a remoção de ruído, enquanto a versão Two-Tower os separa. O Quant-LCM, por sua vez, discretiza o espaço SONAR com quantização vetorial residual e prevê os códigos resultantes, de forma semelhante à previsão de tokens por um LLM.

A Meta realizou as comparações com modelos de 1,6 mil milhões de parâmetros treinados com cerca de 1,3 biliões de tokens; depois, aumentou o LCM de difusão Two-Tower para 7 mil milhões de parâmetros, treinados com 142,4 mil milhões de frases, ou 2,7 biliões de tokens, e disponibilizou o código de treino. Na sumarização de texto zero-shot com o conjunto de dados XLSum em 42 idiomas, o LCM 7B obteve uma pontuação Rouge-L de 23,5 em inglês, contra 20,7 do Llama-3.1-8B-Instruct.

Limitações#

Comprimir uma frase em 1.024 números pode diluir nomes, números e código exatos, e o descodificador congelado só consegue reproduzir aquilo que o embedding preserva. Tratar uma frase como um conceito é uma escolha prática, uma vez que uma frase pode conter várias ideias e uma ideia pode estender-se por várias frases. O espaço SONAR fixo também significa que o LCM não consegue representar algo que o codificador SONAR nunca aprendeu a codificar, e, por esse motivo, três dos 45 idiomas do XLSum foram excluídos da avaliação.

LCM vs. termos relacionados#

• Modelos de linguagem de grande escala: Preveem uma distribuição sobre tokens. Um LCM executa modelação de linguagem num espaço de embeddings de frases e depende de um codificador e descodificador separados para o texto.
• Arquitetura preditiva de embeddings conjuntos (JEPA): Outra abordagem da Meta que prevê representações em vez de dados brutos, sobretudo para imagens e vídeo.
• Raciocínio latente: Raciocínio realizado nos estados ocultos de um modelo, sem escrever cada passo como texto.
• Modelos com gargalo de conceitos: Classificadores que encaminham as previsões através de atributos com nomes compreensíveis para as pessoas, como "tem asas", para permitir uma IA explicável (XAI).
• Modelos de consistência latente: Partilham a abreviatura LCM, mas são modelos de difusão latente de imagem destilados que geram resultados em poucos passos.