Large Concept Models (LCMs)

大概念模型（LCM）是一种语言模型，它预测下一个句子级别的嵌入，也称为概念，而不是下一个词元。Meta FAIR 于 2024 年 12 月在《大概念模型：句子表征空间中的语言建模》中介绍了这一架构：将每个句子视为一个概念，并把文档建模为句子向量序列。这些向量来自 SONAR，一个固定的句子嵌入空间，支持 200 种语言的文本输入和输出以及 76 种语言的语音输入，因此中间的模型可以围绕含义进行推理，而不受某一种语言的措辞限制。

大型概念模型的工作原理#

传统的大语言模型（LLM）会执行分词，并一次预测一个子词。LCM 会将输入拆分为句子，用冻结的 SONAR 编码器把每个句子编码成包含 1,024 个数字的向量，再将该序列输入一个预测下一个句子向量的 Transformer。文本生成会重复这一过程，直到模型发出文档结束信号；随后，冻结的 SONAR 解码器会将每个预测向量还原成任一受支持语言的句子：

其核心是一个普通的因果 Transformer，序列元素为句子向量。最简单的变体 Base-LCM 使用均方误差损失训练模型回归下一个向量，下面是一个展示单步训练的 PyTorch 示例：

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

它会打印 Next-concept predictions: (1, 5, 1024)：五个预测结果，每个都是一个完整的、包含 1,024 个数字的句子向量；而基于词元的模型会输出五个针对其词表的概率分布。Meta 的训练数据平均每个句子约有 19 个词元，因此对于相同文本，LCM 处理的序列长度约为 LLM 的 1/19。

这种短语级向量也用于开放词汇检测。Ultralytics YOLOE 会将传递给 set_classes() 的每个类别提示（例如“double-decker bus”）编码为一个 MobileCLIP 文本嵌入，再将图像区域与这些向量进行匹配，因此一个嵌入就代表整个短语。

基础版、扩散版与量化变体#

回归损失会将每个预测拉向所有可能的下一句的平均值，因此解码出的文本可能平淡或模糊。为此，Meta 还构建了扩散 LCM：从噪声向量开始，并以先前的句子为条件逐步去噪，将扩散模型应用于嵌入。One-Tower 版本使用单个 Transformer 处理上下文和去噪，Two-Tower 版本则将两者分开。Quant-LCM 则通过残差向量量化离散化 SONAR 空间，并像 LLM 预测词元一样预测生成的编码。

Meta 使用 16 亿参数模型进行了对比，这些模型在约 1.3 万亿个词元上训练；之后又将 Two-Tower 扩散 LCM 扩展到 70 亿参数，并在 1,424 亿个句子（即 2.7 万亿个词元）上训练，同时发布了训练代码。在使用 XLSum 数据集对 42 种语言进行零样本文本摘要时，70 亿参数 LCM 的 Rouge-L 得分为 23.5；英语成绩高于 Llama-3.1-8B-Instruct 的 20.7。

局限#

将一个句子压缩成 1,024 个数字可能会模糊确切的名称、数字和代码；冻结的解码器也只能还原嵌入保留下来的内容。把一个句子视为一个概念是一种实用选择，因为一个句子可以包含多个想法，而一个想法也可能跨越多个句子。固定的 SONAR 空间还意味着，LCM 无法表示 SONAR 编码器从未学会编码的内容；因此，XLSum 的 45 种语言中有 3 种未纳入评估。

LCM 与相关术语的比较#

• 大语言模型：预测词元的概率分布。LCM 在句子嵌入空间中进行语言建模，并依靠单独的编码器和解码器处理文本。
• 联合嵌入预测架构（JEPA）：Meta 的另一种方法，用预测表征代替预测原始数据，主要用于图像和视频。
• 潜在空间推理：在模型的隐藏状态中进行推理，而不将每一步都写成文本。
• 概念瓶颈模型：通过“有翅膀”等以人类语言命名的属性来传递分类结果，以实现可解释人工智能（XAI）。
• 潜在一致性模型：缩写也为 LCM，但它们是经过蒸馏的图像潜在扩散模型，能够通过少量步骤生成图像。