Large Concept Models (LCMs)

了解大型概念模型 (LCM) 如何处理语义概念，与 LLM 进行对比，并支持多语言 AI、长篇规划和计算机视觉。

Large Concept Models (LCMs) 是一类以更高级别的语义单元（即“概念”）来处理和生成信息的 AI 模型，而不是逐个预测文本 token。在典型的 LCM 中，一个概念可以用数字向量来表示句子、话语、事件或动作的含义。这种概念层面的视角可以帮助模型组织长序列、跨语言传递含义，并在推理各种思想时不必将每个内部步骤都绑定到特定的措辞上。

Large Concept Models 的工作原理#

常规的大型语言模型会将文本拆分为token，例如词语、子词或标点符号。然后，模型会重复预测下一个 token。TensorFlow tokenization guide 展示了如何将文本划分为这些小型单元。

LCM 将主要的建模步骤提升到了更高的层面：

编码器将句子或其他具有实际意义的单元转换为嵌入——即对其含义的稠密数字表示。
模型检查一串概念嵌入，并预测下一个概念的表示。
解码器将预测出的表示转换为自然语言、语音或其他输出形式。

在这种设计中，具有相似含义的句子应该占据模型潜空间中相近的区域。Google embeddings overview 解释了这些向量空间如何捕获关系，而其关于measuring similarity between embeddings 的指南则涵盖了余弦相似度等方法。

句子是概念的实用代理，而非通用定义。一个句子可能包含多个想法，而一个重要的概念也可能跨越多个句子。

LCM 与相关模型的对比#

LCM 的主要区别在于其内部预测的粒度和结构。

LCM 与大型语言模型： LLM 通常直接预测 token。LCM 则预测更高级别的语义表示，并依靠独立的编码器和解码器将这些表示与语言连接起来。
LCM 与视觉语言模型： VLM 将视觉和语言信息连接起来。LCM 可能会接受视觉概念嵌入，但概念层面的预测本身并不会使模型成为多模态模型。
LCM 与概念瓶颈模型： 概念瓶颈模型使用显式的、通常由人工标记的属性，例如“有翅膀”。LCM 的概念通常是学得的向量，可能无法清晰地映射到命名的属性上。
LCM 与潜一致性模型： 两者都使用缩写 LCM，但潜一致性模型加速了生成式扩散工作流。它们与 large concept models 无关。

LCM 仍然可以使用 Transformer 架构和注意力机制；关键的变化在于序列元素所代表的内容。PyTorch Transformer documentation 描述了可以对不同表示类型进行操作的通用序列处理结构。

实际应用#

多语言摘要： 全球支持系统可以将用西班牙语、日语和英语编写的报告编码到一个共享的语义空间中，组织它们的主要观点，并生成英文摘要。正如 Meta 对multilingual sentence embedding spaces 的解释所证明的那样，共享的多语言表示可以使含义相同的文本紧密靠拢，即使它们的表面措辞不同。这可以减少对翻译每个中间推理步骤的依赖。

长文本规划与生成： 与逐字起草报告不同，LCM 可以先对诸如问题、证据、分析和建议之类的序列进行建模。然后，将每个预测出的概念解码为一个或多个句子。这类似于在写作前规划大纲，并且可以提高文档或对话摘要的连贯性，这些任务在 Microsoft 的text and conversation summarization guidance 中有所描述。

将概念模型连接到计算机视觉#

概念驱动的系统可以将 LCM 风格的推理与目标检测相结合。视觉模型识别有意义的场景元素，下游模型则作为更大序列的一部分对这些元素进行推理。

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

这个 YOLO26 工作流会产生诸如“公交车”和“人”之类的标签。它并没有把 YOLO 变成一个 LCM；相反，它展示了计算机视觉如何为基于概念的推理系统提供结构化的视觉证据。团队可以使用 Ultralytics Platform 来注释视觉数据集、训练模型、部署它们并监控这些感知组件。