Large Concept Models (LCMs)

Большая концептуальная модель (LCM) — это языковая модель, которая предсказывает следующее векторное представление на уровне предложения, называемое концептом, а не следующий токен. Meta FAIR представила эту архитектуру в декабре 2024 года в работе «Большие концептуальные модели: языковое моделирование в пространстве представлений предложений»: каждое предложение рассматривается как один концепт, а документ моделируется как последовательность векторов предложений. Эти векторы берутся из SONAR — фиксированного пространства эмбеддингов предложений, которое поддерживает текстовый ввод и вывод на 200 языках и речевой ввод на 76 языках. Благодаря этому модель в середине архитектуры рассуждает о смысле, не привязываясь к формулировкам на каком-либо одном языке.

Как работают большие концептуальные модели#

Обычная большая языковая модель (LLM) выполняет токенизацию и предсказывает по одному фрагменту слова за раз. LCM разбивает входные данные на предложения, кодирует каждое замороженным энкодером SONAR в вектор из 1 024 чисел и подаёт последовательность этих векторов в трансформер, предсказывающий вектор следующего предложения. Генерация текста повторяет этот шаг, пока модель не подаст сигнал об окончании документа, после чего замороженный декодер SONAR преобразует каждый предсказанный вектор обратно в предложение на любом поддерживаемом языке:

В основе лежит обычный каузальный трансформер, элементами последовательности которого служат векторы предложений. В простейшем варианте Base-LCM модель обучается регрессировать каждый следующий вектор с помощью функции потерь на основе среднеквадратичной ошибки, как показано в этом примере одного шага обучения на PyTorch:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Выводится Next-concept predictions: (1, 5, 1024): пять предсказаний, каждое из которых представляет собой полный вектор предложения из 1 024 чисел; модель на уровне токенов вывела бы пять распределений вероятностей по своему словарю. В обучающих данных Meta в среднем было около 19 токенов на предложение, поэтому LCM обрабатывает последовательности примерно в 19 раз короче, чем LLM для того же текста.

Векторы на уровне фраз такого типа также применяются для обнаружения объектов в открытом словаре. Ultralytics YOLOE кодирует каждый переданный в set_classes() запрос класса — например, «двухэтажный автобус» — в один текстовый эмбеддинг MobileCLIP и сопоставляет с этими векторами области изображения, поэтому один эмбеддинг представляет целую фразу.

Варианты Base, Diffusion и Quantized#

Функция регрессионных потерь приближает каждое предсказание к среднему всех возможных следующих предложений, в результате чего декодированный текст может быть банальным или размытым. Поэтому Meta также создала диффузионные LCM: они начинают формировать следующий вектор из шума и постепенно убирают шум, ориентируясь на предыдущие предложения, применяя диффузионные модели к эмбеддингам. В варианте One-Tower используется один трансформер для контекста и удаления шума, а в Two-Tower эти задачи разделены. Quant-LCM вместо этого дискретизирует пространство SONAR с помощью остаточного векторного квантования и предсказывает полученные коды примерно так же, как LLM предсказывает токены.

Meta сравнила модели с 1,6 млрд параметров, обученные примерно на 1,3 трлн токенов, а затем увеличила размер диффузионной LCM Two-Tower до 7 млрд параметров и обучила её на 142,4 млрд предложений, или 2,7 трлн токенов, после чего выпустила код обучения. В задаче без примеров по суммаризации текста на датасете XLSum для 42 языков LCM 7B набрала 23,5 по Rouge-L для английского языка против 20,7 у Llama-3.1-8B-Instruct.

Ограничения#

Сжатие предложения в 1 024 числа может размыть точные имена, числа и код, а замороженный декодер способен воспроизвести только то, что сохранил эмбеддинг. Рассматривать одно предложение как один концепт удобно на практике, поскольку предложение может содержать несколько идей, а одна идея — занимать несколько предложений. Кроме того, фиксированное пространство SONAR не позволяет LCM представлять то, чему энкодер SONAR не научился, поэтому три языка из 45 в XLSum не включили в оценку.

LCM и родственные термины#

• Большие языковые модели: Предсказывают распределение токенов. LCM выполняет языковое моделирование в пространстве эмбеддингов предложений и использует отдельные энкодер и декодер для текста.
• Предиктивная архитектура совместных эмбеддингов (JEPA): Ещё один подход Meta, который предсказывает представления вместо исходных данных, преимущественно для изображений и видео.
• Скрытое рассуждение: Рассуждение, выполняемое в скрытых состояниях модели без записи каждого шага в виде текста.
• Модели с концептуальным узким местом: Классификаторы, которые строят предсказания на основе атрибутов с понятными человеку названиями, например «есть крылья», для объяснимого ИИ (XAI).
• Модели латентной согласованности: Используют ту же аббревиатуру LCM, но представляют собой дистиллированные модели латентной диффузии для изображений, которые генерируют результат за несколько шагов.