Large Concept Models (LCMs)

대규모 개념 모델(LCM)은 다음 토큰이 아니라 다음 문장 수준의 임베딩, 즉 개념을 예측하는 언어 모델입니다. Meta FAIR는 2024년 12월에 대규모 개념 모델: 문장 표현 공간에서의 언어 모델링에서 이 아키텍처를 소개했습니다. 각 문장을 하나의 개념으로 취급하고 문서를 문장 벡터의 시퀀스로 모델링합니다. 이러한 벡터는 200개 언어의 텍스트 입력과 출력을 지원하고 76개 언어의 음성 입력을 지원하는 고정된 문장 임베딩 공간인 SONAR에서 가져옵니다. 따라서 중간에 있는 모델은 특정 언어의 표현 방식에 얽매이지 않고 의미를 추론합니다.

대형 개념 모델의 작동 방식#

일반적인 대규모 언어 모델(LLM)은 토큰화를 수행하고 한 번에 하나의 서브워드를 예측합니다. LCM은 입력을 문장으로 나누고, 고정된 SONAR 인코더를 사용해 각 문장을 1,024개의 숫자로 구성된 벡터로 인코딩한 다음, 해당 시퀀스를 받아 다음 문장 벡터를 예측하는 트랜스포머에 입력합니다. 텍스트 생성은 모델이 문서의 끝을 알릴 때까지 이 단계를 반복하고, 고정된 SONAR 디코더는 예측된 각 벡터를 지원되는 모든 언어의 문장으로 변환합니다.

핵심은 시퀀스 요소가 문장 벡터인 일반적인 인과 트랜스포머입니다. 가장 단순한 변형인 Base-LCM은 각 다음 벡터를 평균 제곱 오차 손실로 회귀하도록 학습합니다. 다음은 한 번의 학습 단계를 보여주는 PyTorch 예시입니다.

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Next-concept predictions: (1, 5, 1024)을 출력합니다. 각 예측은 1,024개의 숫자로 이루어진 완전한 문장 벡터이며, 토큰 수준 모델이라면 어휘에 대한 확률 분포 5개를 출력할 것입니다. Meta의 학습 데이터에서 문장당 토큰 수는 평균 약 19개였으므로, LCM은 동일한 텍스트에 대해 LLM보다 약 19배 짧은 시퀀스를 처리합니다.

이러한 구문 수준 벡터는 개방형 어휘 탐지에도 사용됩니다. Ultralytics YOLOE는 set_classes()에 전달된 각 클래스 프롬프트(예: "2층 버스")를 단일 MobileCLIP 텍스트 임베딩으로 인코딩하고 이미지 영역을 해당 벡터와 대조하므로, 임베딩 하나가 구문 전체를 나타냅니다.

Base, Diffusion 및 양자화 변형#

회귀 손실은 각 예측을 가능한 다음 문장들의 평균에 가깝게 만들기 때문에, 디코딩 결과가 밋밋하거나 흐릿한 텍스트가 될 수 있습니다. 이에 Meta는 이전 문장을 조건으로 삼아 노이즈에서 다음 벡터를 시작하고 단계별로 노이즈를 제거하는 diffusion LCM도 개발하여 임베딩에 확산 모델을 적용했습니다. One-Tower 버전은 컨텍스트 처리와 노이즈 제거에 단일 트랜스포머를 사용하고, Two-Tower 버전은 두 작업을 분리합니다. Quant-LCM은 대신 잔차 벡터 양자화로 SONAR 공간을 이산화하고 LLM이 토큰을 예측하는 것과 유사하게 결과 코드들을 예측합니다.

Meta는 약 1조 3천억 개의 토큰으로 학습한 16억 매개변수 모델을 사용해 비교를 수행했습니다. 이후 Two-Tower diffusion LCM을 70억 매개변수로 확장해 1,424억 개의 문장, 즉 2조 7천억 개의 토큰으로 학습하고 학습 코드를 공개했습니다. 42개 언어의 XLSum 데이터셋을 사용한 제로샷 텍스트 요약에서 70억 매개변수 LCM은 영어 Rouge-L 23.5를 기록했으며, Llama-3.1-8B-Instruct는 20.7을 기록했습니다.

한계#

문장을 1,024개의 숫자로 압축하면 정확한 이름, 숫자, 코드가 흐려질 수 있으며, 고정된 디코더는 임베딩에 보존된 내용만 재현할 수 있습니다. 문장 하나를 개념 하나로 취급하는 것은 실용적인 선택입니다. 문장 하나에 여러 아이디어가 담길 수 있고 하나의 아이디어가 여러 문장에 걸쳐 나타날 수 있기 때문입니다. 고정된 SONAR 공간은 LCM이 SONAR 인코더가 인코딩하도록 학습하지 않은 내용을 표현할 수 없다는 뜻이기도 합니다. 이 때문에 XLSum의 45개 언어 중 3개 언어는 평가에서 제외되었습니다.

LCM과 관련 용어 비교#

• 대규모 언어 모델: 토큰에 대한 분포를 예측합니다. LCM은 문장 임베딩 공간에서 언어 모델링을 수행하며 텍스트 처리를 위해 별도의 인코더와 디코더를 사용합니다.
• 공동 임베딩 예측 아키텍처(JEPA): 원시 데이터 대신 표현을 예측하는 또 다른 Meta 접근 방식으로, 주로 이미지와 동영상에 사용됩니다.
• 잠재 추론: 모든 추론 단계를 텍스트로 작성하지 않고 모델의 은닉 상태에서 수행하는 추론입니다.
• 개념 병목 모델: 설명 가능한 AI(XAI)를 위해 "날개가 있음"과 같이 사람이 이름을 붙인 속성을 거쳐 예측을 수행하는 분류기입니다.
• 잠재 일관성 모델: LCM 약어를 공유하지만, 적은 단계로 이미지를 생성하는 증류된 이미지 잠재 확산 모델입니다.