Large Concept Models (LCMs)

Large Concept Models (LCMs)은 한 번에 하나의 텍스트 토큰을 예측하는 대신, 고수준의 의미론적 단위 또는 "개념(concept)"으로 정보를 처리하고 생성하는 AI 모델입니다. 전형적인 LCM에서 개념은 문장, 발화, 이벤트 또는 행동의 의미를 수치 벡터로 나타낼 수 있습니다. 이러한 개념 수준의 관점은 모델이 긴 시퀀스를 조직하고, 언어 간에 의미를 전송하며, 모든 내부 단계를 특정 표현에 얽매이지 않고 아이디어를 추론하는 데 도움을 줄 수 있습니다.

Large Concept Models 작동 방식#

기존의 large language model은 텍스트를 단어, 서브워드, 구두점과 같은 tokens으로 나눕니다. 그런 다음 모델은 다음 토큰을 반복적으로 예측합니다. TensorFlow tokenization guide는 텍스트가 이러한 작은 단위로 어떻게 분할될 수 있는지 보여줍니다.

LCM은 주요 모델링 단계를 더 높은 수준으로 이동시킵니다:

1. 인코더는 문장이나 기타 의미 있는 단위를 의미의 밀집된 수치 표현인 embedding으로 변환합니다.
2. 모델은 개념 임베딩 시퀀스를 검사하고 다음 개념의 표현을 예측합니다.
3. 디코더는 예측된 표현을 자연어, 음성 또는 기타 출력 형태로 변환합니다.

이 설계에서 의미가 유사한 문장들은 모델의 latent space 내에서 서로 인접한 영역을 차지해야 합니다. Google embeddings overview는 이러한 벡터 공간이 관계를 포착하는 방법을 설명하며, measuring similarity between embeddings에 대한 가이드는 코사인 유사도와 같은 방법을 다룹니다.

문장은 보편적 정의가 아니라 개념을 위한 실용적인 프락시입니다. 하나의 문장에 여러 아이디어가 포함될 수 있는 반면, 중요한 개념은 여러 문장에 걸쳐 나타날 수 있습니다.

관련 모델들과 비교한 LCM#

LCM은 주로 내부 예측의 세분성과 구조에서 차이가 납니다.

• LCMs vs. large language models: LLM은 보통 토큰을 직접 예측합니다. LCM은 고수준의 의미론적 표현을 예측하며, 별도의 인코더와 디코더에 의존하여 해당 표현을 언어에 연결합니다.
• LCMs vs. vision-language models: VLM은 시각적 정보와 언어적 정보를 연결합니다. LCM은 시각적 개념 임베딩을 수용할 수 있지만, 개념 수준의 예측이 본질적으로 모델을 멀티모달로 만드는 것은 아닙니다.
• LCMs vs. concept bottleneck models: 개념 병목 모델은 “날개가 있음”과 같이 명시적이고 종종 사람이 레이블을 지정한 속성을 사용합니다. LCM 개념은 일반적으로 학습된 벡터이며 명명된 속성에 깔끔하게 매핑되지 않을 수 있습니다.
• LCMs vs. latent consistency models: 둘 다 약어 LCM을 사용하지만, 잠재 일관성 모델은 생성적 확산 워크플로우를 가속화합니다. 이는 large concept models와 무관합니다.

LCM은 여전히 Transformer architecture와 어텐션 메커니즘을 사용할 수 있으며, 핵심 변화는 시퀀스 요소가 무엇을 나타내는가입니다. PyTorch Transformer documentation은 다양한 표현 유형에서 작동할 수 있는 일반적인 시퀀스 처리 구조를 설명합니다.

실제 애플리케이션 사례#

다국어 요약: 글로벌 지원 시스템은 스페인어, 일본어, 영어로 작성된 보고서를 공유된 의미 공간으로 인코딩하고, 주요 아이디어를 구성하며, 영어 요약을 생성할 수 있습니다. 메타의 multilingual sentence embedding spaces 설명에서 입증된 바와 같이, 공유된 다국어 표현은 표면적인 표현이 다르더라도 동등한 의미를 서로 가깝게 배치할 수 있습니다. 이는 모든 중간 추론 단계를 번역하는 것에 대한 의존도를 줄일 수 있습니다.

장문형 계획 및 생성: 보고서를 단어 단위로 초안 작성하는 대신, LCM은 문제, 증거, 분석, 권고사항 같은 시퀀스를 먼저 모델링할 수 있습니다. 그후 예측된 각 개념은 하나 이상의 문장으로 디코딩됩니다. 이는 글쓰기 전에 개요를 계획하는 것과 유사하며 마이크로소프트의 text and conversation summarization guidance에 설명된 문서나 대화 요약 작업에서 일관성을 향상시킬 수 있습니다.

컴퓨터 비전에 개념 모델 연결하기#

개념 기반 시스템은 LCM 스타일의 추론을 object detection과 결합할 수 있습니다. 비전 모델은 의미 있는 장면 요소를 식별하고, 다운스트림 모델은 더 큰 시퀀스의 일부로서 해당 요소들을 추론합니다.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

이 YOLO26 워크플로우는 “버스” 및 “사람”과 같은 레이블을 생성합니다. 이는 YOLO를 LCM으로 전환하는 것이 아니라, computer vision이 개념 수준의 추론 시스템에 구조화된 시각적 증거를 어떻게 제공할 수 있는지 보여줍니다. 팀은 Ultralytics Platform을 사용하여 시각적 데이터셋에 주석을 달고, 모델을 학습하며, 배포하고, 이러한 인식 컴포넌트를 모니터링할 수 있습니다.

이점, 한계 및 평가#

개념 수준의 시퀀스는 토큰 시퀀스보다 짧을 수 있고, 언어 간 지식 전송을 지원하며, 의미론적 계획을 표면적 표현에서 분리할 수 있습니다. 그러나 문장을 하나의 벡터로 압축하면 이름, 숫자, 부정, 공간적 세부사항 또는 미묘한 수식어가 유실될 수 있습니다. 디코더 오류로 인해 예측된 개념과 정확히 일치하지 않는 유창한 언어가 생성될 수도 있습니다.

따라서 실무 평가는 의미론적 품질과 최종 출력 정확도를 모두 테스트해야 합니다. 팀은 다국어 일관성, 사실 보존, 긴 컨텍스트 일관성, 지연 시간, 모호한 입력에 대한 동작을 측정해야 합니다. 영향력이 큰 배포의 경우 응용 프로그램에 적절한 사람의 검토 및 모니터링과 함께 NIST AI Risk Management Framework와 같은 구조화된 거버넌스 프로세스를 따라야 합니다.