Large Concept Models (LCMs)

대규모 개념 모델(LCMs)은 한 번에 하나의 텍스트 토큰을 예측하는 대신 더 높은 수준의 의미 단위, 즉 “개념”으로 정보를 처리하고 생성하는 AI 모델입니다. 일반적인 LCM에서 개념은 문장, 발화, 이벤트 또는 행동의 의미를 숫자 벡터로 나타낼 수 있습니다. 이러한 개념 수준의 관점은 모델이 긴 시퀀스를 구성하고, 언어 간에 의미를 전이하며, 모든 내부 단계를 특정 표현에 연결하지 않고 아이디어를 추론하는 데 도움이 될 수 있습니다.

대규모 개념 모델(LCMs)의 작동 방식#

기존 대규모 언어 모델은 텍스트를 단어, 서브워드 또는 구두점과 같은 토큰으로 나눕니다. 그런 다음 모델은 다음 토큰을 반복적으로 예측합니다. TensorFlow 토큰화 가이드는 텍스트를 이러한 작은 단위로 나누는 방법을 보여줍니다.

LCM은 주요 모델링 단계를 더 높은 수준으로 이동합니다.

1. 인코더는 문장 또는 다른 의미 있는 단위를 임베딩, 즉 해당 의미를 조밀하게 표현한 숫자 표현으로 변환합니다.
2. 모델은 개념 임베딩 시퀀스를 검토하고 다음 개념의 표현을 예측합니다.
3. 디코더는 예측된 표현을 자연어, 음성 또는 다른 출력 형식으로 변환합니다.

이 설계에서는 의미가 유사한 문장들이 모델의 잠재 공간에서 서로 가까운 영역에 위치해야 합니다. Google 임베딩 개요는 이러한 벡터 공간이 관계를 포착하는 방식을 설명하며, 임베딩 간 유사도 측정 가이드에서는 코사인 유사도와 같은 방법을 다룹니다.

문장은 개념의 실용적인 대리 표현일 뿐, 보편적인 정의는 아닙니다. 하나의 문장에 여러 아이디어가 포함될 수 있으며, 중요한 개념이 여러 문장에 걸쳐 나타날 수도 있습니다.

관련 모델과 비교한 LCM#

LCM은 주로 내부 예측의 세분화 수준과 구조에서 차이가 납니다.

• LCM과 대규모 언어 모델 비교: LLM은 일반적으로 토큰을 직접 예측합니다. LCM은 더 높은 수준의 의미 표현을 예측하며, 별도의 인코더와 디코더를 사용해 이러한 표현을 언어와 연결합니다.
• LCM과 비전-언어 모델 비교: VLM은 시각 정보와 언어 정보를 연결합니다. LCM은 시각적 개념 임베딩을 입력으로 받을 수 있지만, 개념 수준의 예측만으로 모델이 본질적으로 멀티모달이 되는 것은 아닙니다.
• LCM과 개념 병목 모델 비교: 개념 병목 모델은 “날개가 있음”과 같은 명시적이고 대개 사람이 레이블을 지정한 속성을 사용합니다. LCM의 개념은 일반적으로 학습된 벡터이며, 명명된 속성에 정확히 대응하지 않을 수 있습니다.
• LCM과 잠재 일관성 모델 비교: 두 모델 모두 LCM이라는 약어를 사용하지만, 잠재 일관성 모델은 생성형 diffusion 워크플로를 가속합니다. 대규모 개념 모델과는 관련이 없습니다.

LCM도 Transformer 아키텍처와 어텐션 메커니즘을 사용할 수 있으며, 핵심적인 변화는 시퀀스 요소가 무엇을 나타내는지에 있습니다. PyTorch Transformer 문서는 다양한 표현 유형에서 작동할 수 있는 일반적인 시퀀스 처리 구조를 설명합니다.

실제 적용 사례#

다국어 요약: 글로벌 지원 시스템은 스페인어, 일본어, 영어로 작성된 보고서를 공유 의미 공간으로 인코딩하고, 주요 아이디어를 구성한 다음 영어 요약을 생성할 수 있습니다. Meta의 다국어 문장 임베딩 공간 설명에서 확인할 수 있듯이, 공유 다국어 표현은 표면적인 표현이 서로 다르더라도 동일한 의미를 서로 가깝게 배치할 수 있습니다. 이를 통해 모든 중간 추론 단계를 번역하는 데 대한 의존도를 줄일 수 있습니다.

장문 계획 및 생성: LCM은 보고서를 단어 단위로 작성하는 대신 문제, 증거, 분석, 권고와 같은 시퀀스를 먼저 모델링할 수 있습니다. 그런 다음 예측된 각 개념을 하나 이상의 문장으로 디코딩합니다. 이는 작성 전에 개요를 계획하는 방식과 유사하며, Microsoft의 텍스트 및 대화 요약 가이드에서 설명하는 문서 또는 대화 요약 작업의 일관성을 향상할 수 있습니다.

개념 모델과 컴퓨터 비전 연결하기#

개념 중심 시스템은 LCM 방식의 추론을 객체 감지와 결합할 수 있습니다. 비전 모델은 의미 있는 장면 요소를 식별하고, 다운스트림 모델은 더 큰 시퀀스의 일부로 이러한 요소를 바탕으로 추론합니다.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

이 YOLO26 워크플로는 “버스” 및 “사람”과 같은 레이블을 생성합니다. 이는 YOLO를 LCM으로 변환하지 않습니다. 대신 컴퓨터 비전이 개념 수준의 추론 시스템에 구조화된 시각적 증거를 제공하는 방식을 보여줍니다. 팀은 Ultralytics Platform을 사용해 시각적 데이터셋에 어노테이션을 추가하고, 모델을 학습시키고, 배포하며, 이러한 인식 구성 요소를 모니터링할 수 있습니다.

장점, 한계 및 평가#

개념 수준의 시퀀스는 토큰 시퀀스보다 짧을 수 있고, 언어 간 지식 전이를 지원하며, 의미 계획과 표면적인 표현을 분리할 수 있습니다. 그러나 문장을 하나의 벡터로 압축하면 이름, 숫자, 부정, 공간적 세부 정보 또는 미묘한 한정 표현이 손실될 수 있습니다. 또한 디코더 오류로 인해 예측된 개념과 정확히 일치하지 않는 유창한 언어가 생성될 수 있습니다.

따라서 실무 평가는 의미 품질과 최종 출력 정확도를 모두 테스트해야 합니다. 팀은 다국어 일관성, 사실 보존, 긴 컨텍스트에서의 일관성, 지연 시간, 모호한 입력에 대한 동작을 측정해야 합니다. 영향이 큰 배포는 애플리케이션에 적합한 사람의 검토 및 모니터링과 함께 NIST AI 위험 관리 프레임워크와 같은 체계적인 거버넌스 프로세스도 따라야 합니다.