Latent Reasoning

잠재 추론은 모델이 신경망 내부의 연속 벡터인 은닉 상태에서 수행하는 추론으로, 글로 작성된 토큰으로 추론하는 방식과 다릅니다. 사고 연쇄 프롬프팅을 사용하면 대규모 언어 모델(LLM)이 각 중간 단계를 텍스트로 작성하고 다시 읽습니다. 잠재 추론에서는 중간 단계가 벡터로 유지되고 최종 답변만 디코딩됩니다. 이 용어는 두 가지를 가리킵니다. 연결 사실을 밝히지 않고 두 단계 질문을 해결하는 것처럼 단일 순전파 내에서 일어나는 암묵적 추론과, 2024년 12월에 발표된 Meta의 Coconut 및 2025년의 순환 심도 모델처럼 연속 공간에서 사고하도록 모델을 학습하는 방법입니다.

잠재 공간에서 추론하는 이유#

글로 작성된 단계는 전달하는 정보량이 매우 적습니다. 각 토큰은 수만 개 단어로 이루어진 어휘 중 하나의 선택인 반면, 소형 트랜스포머의 은닉 상태에도 수백 또는 수천 개의 숫자가 들어 있어 여러 중간 결과를 한 번에 인코딩할 수 있습니다. 단계를 글로 작성하면 시간도 걸립니다. 각 추론 토큰마다 순전파가 한 번씩 수행되므로, 사고 연쇄가 길어지면 추론 지연 시간과 서빙 비용이 증가합니다. 단어를 사용하지 않더라도 추가 은닉 연산은 도움이 됩니다. Google과 Carnegie Mellon University 연구진은 2023년에 학습 가능한 "멈춤" 토큰을 사용해 답변 전에 추가 순전파를 수행하도록 10억 파라미터 모델을 학습한 결과, SQuAD 질의응답 벤치마크의 정확 일치 점수가 18% 향상되었다고 발표했습니다.

Coconut: 연속 사고 연쇄#

Meta와 UC San Diego 연구진은 연속 잠재 공간에서 추론하도록 대규모 언어 모델 학습 논문에서 Coconut을 소개했습니다. 사고 시작 및 종료를 나타내는 특수 토큰 사이에서 모델은 마지막 은닉 상태를 단어로 디코딩하는 대신 다음 입력 임베딩으로 그대로 되돌려 입력합니다. Coconut은 OpenAI의 GPT-2를 사용했으며, 동일한 반복 과정은 사전 학습 모델에서도 실행됩니다.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

네 번의 추론 단계로 텍스트를 생성하지 않고 시퀀스 길이가 8개 위치에서 12개 위치로 늘어나며, 각 단계는 다음 순전파에 부동소수점 숫자 768개를 전달합니다. 반면 글로 작성된 단계는 토큰 50,257개 중 하나를 전달하며, 정보량은 약 15.6비트입니다. Coconut은 단계별로 글로 작성된 추론을 연속 사고로 대체하는 커리큘럼을 통해 이 반복 과정으로 GPT-2를 미세 조정합니다. 계획 수립이 필요한 논리 추론 작업인 ProsQA에서 평균 14.2개 토큰을 생성해 정확도 97.0%를 달성했습니다. 반면 사고 연쇄는 평균 49.4개 토큰을 생성해 정확도 77.5%를 기록했습니다. GSM8K 수학 문제에서는 사고 연쇄의 42.9%보다 낮은 34.1%를 기록했지만, 토큰은 약 3분의 1만 생성했습니다. 저자들은 연속 사고 하나가 가능한 다음 단계를 여러 개 인코딩할 수 있어, 한 번에 토큰 하나로 단일 경로를 선택하는 글 기반 사고 연쇄와 달리 모델이 너비 우선 방식으로 대안을 탐색할 수 있음을 확인했습니다.

기타 접근 방식#

순환 심도 모델은 동일한 레이어 블록을 여러 번 재사용합니다. Jonas Geiping과 동료들은 2025년에 3,500억이 아닌 35억 파라미터 모델을 8,000억 토큰으로 학습했습니다. 이 모델은 추론 시 순환 블록을 반복 실행하며, 반복 횟수가 늘어날수록 추론 벤치마크 점수도 상승해 500억 파라미터 모델에 해당하는 연산량까지 성능이 향상되었습니다. 추가 토큰을 하나도 작성하지 않았습니다. 따라서 순환은 테스트 시점 연산량을 확장하는 방법이며, 이는 일반적으로 더 긴 사고 연쇄를 생성해 확장하는 스케일링 법칙의 한 축입니다. 암묵적 사고 연쇄 방법은 풀이 예제로 모델을 학습한 뒤 글로 작성된 단계를 점진적으로 제거합니다. Yuntian Deng, Yejin Choi, Stuart Shieber의 단계별 내재화 방식은 GPT-2 Small이 중간 단계 없이 9자리 수 곱셈을 최대 99% 정확도로 풀도록 학습했습니다.

이 개념은 텍스트를 넘어 확장됩니다. Meta의 대규모 개념 모델(LCM)은 다음 토큰 대신 다음 문장 임베딩을 예측합니다. 공동 임베딩 예측 아키텍처(JEPA)는 픽셀 대신 잠재 공간에서 이미지와 비디오의 누락된 부분을 예측합니다. Figure의 Helix와 같은 체화 AI 시스템은 텍스트가 아닌 잠재 벡터를 비전-언어 모델(VLM)에서 로봇을 움직이는 정책으로 전달합니다. 탐지기도 같은 종류의 은닉 상태를 유지합니다. Ultralytics YOLO26에서 model.embed()은 탐지 헤드 직전 레이어까지만 predict 모드를 실행하고, 바운딩 박스와 클래스 레이블 대신 특징 맵의 평균 풀링을 통해 이미지당 벡터 하나를 생성합니다.

해석 가능성 및 안전성#

글로 작성된 사고 연쇄는 사람과 자동화된 모니터에 읽을 수 있는 기록을 제공합니다. 텍스트로 추론하는 추론 모델은 행동에 나서기 전에 보상 해킹이나 기만의 징후가 있는지 검사할 수 있습니다. OpenAI, Google DeepMind, Anthropic, Meta 등 여러 연구 그룹의 연구자들이 2025년 7월에 발표한 입장문은 사고 연쇄 모니터링 가능성을 취약한 AI 안전성 기회라고 규정하고 잠재 추론 아키텍처가 이를 없앨 수 있다고 경고했습니다. 잠재 단계는 프로브, 로짓 렌즈, 희소 오토인코더(SAE) 같은 메커니즘 해석 가능성 도구를 이용해 간접적으로만 읽을 수 있습니다. Coconut 논문에서는 언어 모델 헤드를 통해 연속 사고를 디코딩했을 때 여러 후보 중간 값에 확률이 분산되었습니다.