YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Speculative Decoding

추측 디코딩은 작은 초안 모델이 토큰을 제안하고 대형 모델이 이를 한 번에 검증하는 방식으로, 결과를 바꾸지 않으면서 LLM 출력을 빠르게 합니다.

추측 디코딩은 소형 고속 초안 모델이 다음 토큰 여러 개를 추측하게 하고 대형 타깃 모델이 순전파 한 번으로 이를 모두 검증하게 하여 대규모 언어 모델(LLM)의 텍스트 생성 속도를 높이는 추론 기법입니다. 승인된 추측은 대형 모델이 한 단계씩 직접 생성하지 않아도 되는 토큰이며, 승인 규칙을 통해 출력이 타깃 모델만 사용했을 때와 정확히 같은 확률 분포를 따르도록 보장합니다. Google의 Yaniv Leviathan, Matan Kalman, Yossi Matias는 2022년 11월 Fast Inference from Transformers via Speculative Decoding에서 이 기법을 소개하고, 출력이 동일하면서 T5-XXL 생성 속도가 2~3배 빨라졌다고 보고했습니다. DeepMind의 Charlie Chen과 동료들은 2023년 2월 같은 아이디어를 추측 샘플링으로 발표했으며, 파라미터 700억 개의 Chinchilla에서 2~2.5배 속도 향상을 보고했습니다.

디코딩에서 추측할 여지가 생기는 이유#

자기회귀 생성은 순전파 한 번에 토큰 하나를 생성하며, 각 순전파는 메모리에서 모델 가중치를 모두 읽습니다. 단일 시퀀스에서는 이러한 메모리 트래픽이 속도를 좌우합니다. GPU는 각 단계에서 대부분의 시간을 메모리 대역폭을 기다리며 보내므로 토큰 5개의 점수 계산은 토큰 1개의 점수 계산과 시간이 거의 같습니다. 추측 디코딩은 이 유휴 연산 자원을 검증에 사용합니다. 흔한 구문의 나머지 부분, 코드의 닫는 괄호, 프롬프트에서 복사한 이름처럼 예측하기 쉬운 토큰이 많으며, 타깃 모델의 일부 크기에 불과한 초안 모델도 대부분 이를 정확히 예측합니다. 그 결과 각 응답의 추론 지연 시간이 줄어듭니다.

초안 생성 및 검증 루프#

각 라운드는 세 단계로 진행됩니다. 초안 모델이 후보 토큰 k개를 생성하며, 모델이 작으므로 비용이 낮습니다. 그런 다음 타깃 모델은 이전 컨텍스트에 대한 KV 캐시를 재사용해 초안 토큰 k개를 한 번에 처리하고, 초안의 각 위치에 대한 자체 확률을 반환합니다. 마지막으로 초안을 왼쪽에서 오른쪽 순서로 확인합니다. 초안 토큰 x는 p가 타깃 모델의 확률이고 q가 초안 모델의 확률일 때 min(1, p(x) / q(x))의 확률로 승인됩니다. 처음 거부가 발생하면 남은 분포 max(0, p - q)에서 대체 토큰을 샘플링해 정규화하고, 나머지 초안은 폐기합니다. k개의 초안이 모두 통과하면 동일한 순전파에서 타깃 모델의 다음 위치 예측도 추가 비용 없이 얻으므로 한 라운드에서 1개에서 k + 1개의 토큰을 생성합니다.

그리디 디코딩에서는 초안이 타깃 모델의 최상위 토큰과 일치하는 동안 초안을 유지하는 일치 여부 확인으로 검사가 단순해집니다. 각 초안의 승인 확률이 a라면 한 라운드에서 평균적으로 (1 - a^(k+1)) / (1 - a)개의 토큰을 생성합니다. 따라서 a = 0.8이고 k = 4이면 타깃 모델은 순전파 한 번에 약 3.4개의 토큰만큼 진행합니다.

이 PyTorch 시뮬레이션은 디코딩의 한 단계에 승인 규칙을 적용하고 출력되는 토큰을 계산합니다:

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

이 실행에서는 초안의 80.1%가 승인되었습니다. 이는 두 분포 간의 겹치는 정도, 즉 min(p, q)의 합인 0.80과 일치합니다. 출력 빈도 0.5003, 0.2985, 0.1503, 0.0510은 대부분의 토큰을 초안 모델이 제안했는데도 타깃 분포 p를 재현합니다.

초안은 별도의 네트워크에서 생성할 필요가 없습니다:

  • 같은 계열의 소형 언어 모델: 대형 모델과 함께 공개되며 같은 토크나이저를 사용하는 모델이 대표적인 선택입니다.
  • Medusa 헤드: 타깃 모델의 추가 디코딩 헤드는 마지막 은닉 상태를 바탕으로 미래 토큰 여러 개를 예측하고 트리 어텐션으로 이를 검증합니다.
  • 프롬프트 조회: 프롬프트의 일치하는 n-그램에서 초안 토큰을 복사합니다. 요약, 검색 증강 답변, 입력을 반복 사용하는 코드 편집에 효과적입니다.

지식 증류는 대형 모델을 대신할 소형 모델을 학습하며, 타깃 모델이 더 자주 승인하는 추측을 생성하도록 초안 모델을 학습하는 데도 흔히 사용됩니다. 모델 양자화는 타깃 모델 자체 가중치의 정밀도를 낮춰 출력을 약간 변경하며, 양자화된 초안 모델은 자주 함께 사용됩니다.

vLLM, SGLang, TensorRT-LLM, llama.cpp와 같은 서빙 엔진은 추측 디코딩을 제공하며, Hugging Face Transformers에서는 보조 생성으로 사용할 수 있습니다. 탐지 결과를 Ultralytics LLM 인터페이스를 통해 언어 모델로 전달하는 YOLO26 파이프라인은 base_url가 이러한 로컬 서버를 가리키도록 설정할 수 있습니다. 그러면 동일한 출력 분포를 유지하면서 생성된 보고서를 더 빠르게 스트리밍할 수 있습니다. 이점은 배치 크기가 작을 때 가장 큽니다. 트래픽이 많을 때는 연속 배칭이 이미 다른 요청으로 GPU를 채우므로 검증에 사용할 여분의 연산 자원이 거의 남지 않습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요