Text Generation

텍스트 생성은 모델이 한 줄 답변부터 전체 보고서나 프로그램까지 글을 자동으로 생성하는 작업입니다. 현재는 대부분 대규모 언어 모델(LLM)이 자기회귀 방식으로 처리합니다. 프롬프트가 주어지면 모델은 어휘의 모든 토큰에 대한 확률을 계산하고 하나를 선택해 덧붙인 뒤 종료하기로 결정할 때까지 이 과정을 반복합니다. 같은 반복 과정을 통해 채팅 어시스턴트, 코드 완성, 기계 번역, 텍스트 요약을 수행합니다. 초기 시스템은 템플릿을 채우거나 n-그램 및 순환 신경망 모델에서 샘플링했습니다. 이후 Transformer가 등장해 2019년 GPT-2 이후 길고 일관성 있는 텍스트를 실용적으로 생성할 수 있게 됐습니다.

자기회귀 생성 작동 방식#

토큰화는 프롬프트를 토큰 ID로 변환하며, 모델은 병렬 프리필 단계를 한 번 수행해 모든 토큰을 처리하고 각 토큰의 어텐션 키와 값을 KV 캐시에 저장합니다. 이후 각 디코딩 단계에서는 최신 토큰만 모델에 입력하고 캐시를 읽어 로짓을 생성합니다. 로짓은 어휘 항목마다 하나씩 존재하는 원시 점수이며, 소프트맥스가 이를 확률로 변환합니다. 디코딩 전략이 다음 토큰을 선택하면 해당 토큰이 사용자에게 스트리밍되고 시퀀스에 추가됩니다. 종료 토큰, 중지 문자열 또는 토큰 한도에 도달하면 생성이 종료되므로 출력 길이는 생성 중 결정됩니다.

프리필은 연산량이 많고 디코딩은 메모리 대역폭에 제한되므로, 서빙 엔진은 청크 단위 프리필 등을 사용해 두 작업의 실행 일정을 신중하게 조정합니다. 스트리밍을 사용하면 텍스트가 생성되는 대로 애플리케이션에 표시할 수 있습니다. Ultralytics LLM 인터페이스는 stream=True를 OpenAI SDK에 전달하므로, YOLO26 애플리케이션은 response.output_text.delta 이벤트가 도착할 때마다 감지된 장면에 대한 모델 설명을 토큰 단위로 출력할 수 있습니다.

디코딩 전략#

디코딩 전략은 모델만큼이나 출력에 큰 영향을 줍니다. 탐욕적 디코딩은 확률이 가장 높은 토큰을 항상 선택합니다. 결정론적이지만 같은 내용을 반복하는 경향이 있습니다. 빔 서치는 가능성이 높은 부분 시퀀스 k개를 유지하고 가장 좋은 완성 시퀀스를 반환하므로 번역처럼 정답이 하나인 작업에 적합합니다. 샘플링은 분포에서 토큰을 선택하며, 일반적으로 분포를 변형한 뒤 수행합니다. 온도는 소프트맥스 전에 로짓을 나누며, top-k 샘플링은 가능성이 높은 토큰 k개만 유지합니다. Holtzman 등이 2019년 발표한 The Curious Case of Neural Text Degeneration에서 제안한 누클리어스(top-p) 샘플링은 확률의 합이 p가 되는 가장 작은 토큰 집합을 유지합니다. PyTorch를 사용한 5개 토큰 어휘 예제에서 두 효과를 확인할 수 있습니다.

import torch

# Next-token logits over a five-word vocabulary after the prompt "I took the"
vocab = ["bus", "train", "car", "stairs", "banana"]
logits = torch.tensor([3.0, 2.4, 1.8, 0.6, -2.0])

# Temperature divides the logits: low values sharpen the distribution, high values flatten it
for temperature in [0.5, 1.0, 1.5]:
    probs = torch.softmax(logits / temperature, dim=-1)
    print(f"T={temperature}:", ", ".join(f"{w} {p:.2f}" for w, p in zip(vocab, probs)))

# Top-p (nucleus) sampling keeps the smallest set of tokens whose probabilities reach p
probs, order = torch.softmax(logits, dim=-1).sort(descending=True)
keep = probs.cumsum(dim=-1) - probs < 0.9
print("Top-p 0.9 keeps:", [vocab[i] for i in order[keep]])

# Sample from the renormalized nucleus
torch.manual_seed(0)
picks = torch.multinomial(probs[keep] / probs[keep].sum(), num_samples=10, replacement=True)
print("Samples:", [vocab[order[i]] for i in picks])

온도가 0.5일 때 "bus"의 확률은 0.71이며, 온도가 1.5이면 0.42로 내려가고 "banana"는 0.00에서 0.02로 올라갑니다. top-p 0.9는 확률 합계가 0.95인 "bus", "train", "car"를 유지하므로 "stairs"와 "banana"는 샘플링되지 않으며, 10회 샘플링하면 남은 세 토큰이 다양하게 선택됩니다. 다른 제어 방법도 같은 로짓에 작용합니다. 반복 페널티는 이미 사용된 토큰의 점수를 낮추며, 제약 디코딩은 문법이나 JSON 스키마를 위반하는 모든 토큰을 마스킹해 API가 구조화된 출력을 보장하도록 합니다. 추측 디코딩은 소형 초안 모델이 여러 토큰을 제안하고 대형 모델이 한 번에 이를 검증하도록 해 생성을 가속합니다.

텍스트 생성과 관련 용어 비교#

• 언어 모델링: 다음 토큰의 확률을 학습하는 작업으로, 텍스트 생성을 가능하게 하는 학습 목표입니다. 생성은 추론 시점에 해당 모델을 사용하는 과정입니다.
• 시퀀스-투-시퀀스 모델: 번역처럼 별도의 입력에서 출력 텍스트를 생성하는 인코더-디코더 모델입니다. 디코더 전용 LLM은 프롬프트를 이어 쓰는 방식으로 같은 작업을 처리합니다.
• 확산 언어 모델: 한 번에 토큰 하나씩 생성하는 대신 여러 차례의 노이즈 제거 단계에서 모든 위치를 병렬로 개선해 문단 전체를 생성합니다.
• 텍스트-투-이미지: 텍스트를 입력으로 받아 픽셀을 생성합니다.

품질과 위험#

생성된 텍스트는 정확성 여부와 상관없이 유창하므로 사실을 다루는 작업에서 환각이 주요 위험입니다. 검색 증강 생성(RAG)은 프롬프트에 출처 문서를 넣어 환각을 줄입니다. 온도가 낮으면 답변의 재현성이 높아지고, 온도가 높으면 다양성이 늘어나는 대신 가능성이 낮고 잘못된 토큰을 선택할 확률도 커집니다. 기계가 작성한 텍스트를 판별하기도 어려워 AI 워터마킹 연구가 진행되고 있습니다. 2020년 GPT-3 논문에서 사람들에게 1,750억 개 파라미터 모델이 쓴 200단어 뉴스 기사와 사람이 쓴 기사를 구분하도록 했을 때 정답률은 52%에 불과했습니다.