Diffusion Language Models

확산 언어 모델은 완전히 손상된 시퀀스, 대개 마스크 토큰만으로 이루어진 시퀀스에서 텍스트 생성을 시작하고, 일련의 노이즈 제거 단계에 걸쳐 여러 위치를 병렬로 정제합니다. 반면 기존 대규모 언어 모델(LLM)은 왼쪽에서 오른쪽으로 토큰을 한 번에 하나씩 생성합니다. 이 모델은 이미지 확산 모델의 핵심 아이디어를 이산 텍스트에 적용합니다. 순방향 과정에서 시퀀스를 점진적으로 손상시키고, 트랜스포머가 이를 되돌리는 방법을 학습합니다. 이 접근법은 2025년에 프로덕션 규모에 도달했습니다. 처음부터 학습한 80억 파라미터 확산 모델인 LLaDA는 문맥 내 학습에서 LLaMA3 8B와 경쟁할 만한 성능을 보였습니다. Inception Labs의 Mercury Coder 모델은 독립 테스트에서 NVIDIA H100 GPU를 사용해 초당 1,109개와 737개의 토큰을 처리했습니다. Google DeepMind의 실험 모델인 Gemini Diffusion은 평균 샘플링 속도가 초당 1,479개 토큰이라고 밝혔습니다.

마스크 확산의 작동 방식#

LLaDA와 최근의 다른 모델 대부분은 마스크 확산, 즉 흡수 상태 확산을 사용합니다. 순방향 과정은 0과 1 사이의 노이즈 수준 t를 선택하고, 확률 t에 따라 각 토큰을 마스크 기호로 바꿉니다:

import torch

torch.manual_seed(6)
tokens = ["the", "cat", "sat", "on", "the", "warm", "mat", "by", "the", "door"]

# Forward process of a masked diffusion LM: at noise level t, each token is masked with probability t
for t in [0.25, 0.5, 0.75, 1.0]:
    masked = torch.rand(len(tokens)) < t
    noisy = ["[M]" if m else token for token, m in zip(tokens, masked)]
    print(f"t={t:.2f}: {' '.join(noisy)}")

실행하면 2개, 5개, 8개, 마지막으로 전체 10개 단어가 마스킹된 문장이 출력됩니다. 학습 중에는 인과 마스크가 없는 트랜스포머가 이러한 시퀀스 하나를 입력받아 마스킹된 모든 토큰을 한꺼번에 예측합니다. 마스킹된 위치에 대한 교차 엔트로피 손실 함수를 사용하며, LLaDA는 여기에 1/t를 가중치로 적용합니다. 이 목표 함수는 항상 토큰의 15%를 예측하는 BERT의 마스크 언어 모델링을 모든 마스킹 비율로 일반화하며, 모델의 로그 가능도에 상한을 설정하므로 완전한 생성 모델이 됩니다.

생성은 t = 1에서 시작해 과정을 역방향으로 실행합니다. 각 단계에서 마스킹된 모든 위치를 예측하고, 신뢰도가 가장 높은 예측을 확정하며 나머지는 다시 마스킹합니다. LLaDA는 이 전략을 저신뢰도 재마스킹이라고 부릅니다. 긴 출력은 흔히 블록 단위로 생성되며, 이 방식은 블록 확산으로 정식화되어 이전 블록을 캐시할 수 있고 출력 길이를 미리 고정할 필요가 없습니다:

D3PM에서 프로덕션 모델까지#

Google의 D3PM은 2021년에 이산 상태에 대한 확산을 정의했으며, 여기에는 현재 대부분의 모델이 사용하는 흡수 마스크 상태가 포함됩니다. Stanford의 Diffusion-LM은 2022년에 연속적인 단어 임베딩을 확산시켜 생성된 텍스트를 구문 및 주제 제약에 맞게 조정했습니다. ICML 2024 최우수 논문상을 받은 Aaron Lou, Chenlin Meng, Stefano Ermon의 SEDD는 이전 텍스트 확산 모델의 퍼플렉시티를 25%~75% 낮추고 GPT-2보다 높은 성능을 보였습니다. 이후 LLaDA는 이 접근법이 수십억 개의 파라미터로 확장될 수 있음을 보였으며, 양방향으로 문맥을 읽기 때문에 왼쪽에서 오른쪽으로 처리하는 모델의 역전 저주를 시험하는 역순 시 완성 작업에서 GPT-4o를 앞섰습니다. Inception은 OpenAI 호환 Chat Completions API를 통해 Mercury를 제공하므로, Ultralytics LLM 인터페이스는 api="chat.completions"와 Inception의 base_url을 사용해 Mercury를 호출할 수 있습니다. 예를 들어 YOLO26 디텍션을 서면 보고서로 변환할 수 있습니다.

장점과 절충점#

병렬 언마스킹은 토큰 수보다 적은 순전파 횟수로 처리되며, 이것이 속도의 원천입니다. 단계 수가 줄어 한 번에 확정하는 토큰이 많아질수록 품질은 낮아집니다. 같은 단계에서 확정된 토큰은 서로 독립적으로 샘플링되므로, 한꺼번에 많은 토큰을 확정하면 서로 맞지 않는 조합이 생길 수 있습니다. 또한 각 단계는 블록 전체를 양방향으로 처리하므로 KV 캐시를 사용하는 자기회귀 단계 하나보다 계산 비용이 큽니다. 양방향 문맥을 활용하면 중간 채우기와 편집이 자연스럽습니다. 모델은 함수나 문서 중간의 공백을 양쪽 텍스트를 활용해 채울 수 있으므로, 기존 파일을 편집하는 코드 완성 및 에이전트형 코딩 도구에 적합합니다.

확산 LM과 관련 용어#

• 자기회귀 텍스트 생성: 왼쪽에 있는 토큰을 바탕으로 토큰을 하나씩 예측하며, 토큰마다 순전파를 한 번 수행합니다.
• 이미지 확산: Stable Diffusion과 다른 잠재 확산 모델은 연속적인 픽셀 또는 잠재 변수에 가우시안 노이즈를 추가하며, 노이즈 제거기로 확산 트랜스포머(DiT)를 사용하는 경우가 많습니다.
• 확산 포싱: 각 토큰에 개별 노이즈 수준을 부여해 다음 토큰 예측과 전체 시퀀스 확산을 결합하며, 주로 비디오와 계획 수립에 사용됩니다.
• 추측 디코딩: 작은 모델로 여러 토큰의 초안을 만들고 대형 모델의 순전파 한 번으로 검증해 자기회귀 모델을 가속하며, 출력 분포는 바꾸지 않습니다.