Chunked Prefill

청크 프리필은 전체 프롬프트를 중단 없이 한 번에 처리하는 대신 긴 입력 프롬프트를 더 작은 토큰 그룹으로 나누는 추론 스케줄링 기법입니다. 추론 엔진은 이러한 청크를 다른 요청의 토큰 생성과 교차 실행하여 하나의 긴 프롬프트가 GPU를 독점하지 않도록 할 수 있습니다. 그 결과 대화형 대규모 언어 모델 애플리케이션에서 동시 워크로드 처리 시 지연 시간이 일반적으로 더 안정되고, 하드웨어 활용률이 향상되며, 서비스를 더욱 예측 가능하게 제공할 수 있습니다.

청크 프리필 작동 방식#

자동회귀 Transformer 추론에는 두 가지 주요 단계가 있습니다.

• 프리필: 모델이 모든 입력 토큰을 처리하고, 해당 토큰의 어텐션 상태를 계산하며, KV 캐시를 채웁니다. 프리필은 많은 토큰을 병렬로 평가하므로 일반적으로 연산 집약적입니다.
• 디코드: 모델이 이전에 캐시된 상태를 읽으면서 한 번에 하나의 토큰씩 출력을 생성합니다. 디코드는 원시 연산 성능보다 메모리 대역폭에 의해 제한되는 경우가 많습니다.

청킹을 사용하지 않으면 20,000토큰 요청이 짧은 요청보다 훨씬 오랫동안 하나의 추론 단계를 점유할 수 있습니다. 그러면 활성 생성 작업이 일시 중지되어 자체 프롬프트가 짧더라도 토큰 간 지연 시간이 증가할 수 있습니다.

청크 프리필을 사용하면 스케줄러가 각 반복에 토큰 예산을 할당합니다. 먼저 활성 디코드 작업을 스케줄링한 다음, 남은 예산을 하나 이상의 프롬프트 청크에 사용합니다. 프롬프트가 예산에 맞지 않으면 남은 토큰은 다음 반복을 기다립니다. 현재의 vLLM 최적화 가이드는 이 접근 방식을 연산 집약적인 프리필 작업과 메모리 집약적인 디코딩을 결합하는 방법으로 설명합니다.

청킹은 프롬프트 토큰이 처리되는 시점을 변경할 뿐, 토큰의 순서나 의미를 변경하지 않습니다. 완료된 각 청크는 전체 프롬프트가 준비되고 디코딩을 시작할 수 있을 때까지 요청의 캐시된 어텐션 상태를 확장합니다.

청크 프리필이 중요한 이유#

청크 프리필은 운영 환경의 모델 서빙에서 서로 상충하는 성능 목표를 조정합니다.

• 토큰 간 지연 시간: 기존 디코드 요청의 우선순위를 높이면 스트리밍 응답을 긴 중단 없이 계속 제공할 수 있습니다.
• 첫 토큰까지의 시간: 큰 청크는 새 프롬프트를 더 빠르게 완료하지만, 매우 작은 청크는 첫 번째 생성 토큰이 나오는 시점을 늦출 수 있습니다.
• 처리량: 프리필 작업과 디코드 작업을 결합하면 GPU 연산과 메모리 대역폭을 더 효과적으로 사용할 수 있습니다.
• 공정성: 긴 프롬프트가 짧은 대화형 요청을 다수 차단할 가능성이 줄어듭니다.

따라서 청크 또는 토큰 예산 설정은 트레이드오프입니다. vLLM 스케줄러 구성은 배치 토큰 제한, 부분 프리필, 긴 프롬프트에 대한 임계값을 제어하는 기능을 제공합니다. 일반적으로 예산이 작으면 응답성이 높은 디코딩에 유리하고, 예산이 크면 프롬프트 입력 속도를 높이는 데 유리합니다.

청킹이 모든 병목을 제거하는 것은 아닙니다. 긴 컨텍스트는 여전히 캐시 메모리를 소비하며, 지나치게 공격적인 요청 수용은 캐시 압박, 요청 선점 또는 반복 작업을 유발할 수 있습니다. 운영자는 실제 프롬프트 분포에서 중앙값 및 꼬리 추론 지연 시간, 첫 토큰까지의 시간, 토큰 간 지연 시간, 처리량, GPU 메모리 사용량을 측정해야 합니다.

관련 추론 개념#

청크 프리필은 여러 최적화 기법과 밀접하게 연관되어 있지만, 고유한 목적을 갖습니다.

• 연속 배칭: 생성 중에 요청을 동적으로 추가하고 제거합니다. 청크 프리필은 긴 프롬프트 처리를 토큰 단위 경계에서 스케줄링할 수 있도록 하여 이를 보완합니다.
• 프롬프트 캐싱: 반복되는 프롬프트 접두사에 대해 이전에 계산한 상태를 재사용합니다. 청크 프리필은 새로운 계산을 스케줄링할 뿐, 해당 계산을 건너뛰지는 않습니다.
• 페이지드 KV 캐시 관리: 캐시된 어텐션 상태를 메모리 블록으로 구성합니다. NVIDIA의 TensorRT-LLM 개요에는 프롬프트 처리 최적화와 함께 페이지드 캐싱 및 인플라이트 배칭이 포함되어 있습니다.
• 동적 배칭: NVIDIA Triton 동적 배칭 가이드에 설명된 것처럼 서로 다른 요청을 배치로 결합합니다. 그렇다고 개별 긴 프롬프트를 반드시 부분 프리필로 나누는 것은 아닙니다.
• 분리형 프리필 및 디코드: 각 단계를 별도의 워커에서 실행합니다. NVIDIA의 프리필 및 디코드 배포 가이드는 이러한 단계를 대신 독립적으로 확장하는 방법을 보여줍니다.

Ultralytics YOLO26 Triton 배포 워크플로는 확장 가능한 컴퓨터 비전 추론과 자동 배칭을 지원하지만, 표준 YOLO 객체 감지에는 자동회귀 텍스트 프리필 단계가 없습니다. 청크 프리필은 주로 생성형 언어 모델과 멀티모달 모델에 적용됩니다.

실제 적용 사례#

1. 문서 어시스턴트: 검색 증강 어시스턴트는 긴 보고서를 받는 동시에 짧은 질문을 하는 사용자에게 서비스를 제공할 수 있습니다. 보고서의 프리필을 청크로 나누면 전체 컨텍스트가 처리될 때까지 대화가 멈추는 대신 진행 중인 대화가 계속 디코딩될 수 있습니다.

2. 멀티모달 동영상 분석: 비전-언어 모델은 이미지 특징, 객체 설명 및 긴 텍스트 지시를 받을 수 있습니다. 비전 파이프라인은 먼저 Ultralytics YOLO 예측을 사용해 감지 결과를 생성한 다음, 구조화된 시각적 컨텍스트를 생성형 모델로 보낼 수 있습니다. 청크 프리필은 결과로 생성된 시각 및 텍스트 토큰을 다른 요청과 함께 스케줄링하는 데 도움이 됩니다. NVIDIA의 멀티모달 인코드-프리필-디코드 워크플로는 이러한 단계를 독립적으로 관리하면 확장성이 향상될 수 있는 이유를 보여줍니다.

실용적인 배포 가이드#

대상 아키텍처를 공식적으로 지원하는 서빙 엔진을 통해서만 청크 프리필을 활성화해야 합니다. 예를 들어 TensorRT-LLM 백엔드 구성에는 지원되는 배포를 위한 청크 컨텍스트 제어 기능이 문서화되어 있습니다.

단일 요청에 의존하지 말고 실제와 유사한 동시성, 입력 길이 및 출력 길이로 벤치마크를 수행해야 합니다. 런타임에서 권장하는 토큰 예산으로 시작한 다음, 첫 토큰까지의 시간과 토큰 간 지연 시간을 확인하면서 조정합니다. 마지막으로 매우 긴 프롬프트와 매우 짧은 프롬프트가 모두 포함된 혼합 워크로드를 테스트해야 합니다. 청크 프리필은 이러한 환경에서 운영상의 가치를 가장 분명하게 제공합니다.