Prompt Caching

프롬프트 캐싱은 주로 **생성형 AI**에서 사용되는 고급 최적화 전략으로, 추론 중 비용을 크게 절감하고 응답 시간을 단축합니다. **대규모 언어 모델(LLMs)**에서는 텍스트를 처리하려면 입력을 **토큰**이라고 하는 수치 시퀀스로 변환해야 합니다. 상세한 시스템 지침, 긴 법률 문서 또는 코드베이스와 같이 입력 데이터의 상당 부분은 여러 사용자 쿼리에서 동일하게 유지되는 경우가 많습니다. 새로운 요청마다 이러한 변경되지 않는 섹션을 다시 처리하는 대신, 프롬프트 캐싱은 사전 계산된 수학적 상태(흔히 Key-Value 캐시라고 함)를 메모리에 저장합니다. 이를 통해 **추론 엔진**은 중복 계산을 건너뛰고 사용자의 프롬프트에서 새롭게 추가된 동적 부분에만 연산 리소스를 집중할 수 있습니다.

메커니즘 및 이점#

프롬프트 캐싱의 기본 메커니즘은 데이터를 순차적으로 처리하는 Transformer 아키텍처에 기반합니다. 프롬프트에서 반복되는 접두사를 식별하면 시스템은 해당 어텐션 메커니즘 상태를 고속 메모리에서 직접 로드할 수 있습니다.

• 지연 시간 감소: 캐싱은 특히 첫 번째 토큰까지의 시간(Time to First Token, TTFT)을 비롯한 **추론 지연 시간**을 크게 줄입니다. 따라서 대화형 **챗봇**과 같은 실시간 애플리케이션을 사용자가 즉각적으로 반응하는 것처럼 느낄 수 있습니다.
• 비용 효율성: 클라우드 컴퓨팅 제공업체는 컴퓨팅 시간 또는 토큰 처리량을 기준으로 요금을 청구하는 경우가 많으므로, 정적 컨텍스트에 대한 대규모 연산을 건너뛰면 상당한 비용을 절감할 수 있습니다.
• 처리량 증가: GPU 리소스를 확보하면 서버가 더 많은 동시 요청을 처리할 수 있어 전체 모델 서빙 인프라의 확장성이 향상됩니다.

실제 적용 사례#

프롬프트 캐싱은 대규모 데이터 컨텍스트에 의존하는 산업을 변화시키고 있습니다.

1. 코딩 어시스턴트: 소프트웨어 개발에서 **GitHub Copilot**과 같은 도구는 사용자가 열어 둔 파일과 저장소 구조에서 방대한 양의 컨텍스트를 활용합니다. 코드베이스의 **임베딩**을 캐싱하면 모델이 키 입력마다 전체 프로젝트 파일 구조를 다시 분석하지 않고도 실시간 코드 완성 제안을 제공할 수 있습니다.

2. 법률 및 의료 분석: 전문가는 판례 아카이브나 환자 병력 기록과 같은 방대한 정적 문서에 대해 **AI 에이전트**로 쿼리를 수행하는 경우가 많습니다. **검색 증강 생성(RAG)**을 사용하면 시스템이 관련 텍스트 청크를 검색합니다. 프롬프트 캐싱을 사용하면 후속 질문마다 검색된 문서의 기본 컨텍스트를 다시 계산할 필요가 없어 질의응답 워크플로가 간소화됩니다.

컴퓨터 비전에서의 중요성#

캐싱은 전통적으로 텍스트와 연관되어 왔지만, 멀티모달 **컴퓨터 비전(CV)**에서도 중요한 개념입니다. **YOLO-World**와 같은 모델을 사용하면 사용자가 개방형 어휘 텍스트 프롬프트로 객체를 탐지할 수 있습니다. 사용자가 클래스 목록(예: "person, backpack, car")을 정의하면 모델이 해당 클래스의 텍스트 임베딩을 계산합니다. 이러한 임베딩을 캐싱하면 모든 비디오 프레임마다 모델이 텍스트 프롬프트를 다시 인코딩할 필요가 없어 고속 **실시간 추론**이 가능합니다.

관련 용어 구분#

• 프롬프트 엔지니어링과 비교: 프롬프트 엔지니어링은 모델을 안내하기 위한 최적의 텍스트 입력을 설계하는 사람의 작업을 의미합니다. 프롬프트 캐싱은 해당 텍스트에 대한 시스템의 처리를 저장하는 백엔드 연산 최적화입니다.
• 프롬프트 튜닝과 비교: 프롬프트 튜닝은 특정 모델 가중치(소프트 프롬프트)를 업데이트하여 모델을 작업에 맞게 조정하는 전이 학습 기법입니다. 캐싱은 모델의 파라미터를 변경하지 않고 런타임 중 활성화 상태만 기억합니다.

코드 예제: 비전에서 텍스트 임베딩 캐싱#

다음 Python 스니펫은 ultralytics 패키지를 사용하여 비전 컨텍스트에서 프롬프트를 "캐싱"하는 개념을 보여줍니다. YOLO-World 모델에서 클래스를 한 번 설정하면 텍스트 임베딩이 계산되어 저장(영구 보존)되므로, 모델이 텍스트 설명을 다시 처리하지 않고도 여러 이미지에 대해 효율적으로 예측할 수 있습니다.

from ultralytics import YOLOWorld

# Load a YOLO-World model capable of open-vocabulary detection
model = YOLOWorld("yolov8s-world.pt")

# "Cache" the prompt: Define classes once.
# The model computes and stores text embeddings for these specific terms.
model.set_classes(["helmet", "reflective vest", "gloves"])

# Run inference repeatedly. The text prompt is not re-computed for each call.
# This mimics the efficiency gains of prompt caching in LLMs.
results_1 = model.predict("construction_site_1.jpg")
results_2 = model.predict("construction_site_2.jpg")

데이터셋을 관리하고 이러한 최적화된 모델을 배포하기 위해 **Ultralytics Platform**은 데이터 주석 작업, **YOLO26**과 같은 최첨단 모델의 학습, 다양한 Edge AI 디바이스 전반의 배포 성능 모니터링을 위한 종합 환경을 제공합니다.