Semantic Caching

시맨틱 캐싱은 주로 생성형 AI와 대규모 언어 모델(LLMs)에 사용되는 고급 최적화 기법으로, 쿼리의 정확한 텍스트가 아니라 의미(시맨틱스)를 기반으로 응답을 저장하고 검색합니다. 새 프롬프트가 이전에 응답한 프롬프트와 본질적으로 동일한 질문을 하는 경우를 식별하여 AI 모델을 다시 호출할 필요를 없애고 처리 시간과 API 비용을 크게 줄입니다.

시맨틱 캐싱 작동 방식#

동일한 문자열이 일치해야 하는 기존 캐싱과 달리, 시맨틱 캐시는 들어오는 쿼리를 임베딩이라고 하는 고차원 수치 벡터로 변환합니다. 사용자가 프롬프트를 제출하면 Redis 시맨틱 캐싱 또는 이와 유사한 인메모리 저장소를 사용하는 시스템이 벡터 검색을 수행하여 새 벡터를 벡터 데이터베이스에 저장된 기존 벡터와 비교합니다.

이 비교에는 수학적 거리 측정 지표가 사용되며, 가장 일반적으로 코사인 유사도가 사용됩니다. 새 쿼리와 캐시된 쿼리 간의 유사도 점수가 사전 정의된 임계값(예: 0.95)을 초과하면 "캐시 적중"으로 등록됩니다. 시스템은 저장된 응답을 즉시 반환하여 추론 엔진을 완전히 건너뜁니다. 점수가 임계값보다 낮으면 "캐시 미스"가 발생하며, 모델이 새 응답을 생성하고 향후 상호 작용을 위해 새로운 임베딩-응답 쌍을 저장합니다. 이 워크플로는 최신 클라우드 아키텍처에서 AI 애플리케이션을 확장하는 데 매우 효과적입니다.

실제 적용 사례#

시맨틱 캐싱은 다양한 도메인에서 비용 효율적인 AI 솔루션을 배포하는 데 필수적입니다.

• 고객 지원 챗봇: IT 지원 데스크에서는 수백 명의 사용자가 동일한 질문을 여러 방식으로 물어볼 수 있습니다(예: "비밀번호를 어떻게 재설정하나요?"와 "비밀번호를 잊었을 때의 단계"). 시맨틱 캐싱은 이러한 의도를 동일한 것으로 인식하여 모델이 답변을 한 번만 계산하도록 합니다. 이를 통해 추론 지연 시간을 크게 줄이고 API 관리 솔루션의 토큰 사용량을 절감합니다.
• 시각적 검색 및 RAG: 멀티모달 파이프라인에서 플랫폼은 특징 추출을 사용하여 참조 이미지의 임베딩을 캐시합니다. 사용자가 시각적으로 유사한 항목을 찾기 위해 이미지를 업로드하면, 시스템은 의미적으로 일치하는 캐시 결과를 즉시 검색하여 대규모 시각적 입력을 반복적으로 인코딩하지 않고도 시각적 추천 시스템을 빠르게 가속할 수 있습니다. 개발자는 이러한 캐싱 계층을 오케스트레이션하기 위해 LangChain과 같은 도구를 자주 통합합니다.

관련 캐싱 용어 구분#

AI 최적화를 종합적으로 이해하려면 시맨틱 캐싱을 다른 형태의 메모리 관리와 구분하는 것이 도움이 됩니다.

• 프롬프트 캐싱과 비교: 프롬프트 캐싱은 활성 세션 중 정적 컨텍스트(예: 긴 문서의 접두사)에 대해 미리 계산된 수학적 상태를 저장하여 후속 쿼리의 속도를 높입니다. 시맨틱 캐싱은 완전한 상호 작용의 최종 텍스트 또는 시각적 출력을 저장하여 완전히 새로운 쿼리이지만 동일한 의도를 가진 요청에 제공합니다.
• KV Cache와 비교: KV Cache는 Transformer 아키텍처 내부의 저수준 메모리 메커니즘으로, 실시간 추론을 지원하기 위해 토큰 단위의 텍스트 생성 중 중간 어텐션 상태를 저장합니다. 시맨틱 캐싱은 애플리케이션 계층에서 작동하며, 모델의 계층에 도달하기 전에 전체 입력-출력 교환을 캐시합니다.

비전에서 시맨틱 캐싱 시뮬레이션#

다음 Python 코드 스니펫은 PyTorch와 ultralytics 패키지를 사용하여 시맨틱 캐시의 핵심 메커니즘을 시뮬레이션하는 방법을 보여줍니다. Ultralytics YOLO26 분류 모델을 사용하여 이전에 캐시된 이미지와 새 쿼리 이미지 간의 유사도를 계산하면, 시스템은 전체 추론 패스가 필요한지 판단할 수 있습니다.

import torch
from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model for embedding generation
model = YOLO("yolo26n-cls.pt")

# Extract the embedding for a previously 'cached' reference image
cached_embed = model.embed("reference_shoe.jpg")[0].flatten()

# Extract the embedding for a new user query image
new_embed = model.embed("user_uploaded_shoe.jpg")[0].flatten()

# Calculate cosine similarity to check for a semantic cache hit
similarity = torch.nn.functional.cosine_similarity(cached_embed, new_embed, dim=0)

# Apply a threshold to determine if the images are semantically equivalent
if similarity > 0.90:
    print(f"Cache hit! Similarity: {similarity.item():.2f}. Returning cached response.")
else:
    print(f"Cache miss! Similarity: {similarity.item():.2f}. Running full inference.")

데이터 세트를 관리하고 고급 캐싱 아키텍처와 원활하게 통합할 수 있는 고도로 최적화된 컴퓨터 비전 모델을 배포하려는 팀을 위해 Ultralytics Platform은 대규모로 모델을 학습, 추적 및 서빙할 수 있는 직관적인 엔드투엔드 환경을 제공합니다.