Context Rot

컨텍스트 롯(Context rot)은 AI 모델이 효과적으로 사용할 수 있는 것보다 더 많은 컨텍스트를 입력받을 때 발생하는 점진적인 신뢰도 저하 현상입니다. 광고되는 context window가 기술적으로 수십만 개의 토큰을 수용할 수 있더라도, 입력이 커짐에 따라 large language model은 관련 사실을 간과하거나, 오래된 지시사항을 따르거나, 추론 정확도가 떨어질 수 있습니다. 2025년 Chroma context rot study에서는 18개의 모델과 여러 제어된 작업 전반에 걸쳐 이러한 비균일한 성능을 관찰했습니다. (trychroma.com)

Context Rot이 발생하는 이유#

긴 입력은 모델의 attention mechanism에 더 큰 부담을 줍니다. 중요한 증거는 반복되는 지시사항, 관련 없는 문서, 도구 출력, 이전 대화 턴과 경쟁해야 합니다. 컨텍스트 위치, 의미적 유사성, 상충되는 사실, 작업 복잡성 모두 모델이 사용하는 것에 영향을 미칠 수 있습니다.

2024년 RULER long-context benchmark에 따르면, 단순 검색에서 좋은 성능을 보인 모델들은 시퀀스 길이와 작업 복잡성이 증가함에 따라 성능이 저하되는 경향을 보였습니다. 2025년 NoLiMa benchmark는 답변을 찾는 데 동일한 단어 매칭이 아닌 의미적 추론이 필요할 때 더 큰 성능 저하가 발생한다는 것을 보여주었습니다. 따라서 Gemini 모델을 포함하여 컨텍스트 롯이 시작되는 보편적인 토큰 수는 존재하지 않으며, 임계값은 모델, 프롬프트 구조, 작업에 따라 달라집니다. (arxiv.org)

실제 사례#

• 고객 지원 어시스턴트: 수년간의 티켓이 제공된 챗봇은 오래된 정책을 우선시하거나 최근 계정 업데이트를 놓칠 수 있습니다. LongMemEval conversational memory 및 멀티모달 LoCoMo benchmark를 활용한 연구에 따르면, 긴 상호작용 기록을 추출, 업데이트하고 이를 기반으로 추론하는 것은 여전히 어려운 과제입니다. (arxiv.org)
• 시각 검사 에이전트: 모든 프레임, 감지 결과, 유지보수 로그가 하나의 프롬프트에 입력되면 공장을 모니터링하는 vision-language model의 신뢰도가 떨어질 수 있습니다. 더 나은 워크플로는 언어 모델이 추론하기 전에 Ultralytics YOLO26을 사용하여 간결한 시각적 사실을 추출하는 것입니다.
• 코딩 에이전트: 전체 리포지토리, 모든 도구 정의, 완전한 터미널 기록을 로드하면 현재 목표가 모호해질 수 있습니다. Anthropic’s context-engineering guidance에서는 컨텍스트 큐레이션을 권장하며, Agent Skills approach는 필요할 때만 상세한 리소스를 로드합니다. (anthropic.com)

이 YOLO predict workflow는 원본 감지 결과를 컴팩트하고 구조화된 컨텍스트로 변환하는 방법을 보여줍니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Context Rot을 줄이는 방법#

• Retrieve only relevant evidence: 사용 가능한 모든 문서를 보내는 대신 semantic chunking과 reranker를 사용하십시오.
• Compress older information: 긴 기록을 검증된 요약, 결정 사항, 미결제로 대체하십시오. 연구에 따르면 성공적인 검색 이후에도 입력 길이는 성능을 저하시킬 수 있습니다. (arxiv.org)
• 안정적인 프리픽스 유지: OpenAI prompt caching과 Gemini context caching은 반복 처리 비용을 낮출 수 있지만, 캐싱 자체만으로는 컨텍스트 품질이 향상되지 않습니다.
• 슬라이딩 윈도우 사용: Google은 context-window compression for long live sessions을 권장하며, 오래된 토큰을 제거하는 동시에 최근 정보를 유지합니다. (ai.google.dev)
• 현실적인 길이로 평가: model monitoring을 적용하고 open context rot toolkit으로 제어된 테스트를 재현하십시오.

컨텍스트 롯은 지원되지 않는 출력을 생성하는 환각(hallucination), 학습 중에 모델 지식을 변경하는 파멸적 망각(catastrophic forgetting), 그리고 변화하는 프로덕션 입력을 반영하는 데이터 드리프트(data drift)와는 다릅니다. 컨텍스트 롯은 주로 추론 시점의 컨텍스트 선택 및 추론 실패이므로, 효과적인 context engineering이 이에 대한 주된 방어 수단입니다.