Context Rot

Context rot은 AI 모델이 처리할 수 있는 범위를 넘어서는 과도한 컨텍스트를 입력받을 때 신뢰성이 점진적으로 저하되는 현상을 말합니다. 명시된 context window가 기술적으로 수십만 개의 토큰을 담을 수 있더라도, 입력 데이터가 증가함에 따라 large language model은 관련 사실을 간과하거나, 구식 지시사항을 따르거나, 추론 정확도가 떨어질 수 있습니다. 2025년 Chroma context rot study는 18개의 모델과 여러 제어된 작업 전반에서 이러한 비균일적인 성능을 관찰했습니다. (trychroma.com)

Link to this sectionContext Rot이 발생하는 이유#

입력이 길어질수록 모델의 attention mechanism에 가해지는 부담이 커집니다. 중요한 근거 데이터는 반복된 지시사항, 무관한 문서, 툴 출력값, 오래된 대화 내용들과 경쟁해야 합니다. 컨텍스트 위치, 의미적 유사성, 상충하는 사실 관계, 작업 복잡성 모두가 모델이 어떤 정보를 활용할지에 영향을 미칠 수 있습니다.

2024년 RULER long-context benchmark는 간단한 검색 작업에서 잘 수행하던 모델들이 시퀀스 길이와 작업 복잡도가 증가함에 따라 성능이 저하되는 것을 발견했습니다. 2025년 NoLiMa benchmark는 답변을 찾기 위해 단순 단어 일치가 아닌 의미론적 추론이 필요할 때 더 큰 성능 저하가 나타남을 밝혀냈습니다. 따라서 Gemini 모델을 포함하여 context rot이 시작되는 보편적인 토큰 수란 존재하지 않으며, 임계값은 모델, 프롬프트 구조, 작업에 따라 달라집니다. (arxiv.org)

Link to this section실제 사례#

• 고객 지원 어시스턴트: 수년간의 티켓 데이터를 제공받은 챗봇은 구식 정책을 우선시하거나 최근의 계정 업데이트 내용을 놓칠 수 있습니다. LongMemEval conversational memory 및 멀티모달 LoCoMo benchmark를 사용한 연구에 따르면, 긴 상호작용 기록에서 정보를 추출하고, 업데이트하고, 추론하는 것은 여전히 어려운 과제입니다. (arxiv.org)
• 시각적 검사 에이전트: 공장을 모니터링하는 vision-language model은 모든 프레임, 탐지 결과, 유지보수 로그가 하나의 프롬프트에 입력될 경우 신뢰성이 떨어질 수 있습니다. 더 나은 워크플로우는 언어 모델이 추론하기 전에 Ultralytics YOLO26을 사용하여 간결한 시각적 사실을 추출하는 것입니다.
• 코딩 에이전트: 전체 리포지토리, 모든 툴 정의, 그리고 전체 터미널 기록을 로드하면 현재 목표가 흐려질 수 있습니다. Anthropic’s context-engineering guidance는 컨텍스트를 엄선할 것을 권장하며, Agent Skills approach를 통해 필요한 경우에만 상세 리소스를 로드하도록 합니다. (anthropic.com)

이 YOLO predict workflow는 원시 탐지 데이터를 간결하고 구조화된 컨텍스트로 변환하는 방법을 보여줍니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionContext Rot을 줄이는 방법#

• 관련 근거만 검색: 모든 문서를 보내는 대신 semantic chunking과 reranker를 사용하십시오.
• 오래된 정보 압축: 긴 기록을 검증된 요약, 결정 사항 및 미해결 작업으로 대체하십시오. 연구에 따르면 성공적인 검색 후에도 입력 길이가 길어지면 성능이 저하될 수 있습니다. (arxiv.org)
• 안정적인 접두사 유지: OpenAI prompt caching과 Gemini context caching은 반복 처리 비용을 낮출 수 있지만, 캐싱만으로는 컨텍스트 품질이 향상되지 않습니다.
• 슬라이딩 윈도우 사용: Google은 long live sessions를 위한 컨텍스트 윈도우 압축을 권장하며, 최근 정보를 유지하면서 오래된 토큰을 제거할 것을 제안합니다. (ai.google.dev)
• 현실적인 길이로 평가: model monitoring을 적용하고 open context rot toolkit을 사용하여 제어된 테스트를 재현하십시오.

Context rot은 지원되지 않는 출력을 생성하는 할루시네이션(hallucination), 학습 중 모델 지식이 변경되는 파괴적 망각(catastrophic forgetting), 그리고 변화하는 프로덕션 입력을 반영하는 데이터 드리프트(data drift)와는 다릅니다. Context rot은 주로 추론 단계에서의 컨텍스트 선택 및 추론 실패 문제이므로, 효과적인 context engineering이 이를 방어하는 주된 방법입니다.