Context Rot

Context rot (bağlam çürümesi), bir AI modelinin etkili bir şekilde kullanabileceğinden daha fazla bağlam aldığında ortaya çıkan kademeli güvenilirlik kaybıdır. Reklamı yapılan bir context window teknik olarak yüz binlerce token tutabilse bile, bir large language model girdi büyüdükçe ilgili gerçekleri gözden kaçırabilir, eski talimatları izleyebilir veya daha az doğru akıl yürütebilir. 2025 tarihli bir Chroma context rot study, bu tek tip olmayan performansı 18 model ve birkaç kontrollü görev üzerinde gözlemlemiştir. (trychroma.com)

Bağlam Çürümesi Nasıl Gerçekleşir?#

Uzun girdiler, modelin attention mechanism üzerine daha büyük talepler yükler. Önemli kanıtlar; tekrarlanan talimatlar, ilgili olmayan belgeler, araç çıktıları ve daha eski konuşma turları ile rekabet etmek zorundadır. Bağlam konumu, anlamsal benzerlik, çelişkili gerçekler ve görev karmaşıklığı, modelin neyi kullandığını etkileyebilir.

2024 RULER long-context benchmark, basit alımda iyi performans gösteren modellerin, dizi uzunluğu ve görev karmaşıklığı arttıkça genellikle gerilediğini buldu. 2025 NoLiMa benchmark, bir yanıt bulmanın aynı kelimeleri eşleştirmek yerine anlamsal akıl yürütme gerektirdiği durumlarda daha büyük düşüşler ortaya çıkardı. Bu nedenle, Gemini modelleri dahil olmak üzere bağlam çürümesinin başladığı evrensel bir token sayısı yoktur; eşik modele, komut yapısına ve göreve bağlıdır. (arxiv.org)

Gerçek Dünya Örnekleri#

• Müşteri desteği asistanları: Yıllarca süren biletlerin verildiği bir sohbet botu, eski bir politikaya öncelik verebilir veya son bir hesap güncellemesini kaçırabilir. LongMemEval conversational memory ve çok modlu LoCoMo benchmark kullanan araştırmalar, uzun etkileşim geçmişlerini çıkarmanın, güncellemenin ve bunlara dayanarak akıl yürütmenin zor olmaya devam ettiğini göstermektedir. (arxiv.org)
• Görsel denetim ajanları: Bir fabrik izleyen bir vision-language model, her kare, algılama ve bakım günlüğü tek bir komut istemine yerleştirilirse daha az güvenilir hale gelebilir. Daha iyi bir iş akışı, dil modeli akıl yürütmesinden önce kısa görsel gerçekleri çıkarmak için Ultralytics YOLO26 kullanır.
• Kodlama ajanları: Tüm bir havuzun (repository), her araç tanımının ve eksiksiz terminal geçmişinin yüklenmesi mevcut hedefi gölgeleyebilir. Anthropic’s context-engineering guidance, bağlamın seçilip derlenmesini önerirken, Agent Skills approach ayrıntılı kaynakları yalnızca gerektiğinde yükler. (anthropic.com)

Bu YOLO predict workflow, ham algılamaları kompakt, yapılandırılmış bağlama dönüştürmeyi gösterir:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Bağlam Çürümesi Nasıl Azaltılır?#

• Retrieve only relevant evidence: Mevcut her belgeyi göndermek yerine semantic chunking ve bir reranker kullanın.
• Compress older information: Uzun geçmişleri doğrulanmış özetler, kararlar ve çözülmemiş görevlerle değiştirin. Araştırmalar, başarılı bir alımdan sonra bile girdi uzunluğunun performansı düşürebileceğini öne sürmektedir. (arxiv.org)
• Kararlı önekleri koruyun: OpenAI prompt caching ve Gemini context caching, yinelenen işleme maliyetlerini düşürebilir, ancak tek başına önbelleğe alma bağlam kalitesini iyileştirmez.
• Kayan pencereler kullanın: Google, eski token'ları çıkarırken son bilgileri saklayarak context-window compression for long live sessions önermektedir. (ai.google.dev)
• Gerçekçi uzunluklarda değerlendirin: model monitoring uygulayın ve open context rot toolkit ile kontrollü testleri yeniden üretin.

Bağlam çürümesi; desteklenmeyen bir çıktı olan halüsinasyondan, eğitim sırasında model bilgisini değiştiren felaket niteliğindeki unutmadan ve değişen üretim girdilerini yansıtan veri kaymasından farklıdır. Bağlam çürümesi öncelikli olarak bir çıkarım zamanı bağlam seçim ve akıl yürütme hatasıdır, bu da etkili context engineering çalışmasını onun ana savunması haline getirir.