Context Rot
Bağlam aşınması, girdi büyüdükçe bir LLM'nin doğruluğunun, bağlam penceresinin sınırına yaklaşılmamış olsa bile düşmesidir. Kanıtları, nedenleri ve çözümleri ele alır.
Bağlam çürümesi, bir büyük dil modelinin (LLM) girdisi, bağlam penceresinin sınırının çok altında kalsa bile girdi uzadıkça doğruluğunun düşmesidir. 300 belirteçlik bir istemden doğru yanıt veren model, aynı bilgiyi 100.000 belirteçlik konuşma geçmişi, belgeler ve araç çıktıları arasına gömüldüğünde kaçırabilir, güncelliğini yitirmiş bir talimatı izleyebilir veya benzer ayrıntıları karıştırabilir. Chroma'nın Temmuz 2025 tarihli bağlam çürümesi raporu, Anthropic, OpenAI, Google ve Alibaba'nın Claude Opus 4, GPT-4.1, Gemini 2.5 Pro ve Qwen3 dâhil 18 modelinde bu etkiyi ölçtü ve tekrarlanan sözcüklerden oluşan uzun bir listeyi kopyalamak kadar basit görevlerde bile tüm modellerde girdi uzunluğuyla birlikte doğruluğun düştüğünü buldu.
Bağlam Çürümesi Nasıl Ortaya Çıkar?#
Basit bilgi getirme testleri bu sorunu gizler. Samanlıkta iğne (NIAH) testinde eklenen bilgi genellikle soruyla ortak sözcükler taşır ve günümüzün öncü modelleri yüz binlerce belirteçte neredeyse %100 puan alır. Daha zor testler düşüşü ortaya çıkarır:
- Konum: 2023 tarihli Ortada Kaybolan çalışması, ilgili bölüm istemin başında veya sonunda olduğunda modellerin en iyi, ortasında olduğunda ise en kötü yanıtları verdiğini buldu.
- Görev karmaşıklığı: NVIDIA'nın RULER karşılaştırma testi, çok adımlı izleme ve toplama görevleri ekledi ve 32K veya daha fazla belirteç desteklediğini belirten 17 modelden yalnızca yarısının 32K'de tatmin edici performans gösterdiğini buldu.
- Birebir eşleşme yok: NoLiMa, her soruyu yanıtla en az düzeyde sözcük örtüşmesi olacak şekilde ifade eder; bu nedenle modelin aradaki bağlantıyı çıkarsaması gerekir. 32K belirteçte 13 modelden 11'inin puanı kısa bağlamdaki puanlarının yarısının altına düştü ve GPT-4o %99.3'ten %69.7'ye geriledi.
- Dikkat dağıtıcılar ve bellek: Chroma'nın testlerinde yanıta benzeyen tek bir bölüm bile doğruluğu düşürdü. LongMemEval konuşma sorularında ise odaklanmış, yaklaşık 300 belirteçlik istemlerle her model, yaklaşık 113.000 belirteçlik tam geçmişlerle olduğundan çok daha yüksek puan aldı.
Neden Oluyor?#
Öz dikkat, sabit miktardaki softmax ağırlığını tüm tokenlara dağıtır; böylece eklenen her token, önem taşıyan kanıtlarla rekabete girer; Anthropic'in modelin dikkat bütçesi adını verdiği sınır budur. Modeller, dikkat örüntülerini de kısa dizilerin uzun dizilerden daha yaygın olduğu eğitim verilerinden öğrenir; eski talimatlar, yerini yeni bilgilere bırakmış olgular ve birbirine çok benzeyen pasajlar da modele seçebileceği birkaç makul yanıt sunar. Yapı da önemlidir: Chroma'nın testlerinde, karışık ve tutarsız cümle yığınları, tutarlı yazılara kıyasla doğruluğu daha az düşürdü.
Bağlam Çürümesi ve İlgili Terimler#
- Bağlam penceresi: Bir modelin kabul ettiği belirteç sayısının katı sınırıdır. Bağlam çürümesi bu sınırın altında gerçekleşir.
- Halüsinasyon: Girdi veya olgular tarafından desteklenmeyen her türlü çıktı. Uzun ve dikkat dağıtıcı istemler halüsinasyon oranını artırır; Chroma'nın dikkat dağıtıcı testlerinde GPT modelleri en sık halüsinasyon görürken Claude modelleri yanıt vermeyi daha sık reddetti.
- Felaket niteliğinde unutma: Eğitim, modelin ağırlıklarını değiştirdiğinde önceki becerilerin kaybı. Bağlam çürümesi hiçbir ağırlığı değiştirmez ve çıkarım sırasında gerçekleşir.
- Veri kayması: Dağıtıma alınmış bir modelin zaman içinde aldığı girdilerde meydana gelen değişim.
Bağlam Çürümesini Azaltma#
Çözüm bağlam mühendisliğidir: her çağrıda modelin önüne ilgili belirteçlerden oluşan en küçük kümeyi koymak. Anlamsal bölümleme ve bir yeniden sıralayıcı kullanan getirme destekli üretim (RAG), tüm belge kümeleri yerine birkaç ilgili bölüm gönderir; istem sıkıştırma da geriye kalan metni kısaltır. Anthropic'in yapay zekâ ajanları için bağlam mühendisliği kılavuzu, uzun görevler için üç teknik daha önerir: eski turları bir özetle değiştiren sıkıştırma; yapay zekâ ajanının pencerenin dışında yazıp daha sonra geri okuduğu, bir epizodik bellek biçimi olan yapılandırılmış notlar; ve kendi pencerelerinde on binlerce belirteci inceleyip 1.000-2.000 belirteçlik özetler döndüren alt ajanlar.
Ajan becerileri, aynı tam zamanında yükleme yaklaşımını talimatlara uygular. Ultralytics Agent Skills içinde yolo yönlendirici becerisi, bir isteği yolo-training veya yolo-export gibi altı yaşam döngüsü becerisinden birine yönlendirir; böylece kodlama ajanı ayrıntılı YOLO kılavuzunu yalnızca üzerinde çalıştığı aşama için yükler.










