YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Context Rot

Bağlam aşınması, girdi büyüdükçe bir LLM'nin doğruluğunun, bağlam penceresinin sınırına yaklaşılmamış olsa bile düşmesidir. Kanıtları, nedenleri ve çözümleri ele alır.

Bağlam çürümesi, bir büyük dil modelinin (LLM) girdisi, bağlam penceresinin sınırının çok altında kalsa bile girdi uzadıkça doğruluğunun düşmesidir. 300 belirteçlik bir istemden doğru yanıt veren model, aynı bilgiyi 100.000 belirteçlik konuşma geçmişi, belgeler ve araç çıktıları arasına gömüldüğünde kaçırabilir, güncelliğini yitirmiş bir talimatı izleyebilir veya benzer ayrıntıları karıştırabilir. Chroma'nın Temmuz 2025 tarihli bağlam çürümesi raporu, Anthropic, OpenAI, Google ve Alibaba'nın Claude Opus 4, GPT-4.1, Gemini 2.5 Pro ve Qwen3 dâhil 18 modelinde bu etkiyi ölçtü ve tekrarlanan sözcüklerden oluşan uzun bir listeyi kopyalamak kadar basit görevlerde bile tüm modellerde girdi uzunluğuyla birlikte doğruluğun düştüğünü buldu.

Bağlam Çürümesi Nasıl Ortaya Çıkar?#

Basit bilgi getirme testleri bu sorunu gizler. Samanlıkta iğne (NIAH) testinde eklenen bilgi genellikle soruyla ortak sözcükler taşır ve günümüzün öncü modelleri yüz binlerce belirteçte neredeyse %100 puan alır. Daha zor testler düşüşü ortaya çıkarır:

  • Konum: 2023 tarihli Ortada Kaybolan çalışması, ilgili bölüm istemin başında veya sonunda olduğunda modellerin en iyi, ortasında olduğunda ise en kötü yanıtları verdiğini buldu.
  • Görev karmaşıklığı: NVIDIA'nın RULER karşılaştırma testi, çok adımlı izleme ve toplama görevleri ekledi ve 32K veya daha fazla belirteç desteklediğini belirten 17 modelden yalnızca yarısının 32K'de tatmin edici performans gösterdiğini buldu.
  • Birebir eşleşme yok: NoLiMa, her soruyu yanıtla en az düzeyde sözcük örtüşmesi olacak şekilde ifade eder; bu nedenle modelin aradaki bağlantıyı çıkarsaması gerekir. 32K belirteçte 13 modelden 11'inin puanı kısa bağlamdaki puanlarının yarısının altına düştü ve GPT-4o %99.3'ten %69.7'ye geriledi.
  • Dikkat dağıtıcılar ve bellek: Chroma'nın testlerinde yanıta benzeyen tek bir bölüm bile doğruluğu düşürdü. LongMemEval konuşma sorularında ise odaklanmış, yaklaşık 300 belirteçlik istemlerle her model, yaklaşık 113.000 belirteçlik tam geçmişlerle olduğundan çok daha yüksek puan aldı.

Neden Oluyor?#

Öz dikkat, sabit miktardaki softmax ağırlığını tüm tokenlara dağıtır; böylece eklenen her token, önem taşıyan kanıtlarla rekabete girer; Anthropic'in modelin dikkat bütçesi adını verdiği sınır budur. Modeller, dikkat örüntülerini de kısa dizilerin uzun dizilerden daha yaygın olduğu eğitim verilerinden öğrenir; eski talimatlar, yerini yeni bilgilere bırakmış olgular ve birbirine çok benzeyen pasajlar da modele seçebileceği birkaç makul yanıt sunar. Yapı da önemlidir: Chroma'nın testlerinde, karışık ve tutarsız cümle yığınları, tutarlı yazılara kıyasla doğruluğu daha az düşürdü.

  • Bağlam penceresi: Bir modelin kabul ettiği belirteç sayısının katı sınırıdır. Bağlam çürümesi bu sınırın altında gerçekleşir.
  • Halüsinasyon: Girdi veya olgular tarafından desteklenmeyen her türlü çıktı. Uzun ve dikkat dağıtıcı istemler halüsinasyon oranını artırır; Chroma'nın dikkat dağıtıcı testlerinde GPT modelleri en sık halüsinasyon görürken Claude modelleri yanıt vermeyi daha sık reddetti.
  • Felaket niteliğinde unutma: Eğitim, modelin ağırlıklarını değiştirdiğinde önceki becerilerin kaybı. Bağlam çürümesi hiçbir ağırlığı değiştirmez ve çıkarım sırasında gerçekleşir.
  • Veri kayması: Dağıtıma alınmış bir modelin zaman içinde aldığı girdilerde meydana gelen değişim.

Bağlam Çürümesini Azaltma#

Çözüm bağlam mühendisliğidir: her çağrıda modelin önüne ilgili belirteçlerden oluşan en küçük kümeyi koymak. Anlamsal bölümleme ve bir yeniden sıralayıcı kullanan getirme destekli üretim (RAG), tüm belge kümeleri yerine birkaç ilgili bölüm gönderir; istem sıkıştırma da geriye kalan metni kısaltır. Anthropic'in yapay zekâ ajanları için bağlam mühendisliği kılavuzu, uzun görevler için üç teknik daha önerir: eski turları bir özetle değiştiren sıkıştırma; yapay zekâ ajanının pencerenin dışında yazıp daha sonra geri okuduğu, bir epizodik bellek biçimi olan yapılandırılmış notlar; ve kendi pencerelerinde on binlerce belirteci inceleyip 1.000-2.000 belirteçlik özetler döndüren alt ajanlar.

Ajan becerileri, aynı tam zamanında yükleme yaklaşımını talimatlara uygular. Ultralytics Agent Skills içinde yolo yönlendirici becerisi, bir isteği yolo-training veya yolo-export gibi altı yaşam döngüsü becerisinden birine yönlendirir; böylece kodlama ajanı ayrıntılı YOLO kılavuzunu yalnızca üzerinde çalıştığı aşama için yükler.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla