LiveCodeBench
LiveCodeBench, LLM'leri eğitim kesim tarihinden sonra yayımlanan yarışma problemleriyle sınar; kod üretimini, kendi kendini düzeltmeyi, yürütmeyi ve test tahminini puanlar.
LiveCodeBench, büyük dil modellerinin (LLM) kodlama becerisi için, LeetCode, AtCoder ve Codeforces'taki rekabetçi programlama problemlerinden oluşturulmuş ve sürekli güncellenen bir kıyaslamadır. Her problem, yarışmada yayımlandığı tarihi içerir; dolayısıyla bir model yalnızca eğitim kesim tarihinden sonra yayımlanan, eğitim sırasında görmüş olamayacağı problemler üzerinden puanlanabilir. Naman Jain ve UC Berkeley, MIT ve Cornell'deki çalışma arkadaşları, Mart 2024'te LiveCodeBench: Büyük Dil Modellerinin Kodlama Becerisi İçin Kapsamlı ve Bulaşmasız Değerlendirme adlı makalede bu kıyaslamayı tanıttı; liderlik tablosu da değerlendiricilerin karşılaştırma yapacakları tarih aralığını seçmelerini sağlıyor.
Yayımlanma Tarihleri Neden Önemli#
OpenAI tarafından 2021'de elle yazılan 164 Python probleminden oluşan HumanEval gibi eski kod kıyaslamaları yıllardır çevrimiçi ortamda dolaşıyor ve bu problemlerin çözümleri de eğitim verilerinin kazındığı web metinlerinde yer alıyor. Model böylece yanıtları hatırlayarak yüksek puan alabilir; bu, kıyaslama verilerinin kirlenmesi olarak bilinen bir veri sızıntısı türüdür. LiveCodeBench yazarları bunu doğrudan ölçtü: DeepSeek'in kodlama modelleri ve GPT-4o, piyasaya sürülmelerinden veya belirtilen eğitim verisi kesim tarihlerinden sonra yayımlanan LeetCode problemlerinde eski problemlere kıyasla çok daha kötü performans gösterdi. Makale ayrıca HumanEval+ üzerinde yüksek, yeni problemlerde ise düşük puan alan bir grup ince ayar uygulanmış açık model tespit etti; örneğin DeepSeek-Coder-Instruct 1.3B, HumanEval+ problemlerinin %59,8'ini çözerken LiveCodeBench'in kolay problemlerinin yalnızca %26,3'ünü çözdü; bu da eski kıyaslamaya aşırı uyum sağlandığının bir göstergesiydi.
Koleksiyon, Hugging Face üzerinde her veri kümesi sürümüyle büyür. İlk sürüm release_v1, Mayıs 2023 ile Mart 2024 arasında yayımlanmış 400 problem içeriyordu; release_v6 ise Nisan 2025'e kadar yayımlanmış 1.055 problem içeriyordu. Bu nedenle tekrarlanabilir bir puan, kullanılan sürümü ve tarih aralığını belirtir.
Dört Senaryo#
LiveCodeBench yalnızca kod yazmayı değil, yararlı bir kodlama modelinin kodu okuyup çalıştırması ve hatalarını ayıklaması gerektiği için daha fazlasını da sınar:
- Kod üretimi: Bir problem tanımı ile örnek girdiler ve çıktılardan program yaz. Değerlendirici programı gizli testlerle çalıştırır ve çözüm yalnızca testlerin tümünü geçerse kabul edilir.
- Kendini onarma: Hata mesajını veya başarısız testi gördükten sonra hatalı bir çözümü düzelt. Bu, aracı tabanlı kodlama araçlarının kendi başlarına yürüttüğü geri bildirim döngüsünün aynısıdır.
- Kod yürütme: Belirli bir programın belirli bir girdi için ne yazdıracağını tahmin et; bu, modelin kodu çalıştırmadan izleyip izleyemediğini sınar.
- Test çıktısı tahmini: Yalnızca problem tanımındaki girdiden doğru çıktıyı tahmin et; bu, henüz bir uygulama yokken test yazmak için gereken beceridir.
Kod yürütme, mevcut bir programın ne yaptığını sorarken test çıktısı tahmini doğru bir programın ne yapması gerektiğini sorar. Makale, modellerin göreli sıralamasının dört senaryo arasında büyük ölçüde tutarlı kaldığını; modeller arasındaki farkların ise senaryodan senaryoya değiştiğini buldu.
LiveCodeBench Puanlarını Okuma#
Temel metrik pass@1'dir; bu, üretilen tek bir çözümün tüm gizli testleri geçme olasılığının problemler üzerinden ortalamasıdır. Makale bu olasılığı, çekirdek örnekleme ile 0,2 sıcaklıkta problem başına 10 örnek alarak tahmin eder; bu yöntem, ajan değerlendirmesi başlığında açıklanan pass@k metrik ailesinin bir parçasıdır. Puanlar kolay, orta ve zor problemlere göre de ayrıştırılır. İstem mühendisliği, çıktı uzunluğu sınırları ve tarih aralığı sonuçları değiştirir; bu nedenle liderlik tablosundaki sayılar yalnızca aynı ayarlar kullanıldığında karşılaştırılır.
LiveCodeBench, kendi içinde tamamlanmış algoritmik problemleri ölçer. SWE-bench, depo düzeyindeki hata düzeltmelerini puanlar; benzer adına karşın ayrı bir genel kıyaslama olan LiveBench de bulaşmayı sınırlamak için sorularını yeniler. İnsanlığın Son Sınavı ve GPQA ise yayımlanma tarihleri yerine gizli tutulan test soruları ve kanarya dizeleri kullanarak aynı sızıntı riskini ele alır.
Eğitim kesim tarihi, kodlama modelinin bu tarihten sonra yayımlanan kitaplık sürümleri hakkındaki bilgisini de sınırlar. Ultralytics Agent Skills, YOLO26 için kod yazan yapay zekâ aracılarına bu konuda yardımcı olur: sabitlenmiş bir ultralytics sürümüne göre doğrulanmış ağırlık adları, eğitim bağımsız değişkenleri ve dışa aktarma biçimleri katalogları sunar ve ikisi farklı olduğunda araca kurulu paketi temel almasını söyler.










