YOLO'yu lisansla
Ultralytics Sözlüğüne dön

LiveCodeBench

LiveCodeBench, LLM'leri eğitim kesim tarihinden sonra yayımlanan yarışma problemleriyle sınar; kod üretimini, kendi kendini düzeltmeyi, yürütmeyi ve test tahminini puanlar.

LiveCodeBench, büyük dil modellerinin (LLM) kodlama becerisi için, LeetCode, AtCoder ve Codeforces'taki rekabetçi programlama problemlerinden oluşturulmuş ve sürekli güncellenen bir kıyaslamadır. Her problem, yarışmada yayımlandığı tarihi içerir; dolayısıyla bir model yalnızca eğitim kesim tarihinden sonra yayımlanan, eğitim sırasında görmüş olamayacağı problemler üzerinden puanlanabilir. Naman Jain ve UC Berkeley, MIT ve Cornell'deki çalışma arkadaşları, Mart 2024'te LiveCodeBench: Büyük Dil Modellerinin Kodlama Becerisi İçin Kapsamlı ve Bulaşmasız Değerlendirme adlı makalede bu kıyaslamayı tanıttı; liderlik tablosu da değerlendiricilerin karşılaştırma yapacakları tarih aralığını seçmelerini sağlıyor.

Yayımlanma Tarihleri Neden Önemli#

OpenAI tarafından 2021'de elle yazılan 164 Python probleminden oluşan HumanEval gibi eski kod kıyaslamaları yıllardır çevrimiçi ortamda dolaşıyor ve bu problemlerin çözümleri de eğitim verilerinin kazındığı web metinlerinde yer alıyor. Model böylece yanıtları hatırlayarak yüksek puan alabilir; bu, kıyaslama verilerinin kirlenmesi olarak bilinen bir veri sızıntısı türüdür. LiveCodeBench yazarları bunu doğrudan ölçtü: DeepSeek'in kodlama modelleri ve GPT-4o, piyasaya sürülmelerinden veya belirtilen eğitim verisi kesim tarihlerinden sonra yayımlanan LeetCode problemlerinde eski problemlere kıyasla çok daha kötü performans gösterdi. Makale ayrıca HumanEval+ üzerinde yüksek, yeni problemlerde ise düşük puan alan bir grup ince ayar uygulanmış açık model tespit etti; örneğin DeepSeek-Coder-Instruct 1.3B, HumanEval+ problemlerinin %59,8'ini çözerken LiveCodeBench'in kolay problemlerinin yalnızca %26,3'ünü çözdü; bu da eski kıyaslamaya aşırı uyum sağlandığının bir göstergesiydi.

Koleksiyon, Hugging Face üzerinde her veri kümesi sürümüyle büyür. İlk sürüm release_v1, Mayıs 2023 ile Mart 2024 arasında yayımlanmış 400 problem içeriyordu; release_v6 ise Nisan 2025'e kadar yayımlanmış 1.055 problem içeriyordu. Bu nedenle tekrarlanabilir bir puan, kullanılan sürümü ve tarih aralığını belirtir.

Dört Senaryo#

LiveCodeBench yalnızca kod yazmayı değil, yararlı bir kodlama modelinin kodu okuyup çalıştırması ve hatalarını ayıklaması gerektiği için daha fazlasını da sınar:

  • Kod üretimi: Bir problem tanımı ile örnek girdiler ve çıktılardan program yaz. Değerlendirici programı gizli testlerle çalıştırır ve çözüm yalnızca testlerin tümünü geçerse kabul edilir.
  • Kendini onarma: Hata mesajını veya başarısız testi gördükten sonra hatalı bir çözümü düzelt. Bu, aracı tabanlı kodlama araçlarının kendi başlarına yürüttüğü geri bildirim döngüsünün aynısıdır.
  • Kod yürütme: Belirli bir programın belirli bir girdi için ne yazdıracağını tahmin et; bu, modelin kodu çalıştırmadan izleyip izleyemediğini sınar.
  • Test çıktısı tahmini: Yalnızca problem tanımındaki girdiden doğru çıktıyı tahmin et; bu, henüz bir uygulama yokken test yazmak için gereken beceridir.

Kod yürütme, mevcut bir programın ne yaptığını sorarken test çıktısı tahmini doğru bir programın ne yapması gerektiğini sorar. Makale, modellerin göreli sıralamasının dört senaryo arasında büyük ölçüde tutarlı kaldığını; modeller arasındaki farkların ise senaryodan senaryoya değiştiğini buldu.

LiveCodeBench Puanlarını Okuma#

Temel metrik pass@1'dir; bu, üretilen tek bir çözümün tüm gizli testleri geçme olasılığının problemler üzerinden ortalamasıdır. Makale bu olasılığı, çekirdek örnekleme ile 0,2 sıcaklıkta problem başına 10 örnek alarak tahmin eder; bu yöntem, ajan değerlendirmesi başlığında açıklanan pass@k metrik ailesinin bir parçasıdır. Puanlar kolay, orta ve zor problemlere göre de ayrıştırılır. İstem mühendisliği, çıktı uzunluğu sınırları ve tarih aralığı sonuçları değiştirir; bu nedenle liderlik tablosundaki sayılar yalnızca aynı ayarlar kullanıldığında karşılaştırılır.

LiveCodeBench, kendi içinde tamamlanmış algoritmik problemleri ölçer. SWE-bench, depo düzeyindeki hata düzeltmelerini puanlar; benzer adına karşın ayrı bir genel kıyaslama olan LiveBench de bulaşmayı sınırlamak için sorularını yeniler. İnsanlığın Son Sınavı ve GPQA ise yayımlanma tarihleri yerine gizli tutulan test soruları ve kanarya dizeleri kullanarak aynı sızıntı riskini ele alır.

Eğitim kesim tarihi, kodlama modelinin bu tarihten sonra yayımlanan kitaplık sürümleri hakkındaki bilgisini de sınırlar. Ultralytics Agent Skills, YOLO26 için kod yazan yapay zekâ aracılarına bu konuda yardımcı olur: sabitlenmiş bir ultralytics sürümüne göre doğrulanmış ağırlık adları, eğitim bağımsız değişkenleri ve dışa aktarma biçimleri katalogları sunar ve ikisi farklı olduğunda araca kurulu paketi temel almasını söyler.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla