LiveCodeBench

LiveCodeBench, yapay zekâ dil modellerinin programlama problemlerini ne kadar iyi çözdüğünü değerlendirmek için sürekli güncellenen bir kıyaslama ölçütüdür. Bir modelin çalışan kod üretip üretemediğini, hataları onarıp onaramadığını ve program davranışı hakkında akıl yürütebilip yürütemediğini test eder. Onu farklı kılan özelliği zamandır: Problemlerin yayınlanma tarihleri bulunur; böylece değerlendiriciler modelleri, eğitimlerinin kesildiği tarihten, yani eğitim materyallerinin kapsadığı en son tarihten sonra yayımlanan problemlerle test edebilir. Bu, gerçek problem çözme becerisini daha önce karşılaşılan çözümleri hatırlamaktan ayırmaya yardımcı olur.

Kökeni ve Kıyaslama Tasarımı#

2024 tarihli LiveCodeBench: Kod için Büyük Dil Modellerinin Bütüncül ve Veri Bulaşmasından Arındırılmış Değerlendirmesi makalesinde tanıtılan LiveCodeBench, Naman Jain liderliğindeki UC Berkeley, MIT ve Cornell University araştırmacıları tarafından oluşturuldu. LeetCode, AtCoder ve Codeforces'tan rekabetçi programlama problemleri toplar. İlk öne çıkan temel karşılaştırma modelleri arasında, değerlendirme görevlerinde güçlü performans gösteren GPT-4 Turbo ve Claude 3 Opus vardı; ilk karşılaştırmalarda DeepSeek-Instruct-33B ve Phind-34B, açık erişimli temel karşılaştırma modelleri arasında öne çıkıyordu. Bunlar kalıcı liderlik tablosu liderleri değil, tarihsel referans noktalarıdır.

İlk sürüm olan release_v1, Mayıs 2023 ile Mart 2024 arasında yayımlanmış 400 problem içeriyordu. Sonraki Hugging Face sürümleri koleksiyonu genişlettiğinden LiveCodeBench'in kalıcı, tek bir boyutu yoktur. Sonuçların yeniden üretilebilmesi için sürüm ve değerlendirme aralığı belirtilmelidir.

Diğer kıyaslama veri kümeleri gibi, modelleri karşılaştırmak için ortak görevler ve puanlama prosedürleri sunar. Ayrıca tarih damgalı değerlendirme tasarımı, değerlendiricilerin yeni yayımlanan problemlerin ortak bir dönemini seçmesine olanak tanır.

LiveCodeBench Neleri Ölçer#

LiveCodeBench, kaynak kod da dâhil olmak üzere metin üreten ve yorumlayan sistemler olan büyük dil modellerinin birbiriyle ilişkili dört becerisini değerlendirir:

• Kod üretimi: Bir problem tanımından ve örnek girdi-çıktı çiftlerinden program üretme. Değerlendirici, çözümü ek testlerle çalıştırır.
• Kendi kendini onarma: Bir istisna veya başarısız test gibi çalıştırma geri bildirimi aldıktan sonra hatalı bir çözümü gözden geçirip düzeltme.
• Kod çalıştırma: Belirli bir girdi için verilen bir programın çıktısını tahmin etme. Burada “çalıştırma”, modelin akıl yürütme görevini tanımlar; değerlendirici, modelin tahminini gerçek çalıştırmanın sonucuyla karşılaştırır.
• Test çıktısı tahmini: Uygulamayı görmeden, problem tanımından ve verilen bir girdiden beklenen çıktıyı çıkarma.

Son iki görev arasındaki fark önemlidir. Kod çalıştırma, mevcut bir programın ne yaptığını sorar; test çıktısı tahmini ise doğru bir uygulamanın ne yapması gerektiğini sorar. Kendi kendini onarma, yapay zekâ sistemlerinin kodu planladığı, yazdığı, çalıştırdığı ve gözden geçirip düzelttiği ajanik kodlamada da kullanılan geri bildirim ve gözden geçirme davranışını inceler.

Kod üretiminde işlevsel doğruluk, gerekli tüm testleri geçmek anlamına gelir. Bir program başarıyla çalışsa da yanlış yanıtlar üretebilir; çalıştırma hatasıysa programın hiç yanıt üretmesini engelleyebilir. Her iki başarısızlık da kıyaslama performansını etkiler.

Puanları Okuma ve Veri Bulaşmasını Anlama#

Pass@1, üretilen tek bir çözümün gerekli tüm testleri geçme olasılığının problemler genelinde ortalamasını ölçer. Bildirilen değerin %60 olması, belirtilen değerlendirme prosedürü kapsamında yaklaşık on problemden altısının çözüldüğü anlamına gelir. Her programın testlerinin %60'ını geçtiği anlamına gelmez.

Adil karşılaştırmalar için veri kümesi sürümünün, tarih aralığının, görevin ve üretim ayarlarının aynı olması gerekir. İstem mühendisliği, örnekleme ayarları, çıktı sınırları ve onarım fırsatları sonucu değiştirebilir. Kolay, orta ve zor düzeylere göre yapılan ayrımlar, genel ortalamanın gizlediği farklılıkları da ortaya çıkarır.

Kıyaslama verisi bulaşması, değerlendirme problemleri veya çözümleri bir modelin eğitim verilerinde yer aldığında ortaya çıkar. Bu tür bir veri sızıntısı, model materyalle daha önce karşılaştığı için puanları yükseltebilir. Modelin eğitim kesim tarihinden sonra yayımlanan problemleri seçmek bu riski azaltır; ancak kesim tarihinin güvenilirliği ve sonraki model güncellemeleri de önem taşır.

Bu nedenle, belirli bir modelin “LiveCodeBench'te lider olduğu” iddiası, tarihli bir liderlik tablosu anlık görüntüsü ve eşleşen değerlendirme ayarları gerektirir. Bu bağlamı içermeyen bir sıralamayı yorumlamak zordur.

Uygulamalar ve İlgili Kıyaslama Ölçütleri#

LiveCodeBench, kodlama modellerini karşılaştırmayı ve zayıflıkların çözüm üretme, kodu anlama ya da başarısızlıkları onarma alanlarından hangisinde olduğunu belirlemeyi destekler. Yarışma tabanlı görevleri, algoritmik programlama becerisine ilişkin kanıt sunar; daha kapsamlı yazılım geliştirme değerlendirmesi için depo içinde gezinme, bağımlılık yönetimi ve entegrasyon davranışına yönelik testler de gerekir.

LiveBench; akıl yürütme, matematik, dil ve kodlama gibi alanları kapsayan, daha geniş kapsamlı ayrı bir kıyaslama ölçütüdür. İsimlerinin benzer olması, puanlarının birbirinin yerine kullanılabileceği anlamına gelmez.

Ultralytics YOLO ile uygulama geliştirenler için LiveCodeBench, bir kodlama asistanını değerlendirirken başvurulabilecek göstergelerden biridir. Buna eşlik edecek somut bir iş akışı, uyumlu kodlama ajanlarına veri kümesi hazırlama, eğitim, çıkarım ve dışa aktarma talimatları sağlayan Ultralytics Agent Skills kullanımıdır.

Bu asistan bir YOLO26 uygulaması oluşturmaya yardımcı olduğunda, ürettiği kodu görme modelinden ayrı değerlendir: doğrulama modu tahmin kalitesini ölçerken, kıyaslama modu dağıtım biçimlerinin doğruluğunu ve çıkarım hızını karşılaştırır.