LiveCodeBench
LiveCodeBench prüft LLMs anhand von Wettbewerbsaufgaben, die nach dem Trainingsstichtag der Modelle veröffentlicht wurden. Bewertet werden Codegenerierung, Selbstkorrektur, Ausführung und Testvorhersage.
LiveCodeBench ist ein laufend aktualisierter Benchmark für die Programmierfähigkeiten großer Sprachmodelle (LLMs). Er basiert auf Programmierwettbewerbsaufgaben von LeetCode, AtCoder und Codeforces. Für jede Aufgabe ist das Veröffentlichungsdatum des Wettbewerbs vermerkt. So lässt sich ein Modell nur anhand von Aufgaben bewerten, die nach dem Trainingsstichtag des Modells veröffentlicht wurden und die es im Training nicht gesehen haben kann. Naman Jain und seine Kollegen von UC Berkeley, MIT und Cornell stellten LiveCodeBench im März 2024 im Artikel LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code vor. Über die Rangliste können Bewertende den Zeitraum für den Vergleich auswählen.
Warum Veröffentlichungsdaten wichtig sind#
Ältere Programmier-Benchmarks wie HumanEval – 164 von OpenAI handgeschriebene Python-Aufgaben aus dem Jahr 2021 – sind seit Jahren online verbreitet. Ihre Lösungen finden sich in den Webtexten, aus denen Trainingsdaten gesammelt werden. Ein Modell kann deshalb gut abschneiden, indem es Antworten auswendig wiedergibt. Diese Form der Datenleckage wird als Benchmark-Kontamination bezeichnet. Die Autorinnen und Autoren von LiveCodeBench untersuchten dieses Problem direkt: Die Programmiermodelle von DeepSeek und GPT-4o schnitten bei LeetCode-Aufgaben, die nach ihrer Veröffentlichung oder dem angegebenen Trainingsstichtag erschienen waren, deutlich schlechter ab als bei älteren Aufgaben. Der Artikel fand außerdem eine Gruppe feinabgestimmter Open-Source-Modelle, die bei HumanEval+ gut, bei neuen Aufgaben jedoch schlecht abschnitten. DeepSeek-Coder-Instruct 1.3B löste zum Beispiel 59,8 % der HumanEval+-Aufgaben, aber nur 26,3 % der einfachen Aufgaben von LiveCodeBench – ein Hinweis auf Überanpassung an den älteren Benchmark.
Die Sammlung wächst mit jeder Veröffentlichung eines Datensatzes auf Hugging Face. Die erste Version, release_v1, enthielt 400 Aufgaben, die zwischen Mai 2023 und März 2024 veröffentlicht wurden. release_v6 umfasste 1.055 Aufgaben, die bis April 2025 erschienen waren. Für einen reproduzierbaren Wert müssen daher die Version und der Datumsbereich angegeben werden.
Die vier Szenarien#
LiveCodeBench testet mehr als nur das Schreiben von Code, denn ein nützliches Programmiermodell muss Code auch lesen, ausführen und debuggen können:
- Codegenerierung: Schreibe ein Programm anhand einer Aufgabenbeschreibung sowie von Beispiel-Eingaben und -Ausgaben. Die Bewertungsinstanz führt es mit verborgenen Tests aus. Eine Lösung zählt nur, wenn sie alle Tests besteht.
- Selbstkorrektur: Korrigiere eine fehlerhafte Lösung, nachdem du die Fehlermeldung oder den fehlgeschlagenen Test gesehen hast – dieselbe Rückkopplungsschleife, die Tools für agentisches Programmieren selbst ausführen.
- Codeausführung: Sage voraus, was ein vorgegebenes Programm bei einer bestimmten Eingabe ausgibt. Damit wird geprüft, ob das Modell Code nachvollziehen kann, ohne ihn auszuführen.
- Vorhersage von Testergebnissen: Sage allein anhand der Aufgabenbeschreibung die korrekte Ausgabe für eine Eingabe voraus. Diese Fähigkeit kommt zum Einsatz, wenn Tests geschrieben werden, bevor eine Implementierung existiert.
Bei der Codeausführung wird gefragt, was ein bestehendes Programm tut, bei der Vorhersage von Testergebnissen hingegen, was ein korrektes Programm tun sollte. Der Artikel stellte fest, dass die relative Reihenfolge der Modelle in den vier Szenarien weitgehend gleich bleibt, während die Leistungsabstände zwischen den Modellen je nach Szenario variieren.
LiveCodeBench-Werte verstehen#
Die zentrale Metrik ist pass@1: die Wahrscheinlichkeit, dass eine einzelne generierte Lösung alle verborgenen Tests besteht, gemittelt über alle Aufgaben. Der Artikel schätzt sie anhand von 10 Stichproben pro Aufgabe mit Nucleus Sampling bei einer Temperatur von 0,2. Sie gehört zur pass@k-Metrikfamilie, die im Abschnitt zur Agentenbewertung beschrieben wird. Die Werte werden außerdem nach einfachen, mittelschweren und schwierigen Aufgaben aufgeschlüsselt. Prompt Engineering, Ausgabelängenbegrenzungen und der Datumsbereich beeinflussen die Ergebnisse. Daher lassen sich Werte aus der Rangliste nur bei übereinstimmenden Einstellungen vergleichen.
LiveCodeBench misst in sich abgeschlossene algorithmische Aufgaben. SWE-bench bewertet Fehlerbehebungen auf Repository-Ebene. LiveBench ist trotz des ähnlichen Namens ein separater, allgemeiner Benchmark, der seine Fragen ebenfalls regelmäßig aktualisiert, um Kontamination zu begrenzen. Humanity's Last Exam und GPQA begegnen demselben Leckagerisiko mit privaten, zurückgehaltenen Fragen und Canary-Zeichenfolgen statt mit Veröffentlichungsdaten.
Ein Trainingsstichtag begrenzt außerdem das Wissen eines Programmiermodells über danach veröffentlichte Bibliotheksversionen. Ultralytics Agent Skills schließen diese Lücke für KI-Agenten, die Code für YOLO26 schreiben. Sie enthalten Kataloge mit Gewichtsnamen, Trainingsargumenten und Exportformaten, die anhand einer festgelegten Version ultralytics geprüft wurden. Weichen die Angaben voneinander ab, sollen sich Agenten auf das installierte Paket verlassen.










