YOLO lizenzieren
Zurück zum Ultralytics-Glossar

LiveCodeBench

LiveCodeBench prüft LLMs anhand von Wettbewerbsaufgaben, die nach dem Trainingsstichtag der Modelle veröffentlicht wurden. Bewertet werden Codegenerierung, Selbstkorrektur, Ausführung und Testvorhersage.

LiveCodeBench ist ein laufend aktualisierter Benchmark für die Programmierfähigkeiten großer Sprachmodelle (LLMs). Er basiert auf Programmierwettbewerbsaufgaben von LeetCode, AtCoder und Codeforces. Für jede Aufgabe ist das Veröffentlichungsdatum des Wettbewerbs vermerkt. So lässt sich ein Modell nur anhand von Aufgaben bewerten, die nach dem Trainingsstichtag des Modells veröffentlicht wurden und die es im Training nicht gesehen haben kann. Naman Jain und seine Kollegen von UC Berkeley, MIT und Cornell stellten LiveCodeBench im März 2024 im Artikel LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code vor. Über die Rangliste können Bewertende den Zeitraum für den Vergleich auswählen.

Warum Veröffentlichungsdaten wichtig sind#

Ältere Programmier-Benchmarks wie HumanEval – 164 von OpenAI handgeschriebene Python-Aufgaben aus dem Jahr 2021 – sind seit Jahren online verbreitet. Ihre Lösungen finden sich in den Webtexten, aus denen Trainingsdaten gesammelt werden. Ein Modell kann deshalb gut abschneiden, indem es Antworten auswendig wiedergibt. Diese Form der Datenleckage wird als Benchmark-Kontamination bezeichnet. Die Autorinnen und Autoren von LiveCodeBench untersuchten dieses Problem direkt: Die Programmiermodelle von DeepSeek und GPT-4o schnitten bei LeetCode-Aufgaben, die nach ihrer Veröffentlichung oder dem angegebenen Trainingsstichtag erschienen waren, deutlich schlechter ab als bei älteren Aufgaben. Der Artikel fand außerdem eine Gruppe feinabgestimmter Open-Source-Modelle, die bei HumanEval+ gut, bei neuen Aufgaben jedoch schlecht abschnitten. DeepSeek-Coder-Instruct 1.3B löste zum Beispiel 59,8 % der HumanEval+-Aufgaben, aber nur 26,3 % der einfachen Aufgaben von LiveCodeBench – ein Hinweis auf Überanpassung an den älteren Benchmark.

Die Sammlung wächst mit jeder Veröffentlichung eines Datensatzes auf Hugging Face. Die erste Version, release_v1, enthielt 400 Aufgaben, die zwischen Mai 2023 und März 2024 veröffentlicht wurden. release_v6 umfasste 1.055 Aufgaben, die bis April 2025 erschienen waren. Für einen reproduzierbaren Wert müssen daher die Version und der Datumsbereich angegeben werden.

Die vier Szenarien#

LiveCodeBench testet mehr als nur das Schreiben von Code, denn ein nützliches Programmiermodell muss Code auch lesen, ausführen und debuggen können:

  • Codegenerierung: Schreibe ein Programm anhand einer Aufgabenbeschreibung sowie von Beispiel-Eingaben und -Ausgaben. Die Bewertungsinstanz führt es mit verborgenen Tests aus. Eine Lösung zählt nur, wenn sie alle Tests besteht.
  • Selbstkorrektur: Korrigiere eine fehlerhafte Lösung, nachdem du die Fehlermeldung oder den fehlgeschlagenen Test gesehen hast – dieselbe Rückkopplungsschleife, die Tools für agentisches Programmieren selbst ausführen.
  • Codeausführung: Sage voraus, was ein vorgegebenes Programm bei einer bestimmten Eingabe ausgibt. Damit wird geprüft, ob das Modell Code nachvollziehen kann, ohne ihn auszuführen.
  • Vorhersage von Testergebnissen: Sage allein anhand der Aufgabenbeschreibung die korrekte Ausgabe für eine Eingabe voraus. Diese Fähigkeit kommt zum Einsatz, wenn Tests geschrieben werden, bevor eine Implementierung existiert.

Bei der Codeausführung wird gefragt, was ein bestehendes Programm tut, bei der Vorhersage von Testergebnissen hingegen, was ein korrektes Programm tun sollte. Der Artikel stellte fest, dass die relative Reihenfolge der Modelle in den vier Szenarien weitgehend gleich bleibt, während die Leistungsabstände zwischen den Modellen je nach Szenario variieren.

LiveCodeBench-Werte verstehen#

Die zentrale Metrik ist pass@1: die Wahrscheinlichkeit, dass eine einzelne generierte Lösung alle verborgenen Tests besteht, gemittelt über alle Aufgaben. Der Artikel schätzt sie anhand von 10 Stichproben pro Aufgabe mit Nucleus Sampling bei einer Temperatur von 0,2. Sie gehört zur pass@k-Metrikfamilie, die im Abschnitt zur Agentenbewertung beschrieben wird. Die Werte werden außerdem nach einfachen, mittelschweren und schwierigen Aufgaben aufgeschlüsselt. Prompt Engineering, Ausgabelängenbegrenzungen und der Datumsbereich beeinflussen die Ergebnisse. Daher lassen sich Werte aus der Rangliste nur bei übereinstimmenden Einstellungen vergleichen.

LiveCodeBench misst in sich abgeschlossene algorithmische Aufgaben. SWE-bench bewertet Fehlerbehebungen auf Repository-Ebene. LiveBench ist trotz des ähnlichen Namens ein separater, allgemeiner Benchmark, der seine Fragen ebenfalls regelmäßig aktualisiert, um Kontamination zu begrenzen. Humanity's Last Exam und GPQA begegnen demselben Leckagerisiko mit privaten, zurückgehaltenen Fragen und Canary-Zeichenfolgen statt mit Veröffentlichungsdaten.

Ein Trainingsstichtag begrenzt außerdem das Wissen eines Programmiermodells über danach veröffentlichte Bibliotheksversionen. Ultralytics Agent Skills schließen diese Lücke für KI-Agenten, die Code für YOLO26 schreiben. Sie enthalten Kataloge mit Gewichtsnamen, Trainingsargumenten und Exportformaten, die anhand einer festgelegten Version ultralytics geprüft wurden. Weichen die Angaben voneinander ab, sollen sich Agenten auf das installierte Paket verlassen.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens