Licenza YOLO
Torna al glossario di Ultralytics

LiveCodeBench

LiveCodeBench valuta gli LLM su problemi di programmazione competitiva pubblicati dopo la data limite del loro addestramento, misurando generazione di codice, autocorrezione, esecuzione e previsione dei test.

LiveCodeBench è un benchmark aggiornato continuamente per valutare le capacità di programmazione dei modelli linguistici di grandi dimensioni (LLM), composto da problemi di programmazione competitiva tratti da LeetCode, AtCoder e Codeforces. Ogni problema riporta la data di pubblicazione del concorso, quindi un modello può essere valutato solo su problemi pubblicati dopo il suo limite temporale di addestramento, che non può aver visto durante l'addestramento. Naman Jain e i colleghi della UC Berkeley, del MIT e della Cornell lo hanno presentato nel marzo 2024 nell'articolo LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code; la classifica permette ai valutatori di scegliere l'intervallo di date per il confronto.

Perché le date di pubblicazione sono importanti#

I benchmark di programmazione più datati, come HumanEval, i 164 problemi di Python scritti a mano da OpenAI nel 2021, circolano online da anni e le relative soluzioni sono presenti nei testi web da cui vengono estratti i dati di addestramento. Un modello può quindi ottenere un buon punteggio ricordando le risposte: una forma di fuga di dati nota come contaminazione del benchmark. Gli autori di LiveCodeBench l'hanno misurata direttamente: i modelli di programmazione di DeepSeek e GPT-4o hanno ottenuto risultati molto peggiori sui problemi LeetCode pubblicati dopo la loro uscita o la data di addestramento dichiarata rispetto a quelli più vecchi. L'articolo ha inoltre individuato un gruppo di modelli open ottimizzati con buoni risultati su HumanEval+ ma scarsi sui nuovi problemi, come DeepSeek-Coder-Instruct 1.3B, che ha risolto il 59,8% di HumanEval+ ma solo il 26,3% dei problemi facili di LiveCodeBench: un segnale di overfitting al benchmark più datato.

La raccolta cresce a ogni rilascio del dataset su Hugging Face. Il primo rilascio, release_v1, comprendeva 400 problemi pubblicati da maggio 2023 a marzo 2024, mentre release_v6 ne comprendeva 1.055, pubblicati fino ad aprile 2025; pertanto, un punteggio riproducibile specifica il rilascio e l'intervallo di date.

I quattro scenari#

LiveCodeBench verifica più della semplice scrittura di codice, perché un modello di programmazione utile deve anche saper leggere, eseguire e correggere il codice:

  • Generazione di codice: scrivere un programma a partire dalla descrizione di un problema e dai relativi esempi di input e output. Il valutatore lo esegue su test nascosti e una soluzione viene considerata valida solo se li supera tutti.
  • Autocorrezione: correggere una soluzione errata dopo aver visto il messaggio di errore o il test non superato; è lo stesso ciclo di feedback che gli strumenti di programmazione agentica eseguono autonomamente.
  • Esecuzione del codice: prevedere cosa stampa un determinato programma per un dato input, mettendo alla prova la capacità del modello di seguire il codice senza eseguirlo.
  • Previsione dell'output dei test: prevedere l'output corretto per un input basandosi solo sulla descrizione del problema, un'abilità utile quando si scrivono test prima che esista un'implementazione.

L'esecuzione del codice chiede cosa fa un programma esistente, mentre la previsione dell'output dei test chiede cosa dovrebbe fare un programma corretto. L'articolo ha rilevato che l'ordine relativo dei modelli rimane perlopiù costante nei quattro scenari, mentre le differenze tra i modelli variano da uno scenario all'altro.

Come leggere i punteggi di LiveCodeBench#

La metrica principale è pass@1, la probabilità che un'unica soluzione generata superi tutti i test nascosti, calcolata come media sui problemi. L'articolo la stima a partire da 10 campioni per problema con il nucleus sampling a una temperatura di 0,2; è una delle metriche della famiglia pass@k descritta nella sezione sulla valutazione degli agenti. I punteggi sono suddivisi anche in base alla difficoltà dei problemi: facile, media e difficile. L'ingegneria dei prompt, i limiti di lunghezza dell'output e l'intervallo di date modificano tutti i risultati, quindi i punteggi in classifica si confrontano solo a parità di impostazioni.

LiveCodeBench misura problemi algoritmici autonomi. SWE-bench valuta correzioni di bug a livello di repository e LiveBench, nonostante il nome simile, è un benchmark generale distinto che aggiorna anch'esso le proprie domande per limitare la contaminazione. Humanity's Last Exam e GPQA affrontano lo stesso rischio di fuga di dati usando domande riservate tenute da parte e stringhe canary invece delle date di pubblicazione.

Un limite temporale di addestramento limita anche le conoscenze del modello di programmazione sulle versioni delle librerie pubblicate successivamente. Ultralytics Agent Skills colmano questa lacuna per gli agenti IA che scrivono codice per YOLO26: forniscono cataloghi di nomi dei pesi, argomenti di addestramento e formati di esportazione basati su una versione ultralytics fissata e indicano all'agente di fidarsi del pacchetto installato quando i due non corrispondono.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning