Model Card

Una scheda del modello è un documento strutturato che spiega cosa fa un modello di AI o di apprendimento automatico, come è stato sviluppato e valutato, dove dovrebbe essere utilizzato e quali limitazioni o rischi gli utenti dovrebbero conoscere. Funziona come una pratica scheda informativa per sviluppatori, revisori, responsabili della distribuzione e parti interessate, favorendo la trasparenza nell’AI senza richiedere l’accesso al codice sorgente o ai dettagli interni del modello. In questo contesto, una scheda del modello non ha nulla a che vedere con la «comp card» di una modella, che è un portfolio professionale.

Cosa contiene una scheda del modello#

Una scheda del modello utile combina prove tecniche e indicazioni in un linguaggio chiaro. Il livello di dettaglio dovrebbe riflettere l’impatto del modello: un classificatore di immagini sperimentale può richiedere una scheda breve, mentre un modello che influisce su decisioni sanitarie o finanziarie richiede una documentazione più dettagliata.

Tra i componenti più comuni ci sono:

• Scopo, titolarità e versione: identifica il modello, il team responsabile, la versione rilasciata, il compito, gli input e gli output supportati, nonché le informazioni di contatto o manutenzione.
• [Dati di addestramento](https://ultralytics-translation-0.invalid e contesto di sviluppo: descrive le fonti dei dati, le condizioni di raccolta, le pratiche di etichettatura, il preelaborazione, l’architettura del modello, la procedura di addestramento e le ipotesi importanti. I dati sensibili o proprietari possono essere riassunti senza essere divulgati.
• Valutazione e metriche di prestazione: riporta le metriche su set di dati di convalida o test chiaramente identificati. Per il rilevamento di oggetti, queste possono includere precisione, richiamo, precisione media, latenza di inferenza e risultati per singole classi o sottoinsiemi di dati significativi.
• Usi previsti ed esclusioni: spiega le applicazioni adatte, le condizioni operative previste, la supervisione umana necessaria e gli scenari per cui il modello non è stato progettato.
• Limitazioni e rischi: documenta le modalità di errore note, l’incertezza, i problemi di privacy, le considerazioni di sicurezza e i possibili bias nei dati. Dovrebbe inoltre indicare le probabili conseguenze di previsioni errate.

La documentazione delle schede dei modelli di Amazon SageMaker fornisce un esempio di registrazione strutturata del ciclo di vita che copre l’uso previsto, i dettagli di addestramento, la valutazione, le valutazioni dei rischi e le raccomandazioni. Raccolte pubbliche come le schede dei modelli di Google DeepMind mostrano come le schede possano comunicare capacità, valutazioni di sicurezza e limitazioni a un pubblico più ampio.

Perché le schede dei modelli sono importanti#

Le schede dei modelli aiutano i team a prendere decisioni informate prima di adottare o distribuire un modello. Una metrica di riferimento impressionante può nascondere prestazioni scarse su classi rare, ambienti insoliti o gruppi specifici di utenti. Documentando il set di dati di valutazione, le condizioni di test e i risultati per gruppo, una scheda fornisce ai lettori il contesto necessario per interpretare quei numeri.

Inoltre, favoriscono la governance e la responsabilità. Il Quadro per la gestione dei rischi dell’AI del NIST sottolinea l’importanza di gestire l’affidabilità durante tutto il ciclo di vita dell’AI, mentre il principio di trasparenza e spiegabilità dell’OCSE richiede informazioni significative sulle capacità e sulle limitazioni dell’AI. Le schede dei modelli offrono uno strumento pratico per raggiungere questi obiettivi.

All’interno delle organizzazioni, le schede migliorano i passaggi di consegne tra data scientist, team di prodotto, revisori della conformità e tecnici delle operazioni. Sistemi come le schede informative sull’AI di IBM ampliano questo approccio raccogliendo metadati del modello durante le fasi di sviluppo, approvazione, distribuzione e monitoraggio.

Documentazione correlata e differenze principali#

Diversi documenti correlati hanno finalità differenti:

• Schede dei dati: descrivono l’origine e la composizione di un set di dati, il processo di raccolta, le condizioni di accesso, gli usi previsti e le limitazioni. Una scheda del modello si concentra sul modello addestrato, anche se dovrebbe rimandare alla documentazione pertinente dei set di dati.
• Registro dei modelli: archivia e gestisce gli artefatti dei modelli, le versioni, la provenienza e lo stato della distribuzione. Il flusso di lavoro del registro dei modelli di MLflow ne illustra il ruolo operativo. Una scheda del modello ne comunica significato e rischi; un registro gestisce gli asset del modello. I due strumenti possono essere collegati.
• Scheda del sistema: documenta un intero sistema di AI, che può comprendere più modelli, prompt, componenti di recupero, misure di protezione, interfacce e processi umani. Una scheda del modello ha un ambito più ristretto, limitato al modello.
• Rapporto di spiegabilità: analizza perché un modello ha prodotto determinati output. Una scheda del modello riassume il comportamento generale e le limitazioni, ma non sostituisce le spiegazioni relative alle singole previsioni.

Applicazioni nel mondo reale#

• Ispezione visiva in ambito manifatturiero: una fabbrica può distribuire un modello di visione artificiale per il rilevamento dei difetti. La scheda del modello può elencare le classi di difetti supportate, il posizionamento delle telecamere, le ipotesi sull’illuminazione, le prestazioni sui difetti rari, le dimensioni minime degli oggetti e la latenza sui dispositivi edge. Se i graffi vengono spesso ignorati in condizioni di illuminazione riflettente, documentare questa limitazione aiuta gli operatori a richiedere una revisione manuale o a raccogliere ulteriori immagini di addestramento.

• Supporto all’imaging clinico: la scheda di un modello di imaging medico può identificare i tipi di scansione, le apparecchiature, le popolazioni di pazienti e gli istituti rappresentati durante la valutazione. Può riportare le prestazioni per sottogruppo e chiarire che gli output assistono i medici qualificati, senza determinare autonomamente le diagnosi. La mancanza di questo contesto potrebbe indurre un ospedale a usare il modello con apparecchiature o su popolazioni non supportate, aumentando il rischio di raccomandazioni inaffidabili.

Le schede dei modelli sono utili anche quando si scelgono modelli di terze parti. Per esempio, la documentazione del catalogo dei modelli di Microsoft Foundry descrive schede che contengono dettagli sui modelli, benchmark, tipi di dati supportati, licenze e informazioni sulla distribuzione.

Creazione e manutenzione di una scheda del modello#

Inizia a preparare la scheda durante la pianificazione del progetto, anziché dopo la distribuzione. Registra le prove man mano che vengono prodotte, incluse le versioni dei set di dati, le impostazioni di addestramento, le condizioni di valutazione e le decisioni dei revisori. Per un modello di rilevamento di oggetti Ultralytics YOLO26, il flusso di lavoro di convalida documentato può generare metriche per la sezione dedicata alla valutazione:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Questi valori sono significativi solo se accompagnati dalla versione del modello, dal set di dati, dalla suddivisione, dalle dimensioni delle immagini, dall’hardware e dalla configurazione di valutazione. I team possono usare la Piattaforma Ultralytics per annotare i set di dati, monitorare le sessioni di addestramento, distribuire i modelli e monitorare gli endpoint, conservando al contempo le prove necessarie per aggiornare una scheda.

Una scheda del modello dovrebbe essere un documento aggiornato e soggetto a versionamento. Aggiornala ogni volta che cambiano il modello, il set di dati, il processo di valutazione, l’ambiente di distribuzione o le limitazioni note. Soprattutto, scrivi pensando alle persone che devono decidere se e come usare il modello, non solo al team che lo ha addestrato.