Model Card

Una scheda del modello è un documento strutturato che spiega cosa fa un modello di IA o di apprendimento automatico, come è stato sviluppato e valutato, dove dovrebbe essere utilizzato e quali limitazioni o rischi gli utenti dovrebbero comprendere. Funziona come un foglio informativo pratico per sviluppatori, revisori, responsabili del rilascio e parti interessate coinvolte, supportando la trasparenza nell'IA senza richiedere l'accesso al codice sorgente o ai dettagli interni del modello. In questo contesto, una scheda del modello non è correlata alla "comp card" di un modello di moda, che è un portfolio professionale.

Cosa contiene una scheda del modello#

Una scheda del modello utile unisce prove tecniche a indicazioni in linguaggio chiaro. La sua profondità dovrebbe riflettere l'impatto del modello: un classificatore di immagini sperimentale potrebbe richiedere una scheda breve, mentre un modello che influenza decisioni sanitarie o finanziarie richiede una documentazione più dettagliata.

I componenti comuni includono:

• Scopo, proprietà e versione: Identifica il modello, il team responsabile, la versione di rilascio, il task, gli input e gli output supportati e le informazioni di contatto o manutenzione.
• Dati di addestramento e contesto di sviluppo: Descrive le fonti dei dati, le condizioni di raccolta, le pratiche di etichettatura, la preelaborazione, l'architettura del modello, la procedura di addestramento e le ipotesi importanti. I dati sensibili o proprietari possono essere riassunti senza essere divulgati.
• Valutazione e metriche delle prestazioni: Riporta le metriche su dataset di validazione o di test chiaramente identificati. Per il rilevamento di oggetti, queste possono includere precision, recall, mean average precision, latenza di inferenza e risultati per singole classi o sottoinsiemi di dati significativi.
• Usi previsti ed esclusioni: Spiega le applicazioni idonee, le condizioni operative previste, la supervisione umana richiesta e gli scenari per i quali il modello non è stato progettato.
• Limitazioni e rischi: Documenta le modalità di errore note, l'incertezza, i problemi di privacy, le considerazioni sulla sicurezza e la possibile distorsione del dataset. Dovrebbe inoltre indicare le probabili conseguenze di previsioni errate.

La documentazione di Amazon SageMaker Model Cards fornisce un esempio di record del ciclo di vita strutturato che copre l'uso previsto, i dettagli di addestramento, la valutazione, le valutazioni dei rischi e i raccomandazioni. Le raccolte pubbliche come le schede del modello di Google DeepMind mostrano come le schede possano comunicare capacità, valutazioni di sicurezza e limitazioni a un pubblico più ampio.

Perché le schede del modello sono importanti#

Le schede del modello aiutano i team a prendere decisioni informate prima di adottare o distribuire un modello. Una metrica di rilievo impressionante può nascondere prestazioni deboli su classi rare, ambienti insoliti o gruppi di utenti specifici. Documentando il dataset di valutazione, le condizioni di test e i risultati per gruppo, una scheda offre ai lettori il contesto necessario per interpretare quei numeri.

Supportano anche la governance e la responsabilità. Il quadro di gestione del rischio IA del NIST enfatizza la gestione dell'affidabilità durante tutto il ciclo di vita dell'IA, mentre il principio di trasparenza e spiegabilità dell'OCSE richiede informazioni significative sulle capacità e limitazioni dell'IA. Le schede del modello forniscono un artefatto pratico per questi obiettivi.

All'interno delle organizzazioni, le schede migliorano i passaggi di consegne tra data scientist, team di prodotto, revisori della conformità e ingegneri delle operazioni. Sistemi come IBM AI Factsheets estendono questo approccio raccogliendo metadati del modello attraverso lo sviluppo, l'approvazione, la distribuzione e il monitoraggio.

Documentazione correlata e differenze chiave#

Diversi elementi correlati servono a scopi differenti:

• Schede dei dati: Descrivono l'origine, la composizione, il processo di raccolta, le condizioni di accesso, gli usi previsti e le limitazioni di un dataset. Una scheda del modello si concentra sul modello addestrato, sebbene debba fare riferimento alla documentazione pertinente del dataset.
• Registro dei modelli: Memorizza e gestisce artefatti, versioni, lignaggio e stato di distribuzione del modello. Il flusso di lavoro del registro dei modelli di MLflow illustra questo ruolo operativo. Una scheda del modello comunica significato e rischio; un registro gestisce le risorse del modello. I due elementi possono essere collegati.
• Scheda di sistema: Documenta un intero sistema di IA, includendo potenzialmente più modelli, prompt, componenti di recupero, misure di sicurezza, interfacce e processi umani. Una scheda del modello ha un ambito a livello di modello più ristretto.
• Rapporto di spiegabilità: Esamina il motivo per cui un modello ha prodotto determinati output. Una scheda del modello riassume il comportamento complessivo e le limitazioni, ma non sostituisce le spiegazioni a livello di previsione.

Applicazioni nel mondo reale#

• Ispezione visiva di produzione: Una fabbrica può distribuire un modello di visione artificiale per il rilevamento dei difetti. La sua scheda del modello può elencare le classi di difetti supportate, il posizionamento della telecamera, le ipotesi di illuminazione, le prestazioni per i difetti rari, le dimensioni minime degli oggetti e la latenza sui dispositivi edge. Se i graffi vengono frequentemente mancati sotto un'illuminazione riflettente, documentare tale limitazione aiuta gli operatori a richiedere una revisione manuale o a raccogliere immagini di addestramento aggiuntive.

• Supporto all'imaging clinico: La scheda di un modello di imaging medico può identificare i tipi di scansione, le apparecchiature, le popolazioni di pazienti e le istituzioni rappresentate durante la valutazione. Può riportare le prestazioni dei sottogruppi e chiarire che gli output assistono i medici qualificati anziché determinare autonomamente le diagnosi. Mancare questo contesto potrebbe indurre un ospedale a utilizzare il modello su apparecchiature o popolazioni non supportate, aumentando il rischio di raccomandazioni inaffidabili.

Le schede del modello vengono incontrate anche quando si selezionano modelli di terze parti. Ad esempio, la documentazione del catalogo dei modelli di Microsoft Foundry descrive le schede contenenti dettagli del modello, benchmark, tipi di dati supportati, licenze e informazioni di distribuzione.

Creazione e manutenzione di una scheda del modello#

Inizia la scheda durante la pianificazione del progetto anziché dopo la distribuzione. Registra le prove man mano che vengono prodotte, comprese le versioni del dataset, le impostazioni di addestramento, le condizioni di valutazione e le decisioni dei revisori. Per un modello di rilevamento di oggetti Ultralytics YOLO26, il flusso di lavoro di validazione documentato può generare metriche per la sezione di valutazione:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Questi valori sono significativi solo se accompagnati dalla versione del modello, dal dataset, dallo split, dalla dimensione dell'immagine, dall'hardware e dalla configurazione di valutazione. I team possono utilizzare Ultralytics Platform per annotare dataset, tracciare i cicli di addestramento, distribuire modelli e monitorare gli endpoint mantenendo al contempo le prove necessarie per aggiornare una scheda.

Una scheda del modello dovrebbe essere un documento dinamico e versionato. Aggiornala ogni volta che cambiano il modello, il dataset, il processo di valutazione, l'ambiente di distribuzione o le limitazioni note. Soprattutto, scrivi per le persone che decidono se e come il modello dovrebbe essere utilizzato, non solo per il team che lo ha addestrato.