Model Card

Une fiche de modèle est un document structuré qui explique ce que fait un modèle d’IA ou d’apprentissage automatique, comment il a été développé et évalué, dans quels contextes il doit être utilisé, ainsi que les limites ou les risques que les utilisateurs doivent connaître. Elle sert de fiche d’information pratique à l’intention des développeurs, des évaluateurs, des responsables du déploiement et des parties prenantes concernées, et favorise la transparence de l’IA sans nécessiter d’accéder au code source ou aux composants internes du modèle. Dans ce contexte, une fiche de modèle n’a aucun rapport avec le « book » d’un mannequin, qui constitue son portfolio professionnel.

Contenu d’une fiche de modèle#

Une fiche de modèle utile associe des éléments techniques à des explications en langage clair. Son niveau de détail doit être adapté à l’impact du modèle : un classificateur d’images expérimental peut nécessiter une fiche courte, tandis qu’un modèle influençant des décisions médicales ou financières exige une documentation plus détaillée.

Les composants courants comprennent :

• Objectif, responsabilité et version : Identifie le modèle, l’équipe responsable, la version publiée, la tâche, les entrées et sorties prises en charge, ainsi que les coordonnées ou les informations de maintenance.
• Données d’entraînement et contexte de développement : Décrit les sources de données, les conditions de collecte, les pratiques d’annotation, le prétraitement, l’architecture du modèle, la procédure d’entraînement et les hypothèses importantes. Les données sensibles ou propriétaires peuvent être résumées sans être divulguées.
• Évaluation et métriques de performance : Présente les métriques obtenues sur des jeux de données de validation ou de test clairement identifiés. Pour la détection d’objets, ces métriques peuvent inclure la précision, le rappel, la précision moyenne, la latence d’inférence et les résultats par classe ou par sous-ensemble de données pertinent.
• Utilisations prévues et exclusions : Explique les applications adaptées, les conditions de fonctionnement attendues, la supervision humaine requise et les situations pour lesquelles le modèle n’a pas été conçu.
• Limites et risques : Documente les modes de défaillance connus, l’incertitude, les préoccupations relatives à la confidentialité, les considérations de sécurité et les éventuels biais des jeux de données. La fiche doit également indiquer les conséquences probables de prédictions incorrectes.

La documentation des Model Cards d’Amazon SageMaker fournit un exemple de registre structuré du cycle de vie, couvrant l’utilisation prévue, les détails de l’entraînement, l’évaluation, les niveaux de risque et les recommandations. Des collections publiques telles que les fiches de modèle de Google DeepMind montrent comment les fiches peuvent présenter les capacités, les évaluations de sécurité et les limites à un public plus large.

Pourquoi les fiches de modèle sont importantes#

Les fiches de modèle aident les équipes à prendre des décisions éclairées avant d’adopter ou de déployer un modèle. Une métrique phare impressionnante peut masquer de faibles performances sur des classes rares, dans des environnements inhabituels ou pour des groupes d’utilisateurs spécifiques. En documentant le jeu de données d’évaluation, les conditions de test et les résultats par groupe, une fiche fournit aux lecteurs le contexte nécessaire pour interpréter ces chiffres.

Elles favorisent également la gouvernance et la responsabilisation. Le cadre de gestion des risques liés à l’IA du NIST met l’accent sur la gestion de la fiabilité tout au long du cycle de vie de l’IA, tandis que le principe de transparence et d’explicabilité de l’OCDE préconise de fournir des informations utiles sur les capacités et les limites de l’IA. Les fiches de modèle constituent un outil pratique au service de ces objectifs.

Au sein des organisations, les fiches facilitent le passage de relais entre les spécialistes des données, les équipes produit, les responsables de la conformité et les ingénieurs d’exploitation. Des systèmes tels que les fiches d’information sur l’IA d’IBM étendent cette approche en recueillant les métadonnées des modèles à chaque étape du développement, de l’approbation, du déploiement et de la surveillance.

Documentation associée et principales différences#

Plusieurs documents associés ont des objectifs différents :

• Fiches de données : Décrivent l’origine, la composition, le processus de collecte, les conditions d’accès, les utilisations prévues et les limites d’un jeu de données. Une fiche de modèle porte sur le modèle entraîné, mais doit faire référence à la documentation pertinente sur les jeux de données.
• Registre de modèles : Stocke et gère les artefacts, les versions, la provenance et l’état de déploiement des modèles. Le flux de travail du registre de modèles MLflow illustre ce rôle opérationnel. Une fiche de modèle communique la signification et les risques ; un registre gère les ressources du modèle. Les deux peuvent être reliés.
• Fiche de système : Documente un système d’IA dans son ensemble, pouvant inclure plusieurs modèles, des invites, des composants de recherche d’information, des mesures de protection, des interfaces et des processus humains. Une fiche de modèle a une portée plus restreinte, centrée sur le modèle.
• Rapport d’explicabilité : Examine les raisons pour lesquelles un modèle a produit des sorties particulières. Une fiche de modèle résume le comportement global et les limites du modèle, mais ne remplace pas les explications portant sur chaque prédiction.

Applications concrètes#

• Inspection visuelle en milieu industriel : Une usine peut déployer un modèle de vision par ordinateur pour la détection des défauts. Sa fiche de modèle peut répertorier les classes de défauts prises en charge, le positionnement des caméras, les hypothèses relatives à l’éclairage, les performances sur les défauts rares, les tailles minimales des objets et la latence sur les appareils périphériques. Si les rayures sont souvent manquées sous un éclairage réfléchissant, documenter cette limite aide les opérateurs à exiger un examen manuel ou à recueillir des images d’entraînement supplémentaires.

• Aide à l’imagerie clinique : La fiche d’un modèle d’imagerie médicale peut préciser les types d’examens, les équipements, les populations de patients et les établissements représentés lors de l’évaluation. Elle peut présenter les performances par sous-groupe et préciser que les sorties aident les cliniciens qualifiés sans déterminer les diagnostics de manière autonome. L’absence de ce contexte pourrait conduire un hôpital à utiliser le modèle avec des équipements ou des populations non pris en charge, ce qui accroîtrait le risque de recommandations peu fiables.

Les fiches de modèle sont également consultées lors du choix de modèles tiers. Par exemple, la documentation du catalogue de modèles Microsoft Foundry décrit des fiches qui contiennent des détails sur les modèles, des résultats de référence, les types de données pris en charge, les licences et les informations de déploiement.

Créer et tenir à jour une fiche de modèle#

Commence la fiche dès la planification du projet, plutôt qu’après le déploiement. Consigne les éléments de preuve au fur et à mesure qu’ils sont produits, notamment les versions des jeux de données, les paramètres d’entraînement, les conditions d’évaluation et les décisions des évaluateurs. Pour un modèle de détection d’objets Ultralytics YOLO26, le flux de validation documenté peut générer des métriques pour la section consacrée à l’évaluation :

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Ces valeurs n’ont de sens que si elles sont accompagnées de la version du modèle, du jeu de données, du découpage, de la taille des images, du matériel et de la configuration d’évaluation. Les équipes peuvent utiliser Ultralytics Platform pour annoter des jeux de données, suivre les exécutions d’entraînement, déployer des modèles et surveiller des points de terminaison, tout en conservant les éléments de preuve nécessaires à la mise à jour d’une fiche.

Une fiche de modèle doit être un document évolutif et versionné. Mets-la à jour dès que le modèle, le jeu de données, le processus d’évaluation, l’environnement de déploiement ou les limites connues changent. Surtout, écris pour les personnes qui décident si le modèle doit être utilisé et comment, et pas uniquement pour l’équipe qui l’a entraîné.