Model Card

Une fiche de modèle est un document structuré qui explique ce que fait un modèle d'IA ou de machine learning, comment il a été développé et évalué, où il doit être utilisé et quelles limites ou quels risques tu dois comprendre. Elle sert de feuille d'information pratique pour les développeurs, les réviseurs, les déployeurs et les parties prenantes concernées, favorisant la transparence dans l'IA sans nécessiter l'accès au code source ou aux éléments internes du modèle. Dans ce contexte, une fiche de modèle n'a aucun rapport avec le « book » d'un mannequin, qui est un portfolio professionnel.

Ce que contient une fiche de modèle#

Une fiche de modèle utile associe des preuves techniques à des conseils en langage clair. Sa profondeur doit refléter l'impact du modèle : un classificateur d'images expérimental peut nécessiter une fiche courte, tandis qu'un modèle influençant des décisions de santé ou financières demande une documentation plus détaillée.

Les composants courants incluent :

• Objectif, propriété et version : Identifie le modèle, l'équipe responsable, la version de publication, la tâche, les entrées et sorties prises en charge, ainsi que les informations de contact ou de maintenance.
• Données d'entraînement et contexte de développement : Décrit les sources de données, les conditions de collecte, les pratiques d'étiquetage, le prétraitement, l'architecture du modèle, la procédure d'entraînement et les hypothèses importantes. Les données sensibles ou propriétaires peuvent être résumées sans être divulguées.
• Évaluation et métriques de performance : Rapporte les métriques sur des jeux de données de validation ou de test clairement identifiés. Pour la détection d'objets, celles-ci peuvent inclure la précision, le rappel, la précision moyenne (mAP), la latence d'inférence et les résultats pour des classes individuelles ou des sous-ensembles de données pertinents.
• Utilisations prévues et exclusions : Explique les applications adaptées, les conditions de fonctionnement attendues, la supervision humaine requise et les scénarios pour lesquels le modèle n'a pas été conçu.
• Limites et risques : Documente les modes de défaillance connus, l'incertitude, les problèmes de confidentialité, les considérations de sécurité et les éventuels biais de jeu de données. Elle doit également indiquer les conséquences probables de prédictions incorrectes.

La documentation des fiches de modèles Amazon SageMaker fournit un exemple d'enregistrement de cycle de vie structuré couvrant l'utilisation prévue, les détails d'entraînement, l'évaluation, les notations de risque et les recommandations. Des collections publiques telles que les fiches de modèles Google DeepMind montrent comment les fiches peuvent communiquer les capacités, les évaluations de sécurité et les limites à un public plus large.

Pourquoi les fiches de modèles comptent#

Les fiches de modèles aident les équipes à prendre des décisions éclairées avant d'adopter ou de déployer un modèle. Une métrique phare impressionnante peut masquer de faibles performances sur des classes rares, des environnements inhabituels ou des groupes d'utilisateurs spécifiques. En documentant le jeu de données d'évaluation, les conditions de test et les résultats par groupe, une fiche te donne le contexte nécessaire pour interpréter ces chiffres.

Elles soutiennent également la gouvernance et la responsabilité. Le Cadre de gestion des risques liés à l'IA du NIST met l'accent sur la gestion de la fiabilité tout au long du cycle de vie de l'IA, tandis que le principe de transparence et d'explicabilité de l'OCDE appelle à des informations significatives sur les capacités et les limites de l'IA. Les fiches de modèles constituent un outil pratique pour atteindre ces objectifs.

Au sein des organisations, les fiches améliorent les transferts entre les data scientists, les équipes produit, les réviseurs de conformité et les ingénieurs des opérations. Des systèmes tels que IBM AI Factsheets étendent cette approche en collectant des métadonnées de modèles tout au long du développement, de l'approbation, du déploiement et de la surveillance.

Documentation associée et principales différences#

Plusieurs éléments associés servent à des fins différentes :

• Fiches de données : Décrivent l'origine d'un jeu de données, sa composition, son processus de collecte, ses conditions d'accès, ses utilisations prévues et ses limites. Une fiche de modèle se concentre sur le modèle entraîné, bien qu'elle doive faire référence à la documentation pertinente du jeu de données.
• Registre de modèles : Stocke et gère les artefacts de modèles, les versions, la traçabilité et le statut de déploiement. Le flux de travail du registre de modèles MLflow illustre ce rôle opérationnel. Une fiche de modèle communique le sens et le risque ; un registre gère les actifs du modèle. Les deux peuvent être reliés.
• Fiche de système : Documente un système d'IA complet, incluant potentiellement plusieurs modèles, invites, composants de récupération, protections, interfaces et processus humains. Une fiche de modèle a une portée plus restreinte au niveau du modèle.
• Rapport d'explicabilité : Examine pourquoi un modèle a produit des résultats particuliers. Une fiche de modèle résume le comportement global et les limites, mais ne remplace pas les explications au niveau des prédictions.

Applications concrètes#

• Inspection visuelle de fabrication : Une usine peut déployer un modèle de vision par ordinateur pour la détection de défauts. Sa fiche de modèle peut lister les classes de défauts prises en charge, l'emplacement des caméras, les hypothèses d'éclairage, les performances pour les défauts rares, les tailles minimales d'objets et la latence sur les appareils de périphérie. Si des rayures sont fréquemment manquées sous un éclairage réfléchissant, documenter cette limite aide les opérateurs à exiger une révision manuelle ou à collecter des images d'entraînement supplémentaires.

• Support à l'imagerie clinique : La fiche d'un modèle d'imagerie médicale peut identifier les types de scans, l'équipement, les populations de patients et les institutions représentés lors de l'évaluation. Elle peut rendre compte des performances par sous-groupe et clarifier le fait que les résultats aident les cliniciens qualifiés plutôt que de déterminer des diagnostics de manière autonome. Omettre ce contexte pourrait amener un hôpital à utiliser le modèle sur un équipement ou des populations non pris en charge, augmentant ainsi le risque de recommandations peu fiables.

Les fiches de modèles se rencontrent également lors de la sélection de modèles tiers. Par exemple, la documentation du catalogue de modèles Microsoft Foundry décrit des fiches contenant des détails sur les modèles, des benchmarks, des types de données pris en charge, des licences et des informations de déploiement.

Création et maintenance d'une fiche de modèle#

Commence la fiche dès la planification du projet plutôt qu'après le déploiement. Enregistre les preuves au fur et à mesure qu'elles sont produites, y compris les versions de jeux de données, les paramètres d'entraînement, les conditions d'évaluation et les décisions des réviseurs. Pour un modèle de détection d'objets Ultralytics YOLO26 (https://ultralytics-translation-0.invalid), le flux de travail de validation documenté peut générer des métriques pour la section d'évaluation :

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Ces valeurs n'ont de sens que lorsqu'elles sont accompagnées de la version du modèle, du jeu de données, de la division, de la taille d'image, du matériel et de la configuration d'évaluation. Tu peux utiliser Ultralytics Platform (https://ultralytics-translation-0.invalid) pour annoter des jeux de données, suivre les entraînements, déployer des modèles et surveiller des points de terminaison tout en conservant les preuves nécessaires pour mettre à jour une fiche.

Une fiche de modèle doit être un document vivant et versionné. Mets-la à jour chaque fois que le modèle, le jeu de données, le processus d'évaluation, l'environnement de déploiement ou les limites connues changent. Plus important encore, écris pour les personnes qui décident si et comment le modèle doit être utilisé, et pas seulement pour l'équipe qui l'a entraîné.