Suivi des expériences

Le suivi des expériences est le processus systématique qui consiste à enregistrer toutes les données, métadonnées et résultats pertinents associés aux cycles d'entraînement des modèles d'apprentissage automatique. Servant de cahier de laboratoire numérique pour les scientifiques des données et les ingénieurs en IA, cette pratique garantit que chaque étape de la phase de recherche et développement est documentée, reproductible et analysable. En capturant des entrées telles que les hyperparamètres et les versions des ensembles de données, ainsi que des sorties telles que les mesures de performance et les artefacts du modèle, le suivi des expériences transforme la nature souvent chaotique des essais et erreurs de la formation des modèles en un flux de travail structuré et scientifique. Cette organisation est essentielle pour les équipes qui souhaitent construire efficacement des systèmes d'intelligence artificielle (IA) robustes.

Éléments essentiels du suivi des expériences

Pour gérer efficacement le cycle de vie d'un projet de vision par ordinateur, un système de suivi des expériences enregistre généralement trois catégories distinctes d'informations. L'organisation de ces composants permet aux développeurs de comparer différentes itérations et d'identifier la configuration optimale pour leur cas d'utilisation spécifique.

• Paramètres et configuration : cela comprend les variables définies avant le début de l'entraînement, appelées hyperparamètres. Il s'agit par exemple du taux d'apprentissage, de la taille des lots, du type d'optimiseur (par exemple, Adam ) et de l'architecture spécifique du modèle utilisé, telle que YOLO11.
• Indicateurs de performance : il s'agit de mesures quantitatives enregistrées pendant et après l'entraînement afin d'évaluer le succès. Les indicateurs courants comprennent les fonctions de perte pour mesurer l'erreur, la précision pour les tâches de classification et la précision moyenne (mAP) pour la détection d'objets.
• Artefacts et code source : les artefacts désignent les résultats tangibles d'une exécution, tels que les pondérations du modèle entraîné, les graphiques de visualisation (comme les matrices de confusion) et les journaux. Il est également essentiel de suivre la version spécifique du code et l'ensemble de données utilisé afin de garantir que l'expérience puisse être reproduite ultérieurement.

Pertinence dans les applications concrètes

L'application rigoureuse du suivi des expériences est essentielle dans les secteurs où la précision et la sécurité sont primordiales. Elle permet aux équipes d'ingénieurs de consulter les données historiques pour comprendre pourquoi un modèle se comporte d'une certaine manière.

Imagerie médicale et diagnostics

Dans le domaine de la santé, les chercheurs utilisent l' analyse d'images médicales pour aider les médecins à diagnostiquer des pathologies. Par exemple, lorsqu'ils entraînent un modèle pour la détection des tumeurs cérébrales, les ingénieurs peuvent mener des centaines d'expériences en variant les techniques d'augmentation des données et les architectures des modèles . Le suivi des expériences leur permet d'isoler la combinaison spécifique d'étapes de prétraitement qui a donné la sensibilité la plus élevée, garantissant ainsi que l'agent IA déployé minimise les faux négatifs dans les scénarios de diagnostic critiques .

Sécurité des véhicules autonomes

Le développement de véhicules autonomes nécessite le traitement d'énormes quantités de données provenant de capteurs afin de detect , la signalisation et les obstacles. Les équipes travaillant sur la détection d'objets pour les voitures autonomes doivent optimiser à la fois la précision et la latence d'inférence. En suivant les expériences, elles peuvent analyser le compromis entre la taille et la vitesse du modèle, garantissant ainsi que le système final réagit en temps réel sans compromettre les normes de sécurité établies par des organisations telles que la National Highway Traffic Safety Administration (NHTSA).

Différencier des concepts connexes

Bien que le suivi des expériences soit un élément fondamental du MLOps (Machine Learning Operations), il est souvent confondu avec d'autres termes similaires. Il est important de comprendre les distinctions pour mettre en œuvre un workflow correct.

• Suivi des expériences vs surveillance des modèles : le suivi des expériences a lieu pendant la phase de développement et de formation (« hors ligne »). En revanche, la surveillance des modèles a lieu après le déploiement du modèle en production (« en ligne »). La surveillance se concentre sur la détection de problèmes tels que la dérive des données ou la dégradation des performances sur les données en temps réel, tandis que le suivi se concentre sur l'optimisation du modèle avant même qu'il n'atteigne les utilisateurs.
• Suivi des expériences vs contrôle de version : des outils tels que Git permettent d' effectuer le contrôle de version du code, en suivant les modifications apportées aux fichiers source au fil du temps. Le suivi des expériences va encore plus loin en associant une version spécifique de ce code (un hachage de validation) aux données, paramètres et résultats spécifiques d'un cycle d'entraînement. Alors que le contrôle de version répond à la question « Comment le code a-t-il changé ? », le suivi des expériences répond à la question « Quel code et quels paramètres ont produit le meilleur modèle ? ».

Mise en œuvre avec Ultralytics YOLO

Les frameworks d'IA modernes simplifient le suivi des expériences en s'intégrant aux outils de journalisation courants. Lorsque vous utilisez Ultralytics , le suivi peut être organisé efficacement en définissant des noms de projet et d'exécution. Cette structure crée une hiérarchie de répertoires qui sépare les différentes hypothèses expérimentales.

L'exemple suivant montre comment entraîner un YOLO11 tout en nommant explicitement le projet et l' exécution de l'expérience afin de garantir que les métriques et les poids sont enregistrés de manière organisée.

from ultralytics import YOLO

# Load the latest YOLO11 nano model
model = YOLO("yolo11n.pt")

# Train the model, specifying 'project' and 'name' for organized tracking
# Results, logs, and weights will be saved to 'runs/detect/experiment_tracking_demo'
results = model.train(data="coco8.yaml", epochs=5, project="runs/detect", name="experiment_tracking_demo")

Outils et intégrations populaires

Pour visualiser et gérer les données enregistrées, les développeurs s'appuient sur des logiciels spécialisés. Ces outils comportent souvent des tableaux de bord qui permettent une comparaison côte à côte des courbes d'apprentissage et des tableaux de métriques.

• MLflow : une plateforme open source qui gère le cycle de vie du ML, y compris l'expérimentation, la reproductibilité et le déploiement. L' intégrationUltralytics permet une journalisation transparente des métriques pendant YOLO .
• TensorBoard : initialement développé pour TensorFlow, cette boîte à outils de visualisation est largement utilisée dans divers frameworks, notamment PyTorch, pour inspecter les courbes de perte et les visuels. Vous pouvez facilement visualiser les métriques d'entraînement grâce à l' intégration de TensorBoard.
• Weights & Biases: une plateforme MLOps axée sur les développeurs qui aide les équipes track , les modèles de version et à visualiser les résultats. Weights & Biases fournit des graphiques riches et interactifs pour analyser les exécutions de formation complexes.
• DVC (Data Version Control) : DVC étend le concept de suivi aux ensembles de données et aux modèles, en gérant les fichiers volumineux que Git ne peut pas traiter. L'utilisation de l' intégration DVC permet de maintenir un versionnage strict des données utilisées dans chaque expérience.
• ClearML: une plateforme open source qui automatise le suivi des expériences et aide à orchestrer les charges de travail. ClearML offre une interface unifiée pour la gestion des expériences.

En tirant parti de ces outils et méthodologies, les praticiens de l'IA peuvent aller au-delà du développement basé sur l'intuition, en s'assurant que chaque amélioration apportée à leurs réseaux neuronaux est fondée sur des données, documentée et reproductible.