Opérations d'apprentissage automatique (MLOps)

Principes fondamentaux des MLOps

MLOps repose sur plusieurs principes clés conçus pour gérer les complexités uniques des systèmes de ML :

• Automatisation : Automatisation des tâches répétitives telles que la préparation des données, l'entraînement des modèles, la validation et le déploiement à l'aide de pipelines d'intégration continue/déploiement continu (CI/CD) adaptés à la ML.
• Collaboration : Favoriser la communication et la collaboration entre les équipes de science des données, d'ingénierie logicielle et d'exploitation tout au long du cycle de vie de la ML.
• Le versionnage : Mise en place d'un contrôle de version pour les données, le code et les modèles afin d'assurer la reproductibilité et la traçabilité. Des outils comme DVC sont souvent utilisés en complément de Git.
• Surveillance du modèle: Suivi continu des performances du modèle, de la qualité des données et de la santé opérationnelle en production afin de détecter les problèmes tels que la dérive des données ou la dégradation des performances.
• Gouvernance et conformité : Veiller à ce que les modèles répondent aux exigences réglementaires, aux directives éthiques(éthique de l'IA) et aux politiques organisationnelles concernant la confidentialité et la sécurité des données.

Le cycle de vie des MLOps

Le cycle de vie MLOps englobe l'ensemble du parcours d'un modèle ML :

1. Gestion des données : Ingestion, validation, nettoyage(Data Cleaning) et versionnement des ensembles de données(Data Labeling et guides de préparation peuvent être trouvés dans Ultralytics Docs).
2. Développement de modèles : Expérimentation de différents algorithmes, ingénierie des fonctionnalités et architectures, souvent à l'aide de cadres tels que PyTorch ou TensorFlow.
3. Entraînement des modèles : Formation de modèles à l'échelle, potentiellement en utilisant la formation distribuée et en gérant les expériences avec des outils tels que Weights & Biases ou MLflow. Le réglage des hyperparamètres est souvent automatisé.
4. Validation du modèle : Évaluation de la performance du modèle à l'aide de mesures telles que la précision ou le mAP sur les données de validation.
5. Déploiement de modèles: Emballage(conteneurisation avec Docker) et déploiement de modèles dans des environnements de production, potentiellement en utilisant des plateformes d'orchestration comme Kubernetes.
6. Surveillance et recyclage des modèles : Suivi des performances en direct, détection de la dérive ou de la dégradation, et déclenchement des processus de recyclage si nécessaire. L 'observabilité joue ici un rôle clé.

MLOps et concepts connexes

• MLOps vs. AutoML : Alors que MLOps couvre la gestion du cycle de vie de bout en bout, Automated Machine Learning (AutoML) se concentre spécifiquement sur l'automatisation des étapes de construction des modèles (préparation des données, ingénierie des caractéristiques, sélection des modèles, réglage des hyperparamètres). Les outils AutoML peuvent être un composant d'un flux de travail MLOps.
• MLOps vs. Observabilité : L'observabilité est une capacité essentielle dans le cadre d'une stratégie MLOps. Elle fournit les outils et les pratiques (journalisation, mesures, traçage) nécessaires pour comprendre l'état interne et le comportement des systèmes ML déployés, ce qui permet une surveillance et un dépannage efficaces.

Applications dans le monde réel

Les pratiques MLOps sont essentielles pour gérer des systèmes complexes de ML en production :

1. Systèmes de recommandation : Des entreprises comme Netflix ou Spotify utilisent les MLOps pour recycler en permanence les modèles de recommandation sur la base de nouvelles données d'interaction avec l'utilisateur, pour effectuer des tests A/B sur différentes versions de modèles, pour surveiller les indicateurs d'engagement et pour rétablir rapidement les modèles les moins performants. Les recommandations restent ainsi pertinentes et personnalisées.
2. Détection des fraudes : Les institutions financières déploient des pipelines MLOps pour gérer les modèles de détection des fraudes. Cela implique de surveiller les données de transaction pour détecter les dérives, de recycler automatiquement les modèles avec de nouveaux schémas de fraude, d'assurer une faible latence d'inférence pour la détection en temps réel et de maintenir des pistes d'audit pour la conformité réglementaire. Les modèles YOLO d'Ultralytics, lorsqu'ils sont utilisés dans des systèmes d'inspection visuelle susceptibles de contribuer à la détection des fraudes, bénéficient également de MLOps pour le déploiement et la surveillance.

Outils et plateformes

Divers outils soutiennent les différentes étapes du cycle de vie des MLOps :

• Suivi des expériences et versionnement : MLflow, Weights & Biases, DVC, ClearML.
• Orchestration de flux de travail : Pipelines Kubeflow, Apache Airflow.
• Servir de modèle : KFServing, BentoML, serveur d'inférence NVIDIA Triton.
• Surveillance : Grafana, Prometheus, WhyLabs.
• Plates-formes de bout en bout : Amazon SageMaker, Google Cloud AI Platform, Microsoft Azure Machine Learning, Ultralytics HUB.

La mise en œuvre des principes MLOps aide les organisations à construire, déployer et gérer les systèmes d'IA plus efficacement, en comblant le fossé entre la recherche expérimentale et les applications de production fiables.