Kubernetes

Kubernetes, souvent appelé K8s, est une plateforme open-source conçue pour automatiser le déploiement, la mise à l'échelle et la gestion d'applications conteneurisées. Développé à l'origine par Google et désormais maintenu par la Cloud Native Computing Foundation (CNCF), Kubernetes est devenu la norme pour l'orchestration de logiciels dans le cloud. Dans le contexte de l'Intelligence Artificielle (IA) et de l'Apprentissage Automatique (ML), il sert de couche d'infrastructure critique permettant aux équipes d'ingénierie de gérer des workflows complexes, de l'entraînement distribué à l'inférence en production à haute disponibilité. En faisant abstraction du matériel sous-jacent, Kubernetes garantit que les applications fonctionnent de manière fiable et efficace, qu'elles soient hébergées sur site ou via des fournisseurs de cloud public.

Link to this sectionArchitecture et concepts fondamentaux#

Au cœur de son fonctionnement, Kubernetes repose sur une architecture en cluster, composée d'un ensemble de machines de travail appelées nœuds. Ces nœuds exécutent des charges de travail de conteneurisation, tandis qu'un plan de contrôle gère l'état global du cluster. La plus petite unité déployable dans Kubernetes est un "Pod", qui encapsule un ou plusieurs conteneurs partageant des ressources de stockage et de réseau. Cette abstraction est essentielle pour les applications de vision par ordinateur, car elle permet aux développeurs d'empaqueter les dépendances — telles que des bibliothèques CUDA spécifiques pour les Unités de Traitement Graphique (GPUs) — dans un environnement cohérent. Les principaux services cloud comme Amazon Elastic Kubernetes Service (EKS), Azure Kubernetes Service (AKS) et Google Kubernetes Engine (GKE) proposent des versions gérées de cette architecture, simplifiant ainsi la maintenance pour les équipes de science des données.

Link to this sectionPourquoi Kubernetes est important pour l'IA#

La valeur principale de Kubernetes dans les Opérations d'Apprentissage Automatique (MLOps) réside dans sa capacité à gérer des charges de travail dynamiques. Les modèles d'IA nécessitent souvent une puissance de calcul massive pendant l'entraînement et une faible latence d'inférence lors du déploiement.

• Scalabilité : Kubernetes utilise l'autoscaling pour ajuster automatiquement les ressources. En cas de pic soudain de trafic, le Horizontal Pod Autoscaler peut augmenter le nombre de pods d'inférence pour maintenir la scalabilité sans intervention manuelle.
• Optimisation des ressources : L'allocation efficace de matériel coûteux est cruciale. Kubernetes permet le partage fractionné des GPU et l'affinité de nœud, garantissant que les modèles d'apprentissage profond ne consomment des ressources que lorsque des tâches actives en ont besoin.
• Déploiement résilient : Garantir une haute disponibilité lors du déploiement de modèle est essentiel. En cas de panne d'un nœud, Kubernetes redémarre automatiquement les pods affectés sur des nœuds sains, évitant ainsi toute interruption des services API critiques.

Link to this sectionApplications concrètes#

Kubernetes constitue l'épine dorsale de nombreuses implémentations d'IA à grande échelle dans divers secteurs :

1. Gestion du trafic urbain intelligent : Une municipalité peut déployer des modèles Ultralytics YOLO26 pour analyser les flux vidéo provenant de milliers d'intersections. Grâce à Kubernetes, le système peut augmenter dynamiquement les ressources pendant les heures de pointe pour gérer la charge accrue de détection d'objets et les réduire la nuit pour économiser des coûts. Cette approche est fondamentale pour les systèmes de gestion du trafic modernes.

2. Personnalisation du e-commerce : Les détaillants en ligne utilisent des systèmes de recommandation complexes basés sur des microservices. Un service peut gérer la génération de candidats tandis qu'un autre s'occupe du reranking. Kubernetes orchestre ces services distincts, permettant aux équipes de mettre à jour le réseau neuronal de classement indépendamment sans perturber toute l'expérience d'achat, facilitant ainsi l'intégration continue.

Link to this sectionDifférence entre Kubernetes et Docker#

Une confusion courante porte sur la relation entre Kubernetes et Docker. Ce ne sont pas des concurrents, mais des technologies complémentaires. Docker est un outil pour créer et exécuter des conteneurs individuels (empaqueter l'application), tandis que Kubernetes est un outil pour gérer une flotte de ces conteneurs sur plusieurs machines. Tu utilises Docker pour compiler tes poids de modèle et ton code dans une image, puis Kubernetes pour déterminer où, quand et combien de copies de cette image seront exécutées en production.

Link to this sectionExemple : Script d'inférence pour la conteneurisation#

Pour déployer un modèle sur Kubernetes, les développeurs commencent généralement par un script Python qui sert de point d'entrée pour le conteneur. Le code suivant démontre une tâche d'inférence simple utilisant le modèle Ultralytics YOLO26. Ce script s'exécuterait à l'intérieur d'un pod pour traiter les requêtes entrantes.

from ultralytics import YOLO

# Load the lightweight YOLO26 model
model = YOLO("yolo26n.pt")

# Perform inference on an image source
# In a K8s pod, this would likely process API payloads
results = model("https://ultralytics.com/images/bus.jpg")

# Output the detection count for logging
print(f"Detected {len(results[0].boxes)} objects in the frame.")

Link to this sectionOutils et écosystème#

L'écosystème Kubernetes comprend une vaste gamme d'outils adaptés à la science des données. Kubeflow est une boîte à outils populaire dédiée à rendre les déploiements de workflows ML sur Kubernetes simples, portables et scalables. Pour surveiller la santé du cluster et les métriques des applications, les ingénieurs s'appuient souvent sur Prometheus. Pour simplifier davantage la complexité de l'entraînement et du déploiement de modèles dans ces environnements, la Plateforme Ultralytics propose une interface unifiée qui automatise la gestion des jeux de données et l'entraînement des modèles, permettant aux utilisateurs d'exporter des modèles prêts pour des clusters de cloud computing. De plus, des gestionnaires de paquets comme Helm aident à gérer des applications Kubernetes complexes via des chartes réutilisables.