Kubernetes

Kubernetes, oft als K8s bezeichnet, ist eine Open-Source-Plattform zur Automatisierung von Bereitstellung, Skalierung und Verwaltung containerisierter Anwendungen. Ursprünglich von Google entwickelt und heute von der Cloud Native Computing Foundation (CNCF) gepflegt, hat sich Kubernetes zum Standard für die Orchestrierung von Software in der Cloud entwickelt. Im Kontext von Artificial Intelligence (AI) und Machine Learning (ML) dient es als entscheidende Infrastrukturebene, die es Engineering-Teams ermöglicht, komplexe Arbeitsabläufe zu verwalten – von distributed training bis hin zu hochverfügbarer Produktions-Inferenz. Durch die Abstraktion der zugrunde liegenden Hardware stellt Kubernetes sicher, dass Anwendungen zuverlässig und effizient laufen, unabhängig davon, ob sie lokal oder über Public-Cloud-Anbieter gehostet werden.

Link to this sectionKernarchitektur und Konzepte#

Im Kern arbeitet Kubernetes mit einer Cluster-Architektur, die aus einer Reihe von Arbeitsmaschinen, den sogenannten Nodes, besteht. Diese Nodes führen containerization-Workloads aus, während eine Steuerungsebene den Gesamtzustand des Clusters verwaltet. Die kleinste bereitstellbare Einheit in Kubernetes ist ein „Pod“, der einen oder mehrere Container kapselt, die Speicher- und Netzwerkressourcen teilen. Diese Abstraktion ist für computer vision-Anwendungen von entscheidender Bedeutung, da sie es Entwicklern ermöglicht, Abhängigkeiten – wie spezifische CUDA-Bibliotheken für Graphics Processing Units (GPUs) – in eine konsistente Umgebung zu verpacken. Große Cloud-Dienste wie Amazon Elastic Kubernetes Service (EKS), Azure Kubernetes Service (AKS) und Google Kubernetes Engine (GKE) bieten verwaltete Versionen dieser Architektur an, was den Wartungsaufwand für Data-Science-Teams erheblich vereinfacht.

Link to this sectionWarum Kubernetes für AI wichtig ist#

Der primäre Wert von Kubernetes in Machine Learning Operations (MLOps) liegt in seiner Fähigkeit, dynamische Workloads zu verarbeiten. AI-Modelle erfordern oft eine enorme Rechenleistung während des Trainings und eine niedrige inference latency während der Bereitstellung.

• Skalierbarkeit: Kubernetes nutzt Autoscaling, um Ressourcen automatisch anzupassen. Bei einem plötzlichen Anstieg des Datenverkehrs kann der Horizontal Pod Autoscaler die Anzahl der Inferenz-Pods erhöhen, um die scalability ohne manuelles Eingreifen aufrechtzuerhalten.
• Ressourcenoptimierung: Die effiziente Zuweisung teurer Hardware ist entscheidend. Kubernetes ermöglicht fraktioniertes GPU-Sharing und Node-Affinity, wodurch sichergestellt wird, dass Deep-Learning-Modelle Ressourcen nur dann verbrauchen, wenn aktive Jobs diese benötigen.
• Resiliente Bereitstellung: Die Gewährleistung hoher Verfügbarkeit während des model deployment ist unerlässlich. Wenn eine Node ausfällt, startet Kubernetes automatisch die betroffenen Pods auf fehlerfreien Nodes neu, um Ausfallzeiten für kritische API-Dienste zu verhindern.

Link to this sectionPraxisanwendungen#

Kubernetes ist das Rückgrat für viele groß angelegte AI-Implementierungen in verschiedenen Branchen:

1. Intelligentes Verkehrsmanagement in Smart Cities: Eine Kommune könnte Ultralytics YOLO26-Modelle einsetzen, um Videostreams von Tausenden von Kreuzungen zu analysieren. Mithilfe von Kubernetes kann das System während der Stoßzeiten dynamisch Ressourcen hochskalieren, um die erhöhte object detection-Last zu bewältigen, und nachts herunterskalieren, um Kosten zu sparen. Dieser Ansatz ist grundlegend für moderne traffic management systems.

2. E-Commerce-Personalisierung: Online-Händler nutzen komplexe recommendation systems, die auf Microservices basieren. Ein Dienst könnte die Kandidatengenerierung übernehmen, während ein anderer das Reranking verwaltet. Kubernetes orchestriert diese unterschiedlichen Dienste und ermöglicht es Teams, das neural network für das Ranking unabhängig zu aktualisieren, ohne das gesamte Einkaufserlebnis zu unterbrechen, was die kontinuierliche Integration erleichtert.

Link to this sectionUnterscheidung zwischen Kubernetes und Docker#

Ein häufiger Punkt der Verwirrung ist die Beziehung zwischen Kubernetes und Docker. Sie sind keine Konkurrenten, sondern ergänzende Technologien. Docker ist ein Werkzeug zum Erstellen und Ausführen einzelner Container (Verpackung der Anwendung), während Kubernetes ein Werkzeug zur Verwaltung einer Flotte dieser Container über mehrere Maschinen hinweg ist. Du verwendest Docker, um deine model weights und deinen Code in ein Image zu bauen, und nutzt dann Kubernetes, um festzulegen, wo, wann und wie viele Kopien dieses Images in der Produktion ausgeführt werden.

Link to this sectionBeispiel: Inferenz-Skript für die Containerisierung#

Um ein Modell auf Kubernetes bereitzustellen, beginnen Entwickler normalerweise mit einem Python-Skript, das als Einstiegspunkt für den Container dient. Der folgende Code demonstriert eine einfache Inferenz-Aufgabe unter Verwendung des Ultralytics YOLO26-Modells. Dieses Skript würde innerhalb eines Pods ausgeführt werden und eingehende Anfragen verarbeiten.

from ultralytics import YOLO

# Load the lightweight YOLO26 model
model = YOLO("yolo26n.pt")

# Perform inference on an image source
# In a K8s pod, this would likely process API payloads
results = model("https://ultralytics.com/images/bus.jpg")

# Output the detection count for logging
print(f"Detected {len(results[0].boxes)} objects in the frame.")

Link to this sectionTools und Ökosystem#

Das Kubernetes-Ökosystem umfasst eine Vielzahl von Tools, die auf Data Science zugeschnitten sind. Kubeflow ist ein beliebtes Toolkit, das darauf spezialisiert ist, die Bereitstellung von ML-Workflows auf Kubernetes einfach, portabel und skalierbar zu machen. Zur Überwachung der Cluster-Integrität und von Anwendungsmetriken verlassen sich Ingenieure oft auf Prometheus. Um die Komplexität des Trainings und der Bereitstellung von Modellen in diesen Umgebungen weiter zu vereinfachen, bietet die Ultralytics Platform eine einheitliche Schnittstelle, die das Datensatzmanagement und das Modelltraining automatisiert und es Benutzern ermöglicht, Modelle zu exportieren, die für cloud computing-Cluster bereit sind. Darüber hinaus helfen Paketmanager wie Helm bei der Verwaltung komplexer Kubernetes-Anwendungen durch wiederverwendbare Charts.