Kubernetes

Kubernetes, oft als K8s bezeichnet, ist eine Open-Source-Plattform zur Automatisierung der Bereitstellung, Skalierung und Verwaltung containerisierter Anwendungen. Ursprünglich von Google entwickelt und heute von der Cloud Native Computing Foundation (CNCF) gewartet, hat sich Kubernetes zum Standard für die Orchestrierung von Software in der Cloud entwickelt. Im Kontext von Artificial Intelligence (AI) und Machine Learning (ML) dient es als kritische Infrastrukturschicht, die es Engineering-Teams ermöglicht, komplexe Workflows von distributed training bis hin zu hochverfügbarer Inferenz in der Produktion zu verwalten. Durch die Abstraktion der zugrunde liegenden Hardware sorgt Kubernetes dafür, dass Anwendungen zuverlässig und effizient laufen, unabhängig davon, ob sie On-Premise oder über Public-Cloud-Anbieter gehostet werden.

Kernarchitektur und Konzepte#

Im Kern basiert Kubernetes auf einer Cluster-Architektur, die aus einer Reihe von Worker-Maschinen besteht, die als Nodes bezeichnet werden. Diese Nodes führen containerization-Workloads aus, während eine Control Plane den Gesamtzustand des Clusters verwaltet. Die kleinste bereitstellbare Einheit in Kubernetes ist ein „Pod“, der einen oder mehrere Container kapselt, die Speicher- und Netzwerkressourcen gemeinsam nutzen. Diese Abstraktion ist für computer vision-Anwendungen von entscheidender Bedeutung, da sie es Entwicklern ermöglicht, Abhängigkeiten – wie etwa spezifische CUDA-Bibliotheken für Graphics Processing Units (GPUs) – in einer konsistenten Umgebung zu verpacken. Große Cloud-Dienste wie Amazon Elastic Kubernetes Service (EKS), Azure Kubernetes Service (AKS) und Google Kubernetes Engine (GKE) bieten verwaltete Versionen dieser Architektur an und entlasten Data-Science-Teams bei der Wartung.

Warum Kubernetes für AI wichtig ist#

Der primäre Nutzen von Kubernetes in Machine Learning Operations (MLOps) liegt in seiner Fähigkeit, dynamische Workloads zu verarbeiten. KI-Modelle erfordern beim Training häufig eine massive Rechenleistung und bei der Bereitstellung eine geringe inference latency.

• Skalierbarkeit: Kubernetes nutzt Autoscaling, um Ressourcen automatisch anzupassen. Bei einem plötzlichen Traffic-Anstieg kann der Horizontal Pod Autoscaler die Anzahl der Inferenz-Pods erhöhen, um die scalability ohne manuelles Eingreifen aufrechtzuerhalten.
• Ressourcenoptimierung: Die effiziente Zuweisung teurer Hardware ist entscheidend. Kubernetes ermöglicht fraktioniertes GPU-Sharing und Node-Affinity, wodurch sichergestellt wird, dass Deep-Learning-Modelle Ressourcen nur dann verbrauchen, wenn aktive Jobs diese benötigen.
• Resiliente Bereitstellung: Die Sicherstellung einer hohen Verfügbarkeit während der model deployment ist unerlässlich. Fällt ein Node aus, startet Kubernetes die betroffenen Pods automatisch auf fehlerfreien Nodes neu, wodurch Ausfallzeiten für kritische API-Dienste vermieden werden.

Praxisanwendungen#

Kubernetes ist das Rückgrat für viele groß angelegte AI-Implementierungen in verschiedenen Branchen:

1. Smart-City-Verkehrsmanagement: Eine Stadtverwaltung kann Ultralytics YOLO26-Modelle einsetzen, um Videostreams von Tausenden von Kreuzungen zu analysieren. Mithilfe von Kubernetes kann das System während der Stoßzeiten die Ressourcen dynamisch hochskalieren, um die erhöhte Last der object detection zu bewältigen, und nachts herunterfahren, um Kosten zu sparen. Dieser Ansatz ist von grundlegender Bedeutung für moderne traffic management systems.

2. E-Commerce-Personalisierung: Online-Händler nutzen komplexe recommendation systems, die auf Microservices basieren. Ein Dienst übernimmt möglicherweise die Kandidatenergenerierung, während ein anderer das Reranking verwaltet. Kubernetes orchestriert diese verschiedenen Dienste und ermöglicht es Teams, das Ranking-neural network unabhängig voneinander zu aktualisieren, ohne das gesamte Einkaufserlebnis zu beeinträchtigen, was die kontinuierliche Integration erleichtert.

Unterscheidung zwischen Kubernetes und Docker#

Ein häufiger Punkt von Verwirrung ist das Verhältnis zwischen Kubernetes und Docker. Sie sind keine Konkurrenten, sondern vielmehr ergänzende Technologien. Docker ist ein Tool zum Erstellen und Ausführen einzelner Container (Verpackung der Anwendung), während Kubernetes ein Tool zur Verwaltung einer Flotte dieser Container über mehrere Maschinen hinweg ist. Du verwendest Docker, um deine model weights und deinen Code in ein Image zu packen, und nutzt dann Kubernetes, um zu bestimmen, wo, wann und wie viele Kopien dieses Images in der Produktion ausgeführt werden.

Beispiel: Inferenz-Skript für die Containerisierung#

Um ein Modell auf Kubernetes bereitzustellen, beginnen Entwickler typischerweise mit einem Python-Skript, das als Einstiegspunkt für den Container dient. Der folgende Code demonstriert eine einfache Inferenzaufgabe mit dem Ultralytics YOLO26-Modell. Dieses Skript würde in einem Pod laufen und eingehende Anfragen verarbeiten.

from ultralytics import YOLO

# Load the lightweight YOLO26 model
model = YOLO("yolo26n.pt")

# Perform inference on an image source
# In a K8s pod, this would likely process API payloads
results = model("https://ultralytics.com/images/bus.jpg")

# Output the detection count for logging
print(f"Detected {len(results[0].boxes)} objects in the frame.")

Tools und Ökosystem#

Das Kubernetes-Ökosystem umfasst eine Vielzahl von Tools, die auf Data Science zugeschnitten sind. Kubeflow ist ein beliebtes Toolkit, das darauf ausgerichtet ist, die Bereitstellung von ML-Workflows auf Kubernetes einfach, portabel und skalierbar zu machen. Zur Überwachung der Cluster-Gesundheit und von Anwendungsmetriken greifen Engineers häufig auf Prometheus zurück. Um die Komplexität beim Training und der Bereitstellung von Modellen in diesen Umgebungen weiter zu vereinfachen, bietet die Ultralytics Platform eine einheitliche Schnittstelle, die das Dataset-Management und das Modelltraining automatisiert, sodass Benutzer für cloud computing-Cluster bereitstehende Modelle exportieren können. Darüber hinaus helfen Paketmanager wie Helm dabei, komplexe Kubernetes-Anwendungen durch wiederverwendbare Charts zu verwalten.