Kubernetes

Kubernetes, thường được viết tắt là K8s, là hệ thống mã nguồn mở chạy các ứng dụng đóng gói trong container trên một cụm máy. Người dùng khai báo trạng thái mong muốn của một workload, chẳng hạn cần chạy image container nào, duy trì bao nhiêu bản sao và mỗi bản sao cần bao nhiêu CPU, bộ nhớ và tài nguyên GPU; Kubernetes liên tục khởi chạy, khởi động lại, di chuyển và mở rộng quy mô container để đáp ứng trạng thái đó. Google công bố dự án vào tháng 6 năm 2014, kế thừa kinh nghiệm từ trình quản lý cụm Borg nội bộ; đến phiên bản 1.0 vào tháng 7 năm 2015, Google đưa dự án trở thành dự án khởi đầu của Cloud Native Computing Foundation mới thành lập. Tên gọi này trong tiếng Hy Lạp nghĩa là người lái tàu; K8s thay thế tám chữ cái nằm giữa K và s. Trong vận hành học máy (MLOps), Kubernetes là lớp phổ biến để chạy các tác vụ huấn luyện phân tán, suy luận theo lô và triển khai model trên phần cứng dùng chung.

Kiến trúc và vòng điều khiển#

Một cụm gồm mặt phẳng điều khiển và các node worker. Mặt phẳng điều khiển chứa API server mà mọi client giao tiếp, kho etcd lưu trạng thái cụm, scheduler phân công pod mới cho các node và các controller, mỗi controller theo dõi một loại đối tượng. Mỗi node worker, dù là server tại chỗ hay máy ảo đám mây, đều chạy agent kubelet và runtime container như containerd hoặc CRI-O. Đơn vị nhỏ nhất mà Kubernetes lập lịch là pod: một hoặc nhiều container dùng chung địa chỉ mạng và volume lưu trữ.

Workload được khai báo dưới dạng đối tượng, thường viết bằng YAML và áp dụng bằng kubectl. Deployment duy trì một số lượng pod giống hệt nhau theo cấu hình và thay thế chúng dần khi image thay đổi; Service cung cấp một địa chỉ ổn định cho các pod đó và phân phối yêu cầu giữa chúng; Job chạy pod cho đến khi hoàn thành một tác vụ. Controller so sánh trạng thái đã khai báo với trạng thái thực tế đang chạy và xử lý mọi khác biệt:

Cùng vòng lặp đó giúp Kubernetes tự phục hồi. Khi một node gặp sự cố, các pod trên node đó rời khỏi trạng thái đang chạy và controller tạo pod thay thế trên các node khỏe mạnh. Pod bị giữ ở trạng thái Pending vì thiếu dung lượng cũng là tín hiệu để bộ tự động mở rộng cụm bổ sung node.

Kubernetes cho học máy#

GPU được cấp cho pod thông qua device plugin, quảng bá GPU dưới dạng tài nguyên có thể đếm như nvidia.com/gpu, và thông qua Phân bổ tài nguyên động, tính ổn định kể từ Kubernetes 1.34, cho phép pod yêu cầu thiết bị dựa trên thuộc tính như model GPU hoặc bộ nhớ. GPU Operator của NVIDIA cài đặt driver và plugin trên các node GPU, đồng thời có thể chia một GPU thành các lát Multi-Instance GPU hoặc chia sẻ GPU theo thời gian giữa các pod. Năm 2021, OpenAI cho biết đã mở rộng các cụm Kubernetes đơn lên 7.500 node để huấn luyện các model như GPT-3 và CLIP.

Các dự án mã nguồn mở bổ sung những lớp dành riêng cho ML:

• Kubeflow: Chạy huấn luyện PyTorch phân tán, pipeline ML và notebook trên một cụm.
• Kueue: Xếp hàng các job theo lô và job huấn luyện, đồng thời áp dụng hạn ngạch cho nhóm để GPU đắt tiền luôn được sử dụng mà không nhóm nào chiếm hết tài nguyên.
• KServe: Triển khai model phía sau các endpoint tự động mở rộng, bao gồm khả năng thu về 0 khi model không hoạt động.
• Horizontal Pod Autoscaler: Thêm hoặc xóa các bản sao phục vụ suy luận dựa trên mức sử dụng CPU hoặc metric tùy chỉnh như độ dài hàng đợi, giúp duy trì độ trễ ổn định khi lưu lượng thay đổi.

Job là cách đơn giản nhất để chạy một tác vụ GPU một lần, chẳng hạn batch inference. Docker image chính thức của Ultralytics đã có lệnh yolo và trọng số YOLO26 nano, vì vậy Job này chỉ cần đặt lệnh và yêu cầu một GPU:

apiVersion: batch/v1
kind: Job
metadata:
  name: yolo26-predict
spec:
  backoffLimit: 2 # retry a failed pod at most twice
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: yolo
          image: ultralytics/ultralytics:latest
          command: ["yolo", "predict", "model=yolo26n.pt", "source=https://ultralytics.com/images/bus.jpg"]
          resources:
            limits:
              nvidia.com/gpu: 1 # schedule only onto a node with a free GPU

kubectl apply -f job.yaml gửi Job, scheduler đặt pod lên node có GPU trống, còn kubectl logs job/yolo26-predict in ra kết quả phát hiện đối tượng từ chế độ dự đoán. Job huấn luyện cũng theo cùng mô hình, đồng thời bổ sung volume lưu trữ bền vững cho checkpoint và volume trong bộ nhớ tại /dev/shm dành cho worker của data loader PyTorch.

Kubernetes so với Docker và serverless#

• Docker: Tạo image và chạy container trên một máy. Kubernetes phân phối container trên nhiều máy; kể từ phiên bản 1.24, Kubernetes chạy image được tạo bằng Docker thông qua containerd hoặc CRI-O thay vì Docker Engine.
• Điện toán serverless: Các dịch vụ như Google Cloud Run và AWS Lambda ẩn hoàn toàn cụm máy và tính phí theo yêu cầu; Knative đưa cùng mô hình thu về 0 này vào các cụm Kubernetes.
• Kubernetes được quản lý: Google Kubernetes Engine (GKE), Amazon Elastic Kubernetes Service (EKS) và Azure Kubernetes Service (AKS) chạy mặt phẳng điều khiển thay cho khách hàng; GKE Autopilot còn quản lý các node worker.