Kubernetes

Kubernetes, thường được viết tắt là K8s, là một nền tảng điều phối container nguồn mở, tự động hóa việc triển khai, mở rộng quy mô và quản lý các ứng dụng container. Ban đầu được phát triển bởi Google và hiện được bảo trì bởi Cloud Native Computing Foundation (CNCF) , Kubernetes cung cấp một khuôn khổ mạnh mẽ để vận hành các hệ thống phân tán, linh hoạt. Trong bối cảnh Trí tuệ Nhân tạo (AI) và Học máy (ML) , nó đã trở thành một công cụ thiết yếu để quản lý toàn bộ vòng đời của các mô hình ML, từ đào tạo đến triển khai trong môi trường sản xuất.

Kubernetes hoạt động như thế nào

Kubernetes hoạt động trên một cụm máy, có thể là máy chủ vật lý hoặc máy ảo, tại chỗ hoặc trên đám mây. Các thành phần chính bao gồm:

• Cụm: Một tập hợp các nút (máy làm việc) chạy các ứng dụng chứa trong container.
• Node: Một máy worker trong cụm Kubernetes. Mỗi node chạy một Kubelet, một tác nhân để quản lý node và giao tiếp với mặt phẳng điều khiển.
• Pod: Đơn vị nhỏ nhất và đơn giản nhất trong mô hình đối tượng Kubernetes. Pod đại diện cho một phiên bản duy nhất của một tiến trình đang chạy trong một cụm và có thể chứa một hoặc nhiều container, chẳng hạn như container Docker .
• Triển khai: Quản lý một tập hợp các Pod bản sao, đảm bảo một số lượng Pod nhất định luôn hoạt động. Nó tự động xử lý các bản cập nhật và khôi phục.

Bằng cách trừu tượng hóa phần cứng cơ bản, Kubernetes cho phép các nhà phát triển và kỹ sư MLOps xác định trạng thái mong muốn của ứng dụng và nó hoạt động để duy trì trạng thái đó, tự động xử lý lỗi và nhu cầu mở rộng. Bạn có thể tìm hiểu thêm trong tài liệu chính thức của Kubernetes .

Kubernetes trong AI và Học máy

Kubernetes đặc biệt mạnh mẽ cho các hoạt động học máy (MLOps) vì nó giải quyết nhiều thách thức liên quan đến việc xây dựng và triển khai các hệ thống AI ở quy mô lớn. Khả năng quản lý tài nguyên hiệu quả của nó khiến nó trở nên lý tưởng cho các tác vụ đòi hỏi nhiều tài nguyên như đào tạo mô hình . Kubernetes có thể mở rộng quy mô công việc đào tạo trên nhiều GPU và node, giúp giảm đáng kể thời gian đào tạo.

Để suy luận, Kubernetes đảm bảo tính khả dụng và khả năng mở rộng cao. Dưới đây là một vài ví dụ thực tế:

1. Dịch vụ Phát hiện Đối tượng Có thể Mở rộng: Một công ty triển khai mô hình Ultralytics YOLO11 để phát hiện đối tượng theo thời gian thực dưới dạng dịch vụ web. Mô hình được đóng gói trong một container. Sử dụng Kubernetes, họ có thể tự động tăng hoặc giảm số lượng pod suy luận dựa trên lưu lượng truy cập đến. Nếu một nút gặp sự cố, Kubernetes sẽ tự động sắp xếp lại các pod sang các nút khỏe mạnh, đảm bảo dịch vụ vẫn khả dụng mà không cần can thiệp thủ công. Đây là một mô hình phổ biến để triển khai các mô hình trong hệ thống giám sát thông minh .
2. Quy trình NLP phức tạp dưới dạng dịch vụ vi mô: Một nhóm xây dựng một ứng dụng Xử lý Ngôn ngữ Tự nhiên (NLP) bao gồm nhiều bước: tiền xử lý văn bản, phân tích cảm xúc và nhận dạng thực thể được đặt tên. Mỗi thành phần là một dịch vụ vi mô riêng biệt, được chứa trong container độc lập. Kubernetes điều phối các dịch vụ này, quản lý mạng lưới của chúng và cho phép từng phần được cập nhật và mở rộng độc lập. Kiến trúc này cung cấp tính linh hoạt và khả năng phục hồi cho các ứng dụng AI phức tạp.

Kubernetes so với các công nghệ liên quan

• Kubernetes so với Docker: Docker là một công cụ để xây dựng và chạy các container riêng lẻ. Kubernetes là một bộ điều phối cho các container, quản lý hàng nghìn container trên nhiều máy. Chúng không phải là đối thủ cạnh tranh mà là cộng tác viên; bạn xây dựng các image container bằng Docker và sau đó quản lý chúng bằng Kubernetes. Bạn có thể bắt đầu với những điều cơ bản bằng cách làm theo hướng dẫn Khởi động Nhanh Docker .
• Kubernetes so với Điện toán không máy chủ: Các nền tảng không máy chủ như AWS Lambda tách biệt mọi hoạt động quản lý máy chủ. Ngược lại, Kubernetes cung cấp nhiều quyền kiểm soát hơn đối với cơ sở hạ tầng, giúp nó phù hợp hơn cho các ứng dụng chạy lâu dài hoặc có trạng thái. Mặc dù không máy chủ đơn giản hơn đối với các hàm hướng sự kiện, các nền tảng không máy chủ có thể chạy trên Kubernetes bằng các công cụ như Knative .

Công cụ và hệ sinh thái

Hệ sinh thái Kubernetes rất rộng lớn và bao gồm nhiều công cụ để mở rộng chức năng của nó:

• Helm: Thường được gọi là trình quản lý gói cho Kubernetes, Helm giúp bạn quản lý các ứng dụng Kubernetes.
• Prometheus & Grafana: Sự kết hợp phổ biến để giám sát các cụm và ứng dụng Kubernetes.
• Tích hợp nhà cung cấp dịch vụ đám mây: Các nhà cung cấp dịch vụ đám mây lớn cung cấp các dịch vụ Kubernetes được quản lý, chẳng hạn như Google Kubernetes Engine (GKE) , Amazon Elastic Kubernetes Service (EKS) và Azure Kubernetes Service (AKS) , giúp đơn giản hóa việc thiết lập và bảo trì cụm.
• Nền tảng ML: Các công cụ như Kubeflow được xây dựng trên Kubernetes để cung cấp quy trình làm việc chuyên biệt cho ML cho các quy trình pipeline, đào tạo và triển khai. Các nền tảng như Ultralytics HUB hợp lý hóa quy trình MLOps, thường trừu tượng hóa các phức tạp của Kubernetes để triển khai mô hình dễ dàng hơn.