Kubernetes

K8s라고도 불리는 Kubernetes는 컨테이너화된 애플리케이션의 배포, 확장, 관리를 자동화하기 위해 설계된 오픈 소스 플랫폼입니다. 원래 Google에서 개발되었으며 현재 Cloud Native Computing Foundation (CNCF)에서 관리하는 Kubernetes는 클라우드에서 소프트웨어를 오케스트레이션하기 위한 표준이 되었습니다. 인공지능(AI) 및 머신러닝(ML) 환경에서 이는 엔지니어링 팀이 분산 학습부터 고가용성 프로덕션 추론에 이르기까지 복잡한 워크플로우를 관리할 수 있게 해주는 중요한 인프라 계층 역할을 합니다. 하드웨어의 추상화를 통해 Kubernetes는 온프레미스에서 호스팅되든 퍼블릭 클라우드 제공업체를 통하든 상관없이 애플리케이션이 안정적이고 효율적으로 실행되도록 보장합니다.

Link to this section핵심 아키텍처 및 개념#

At its heart, Kubernetes operates on a cluster architecture, which consists of a set of worker machines called nodes. These nodes run containerization workloads, while a control plane manages the overall state of the cluster. The smallest deployable unit in Kubernetes is a "Pod," which encapsulates one or more containers sharing storage and network resources. This abstraction is vital for computer vision applications, as it allows developers to package dependencies—such as specific CUDA libraries for Graphics Processing Units (GPUs)—into a consistent environment. Major cloud services like Amazon Elastic Kubernetes Service (EKS), Azure Kubernetes Service (AKS), and Google Kubernetes Engine (GKE) provide managed versions of this architecture, simplifying the maintenance burden for data science teams.

Link to this sectionAI를 위해 Kubernetes가 중요한 이유#

머신러닝 운영(MLOps)에서 Kubernetes의 주요 가치는 동적 워크로드를 처리하는 능력에 있습니다. AI 모델은 종종 학습 중에 방대한 연산 능력을 필요로 하며 배포 중에는 낮은 추론 지연 시간(inference latency)을 요구합니다.

• 확장성: Kubernetes는 오토스케일링을 사용하여 리소스를 자동으로 조정합니다. 갑작스러운 트래픽 급증이 발생하면 Horizontal Pod Autoscaler가 추론 Pod 수를 늘려 수동 개입 없이 확장성을 유지할 수 있습니다.
• 리소스 최적화: 고가의 하드웨어를 효율적으로 할당하는 것은 매우 중요합니다. Kubernetes는 부분 GPU 공유와 노드 어피니티(node affinity)를 가능하게 하여 딥러닝 모델이 활성 작업에서 필요할 때만 리소스를 소비하도록 보장합니다.
• 탄력적 배포: 모델 배포 중 고가용성을 보장하는 것이 필수적입니다. 노드에 장애가 발생하면 Kubernetes는 영향을 받는 Pod를 정상 노드에서 자동으로 다시 시작하여 중요한 API 서비스의 중단을 방지합니다.

Link to this section실제 애플리케이션 사례#

Kubernetes는 다양한 산업 전반에 걸친 대규모 AI 구현의 중추 역할을 합니다:

1. 스마트 시티 교통 관리: 지방 자치 단체는 수천 개의 교차로에서 들어오는 영상 피드를 분석하기 위해 Ultralytics YOLO26 모델을 배포할 수 있습니다. Kubernetes를 사용하여 시스템은 출퇴근 시간에 리소스를 동적으로 확장하여 증가하는 객체 탐지 부하를 처리하고 밤에는 비용 절감을 위해 규모를 축소할 수 있습니다. 이러한 접근 방식은 현대적인 교통 관리 시스템의 기본입니다.

2. 이커머스 개인화: 온라인 소매업체는 마이크로서비스를 기반으로 구축된 복잡한 추천 시스템을 활용합니다. 한 서비스가 후보 생성(candidate generation)을 처리하는 동안 다른 서비스는 재순위 지정(reranking)을 관리할 수 있습니다. Kubernetes는 이러한 개별 서비스를 오케스트레이션하여 팀이 전체 쇼핑 경험을 방해하지 않고 독립적으로 순위 신경망(neural network)을 업데이트할 수 있게 하여 지속적 통합을 촉진합니다.

Link to this sectionKubernetes와 Docker의 차이점#

흔히 혼동하는 점은 Kubernetes와 Docker 간의 관계입니다. 이 둘은 경쟁 관계가 아니라 상호 보완적인 기술입니다. Docker는 개별 컨테이너를 생성하고 실행하기 위한 도구(애플리케이션 패키징)인 반면, Kubernetes는 여러 머신에 걸쳐 해당 컨테이너 군집을 관리하기 위한 도구입니다. Docker를 사용하여 모델 가중치와 코드를 이미지로 빌드한 다음, Kubernetes를 사용하여 프로덕션에서 해당 이미지가 어디서, 언제, 몇 개나 실행될지를 결정합니다.

Link to this section예시: 컨테이너화를 위한 추론 스크립트#

Kubernetes에 모델을 배포하기 위해 개발자는 일반적으로 컨테이너의 진입점 역할을 하는 Python 스크립트로 시작합니다. 다음 코드는 Ultralytics YOLO26 모델을 사용한 간단한 추론 작업을 보여줍니다. 이 스크립트는 Pod 내부에서 실행되며 들어오는 요청을 처리합니다.

from ultralytics import YOLO

# Load the lightweight YOLO26 model
model = YOLO("yolo26n.pt")

# Perform inference on an image source
# In a K8s pod, this would likely process API payloads
results = model("https://ultralytics.com/images/bus.jpg")

# Output the detection count for logging
print(f"Detected {len(results[0].boxes)} objects in the frame.")

Link to this section도구 및 생태계#

Kubernetes 생태계에는 데이터 과학을 위해 맞춤화된 방대한 도구가 포함되어 있습니다. Kubeflow는 Kubernetes에서 ML 워크플로우 배포를 간단하고 휴대 가능하며 확장 가능하게 만드는 데 전념하는 인기 있는 툴킷입니다. 클러스터 상태 및 애플리케이션 메트릭을 모니터링하기 위해 엔지니어들은 종종 Prometheus를 사용합니다. 이러한 환경으로 모델을 학습 및 배포하는 복잡성을 더욱 단순화하기 위해 Ultralytics Platform은 데이터셋 관리와 모델 학습을 자동화하는 통합 인터페이스를 제공하여 사용자가 클라우드 컴퓨팅 클러스터에 준비된 모델을 내보낼 수 있도록 합니다. 또한 Helm과 같은 패키지 관리자는 재사용 가능한 차트를 통해 복잡한 Kubernetes 애플리케이션을 관리하는 데 도움을 줍니다.