Kubernetes
Изучи, как Kubernetes автоматизирует развертывание и масштабирование моделей ИИ. Узнай, как оркестровать Ultralytics YOLO26 на K8s для высокопроизводительного компьютерного зрения.
Kubernetes, часто называемый K8s, представляет собой платформу с открытым исходным кодом, предназначенную для автоматизации развертывания, масштабирования и управления контейнеризированными приложениями. Изначально разработанный компанией Google, а ныне поддерживаемый Cloud Native Computing Foundation (CNCF), Kubernetes стал стандартом для оркестрации программного обеспечения в облаке. В контексте искусственного интеллекта (ИИ) и машинного обучения (МО) он выступает в качестве критически важного инфраструктурного уровня, который позволяет инженерным командам управлять сложными рабочими процессами, от распределенного обучения до высокодоступного вывода в производственной среде. Абстрагируясь от базового оборудования, Kubernetes гарантирует, что приложения работают надежно и эффективно, независимо от того, размещены ли они локально или с использованием публичных облачных провайдеров.
Link to this sectionОсновные архитектурные принципы и концепции#
По своей сути Kubernetes работает на основе кластерной архитектуры, которая состоит из набора рабочих машин, называемых узлами (nodes). Эти узлы выполняют рабочие нагрузки контейнеризации, в то время как плоскость управления (control plane) управляет общим состоянием кластера. Минимальной единицей развертывания в Kubernetes является «Pod» (под), который инкапсулирует один или несколько контейнеров, использующих общие ресурсы хранения и сети. Эта абстракция жизненно важна для приложений компьютерного зрения, так как она позволяет разработчикам упаковывать зависимости — например, специфические библиотеки CUDA для графических процессоров (GPU) — в согласованную среду. Крупные облачные сервисы, такие как Amazon Elastic Kubernetes Service (EKS), Azure Kubernetes Service (AKS) и Google Kubernetes Engine (GKE), предоставляют управляемые версии этой архитектуры, упрощая бремя обслуживания для команд по обработке данных.
Link to this sectionПочему Kubernetes важен для ИИ#
Основная ценность Kubernetes в операциях машинного обучения (MLOps) заключается в его способности справляться с динамическими рабочими нагрузками. Моделям ИИ часто требуется огромная вычислительная мощность во время обучения и низкая задержка вывода во время развертывания.
- Масштабируемость: Kubernetes использует автомасштабирование для автоматической корректировки ресурсов. Если происходит внезапный всплеск трафика, Horizontal Pod Autoscaler может увеличить количество подов вывода, чтобы поддерживать масштабируемость без ручного вмешательства.
- Оптимизация ресурсов: Эффективное распределение дорогостоящего оборудования имеет решающее значение. Kubernetes обеспечивает дробное совместное использование GPU и аффинность узлов, гарантируя, что модели глубокого обучения потребляют ресурсы только тогда, когда это необходимо для активных задач.
- Отказоустойчивое развертывание: Обеспечение высокой доступности во время развертывания модели имеет важное значение. Если узел выходит из строя, Kubernetes автоматически перезапускает затронутые поды на работоспособных узлах, предотвращая простои для критически важных REST API сервисов.
Link to this sectionРеальные приложения#
Kubernetes является основой для многих крупномасштабных реализаций ИИ в различных отраслях:
-
Управление трафиком в умном городе: Муниципалитет может развернуть модели Ultralytics YOLO26 для анализа видеопотоков с тысяч перекрестков. Используя Kubernetes, система может динамически увеличивать ресурсы в часы пик для обработки возросшей нагрузки на обнаружение объектов и уменьшать их ночью для экономии затрат. Этот подход является основополагающим для современных систем управления трафиком.
-
Персонализация в электронной коммерции: Онлайн-ритейлеры используют сложные рекомендательные системы, построенные на микросервисах. Один сервис может заниматься генерацией кандидатов, а другой — ранжированием. Kubernetes оркестрирует эти отдельные сервисы, позволяя командам независимо обновлять нейронную сеть ранжирования, не нарушая весь процесс покупок, что способствует непрерывной интеграции.
Link to this sectionРазличия между Kubernetes и Docker#
Частым предметом путаницы является связь между Kubernetes и Docker. Они не являются конкурентами, а скорее дополняют друг друга. Docker — это инструмент для создания и запуска отдельных контейнеров (упаковка приложения), тогда как Kubernetes — это инструмент для управления парком этих контейнеров на нескольких машинах. Ты используешь Docker для сборки весов модели и кода в образ, а затем используешь Kubernetes, чтобы определить, где, когда и сколько копий этого образа будет работать в производственной среде.
Link to this sectionПример: Скрипт вывода для контейнеризации#
Для развертывания модели на Kubernetes разработчики обычно начинают с Python-скрипта, который выступает в качестве точки входа для контейнера. Следующий код демонстрирует простую задачу вывода с использованием модели Ultralytics YOLO26. Этот скрипт будет работать внутри пода, обрабатывая входящие запросы.
from ultralytics import YOLO
# Load the lightweight YOLO26 model
model = YOLO("yolo26n.pt")
# Perform inference on an image source
# In a K8s pod, this would likely process API payloads
results = model("https://ultralytics.com/images/bus.jpg")
# Output the detection count for logging
print(f"Detected {len(results[0].boxes)} objects in the frame.")Link to this sectionИнструменты и экосистема#
Экосистема Kubernetes включает в себя огромный спектр инструментов, адаптированных для науки о данных. Kubeflow — популярный набор инструментов, предназначенный для того, чтобы сделать развертывание рабочих процессов МО на Kubernetes простым, портативным и масштабируемым. Для мониторинга состояния кластера и метрик приложений инженеры часто полагаются на Prometheus. Чтобы еще больше упростить сложность обучения и развертывания моделей в этих средах, Ultralytics Platform предлагает унифицированный интерфейс, который автоматизирует управление наборами данных и обучение моделей, позволяя пользователям экспортировать модели, готовые для кластеров облачных вычислений. Кроме того, менеджеры пакетов, такие как Helm, помогают управлять сложными приложениями Kubernetes с помощью повторно используемых чартов.
