Scalability

Масштабируемость — это способность системы, сети или процесса справляться с растущим объемом работы за счет добавления ресурсов. В контексте искусственного интеллекта (ИИ) и машинного обучения (МО) масштабируемость описывает способность модели или инфраструктуры поддерживать требуемый уровень производительности по мере роста нагрузки. Обычно такая нагрузка проявляется в виде увеличения наборов данных при обучении, роста трафика пользователей во время инференса или усложнения вычислительных задач. Масштабируемая архитектура позволяет плавно расширяться — будь то развертывание модели компьютерного зрения на отдельном встроенном устройстве или обработка миллионов запросов к API через облачные кластеры, — гарантируя, что задержка инференса останется низкой даже при тяжелой нагрузке.

Link to this sectionВажность масштабируемости в ИИ#

Проектирование с учетом масштабируемости — критически важная составляющая успешных операций машинного обучения (MLOps). Модель, которая идеально работает в контролируемой исследовательской среде, может выйти из строя при столкновении с высокоскоростными потоками данных в промышленной эксплуатации. Для эффективного управления большими данными (Big Data) требуются системы, которые могут масштабироваться горизонтально (добавление новых машин в кластер) или вертикально (увеличение мощности, например оперативной памяти или GPU, на уже существующих машинах).

Ключевые преимущества масштабируемых систем ИИ:

• Надежность: Масштабируемые системы обеспечивают стабильную работу сервисов при неожиданных скачках трафика, предотвращая сбои в критически важных приложениях.
• Экономическая эффективность: Динамическое масштабирование позволяет снижать объем используемых ресурсов в периоды низкой активности — функция, которую часто обеспечивают платформы облачных вычислений, такие как AWS или Google Cloud.
• Готовность к будущему: Масштабируемая инфраструктура позволяет внедрять новые, более сложные алгоритмы, такие как vision transformers (ViT), без необходимости полной переработки аппаратной экосистемы.

Link to this sectionСтратегии достижения масштабируемости#

Создание масштабируемых ИИ-решений включает оптимизацию как архитектуры модели, так и инфраструктуры развертывания.

• Распределенное обучение: Когда наборы данных для обучения становятся слишком большими для одного процессора, распределенное обучение разделяет рабочую нагрузку между несколькими графическими процессорами (GPU). Фреймворки, такие как PyTorch Distributed, позволяют разработчикам распараллеливать вычисления, значительно сокращая время, необходимое для обучения базовых моделей. Инструменты вроде Ultralytics Platform упрощают этот процесс, автоматически управляя облачными ресурсами для обучения.
• Эффективные архитектуры моделей: Выбор подходящей архитектуры модели имеет решающее значение для пропускной способности. Новейшая модель Ultralytics YOLO26 разработана так, чтобы быть компактнее и быстрее своих предшественников, что позволяет ей естественно масштабироваться на различном оборудовании: от устройств edge AI до массивных серверных ферм.
• Контейнеризация и оркестрация: Упаковка приложений с помощью Docker обеспечивает их стабильную работу в различных средах. Для управления большими кластерами контейнеров Kubernetes автоматизирует развертывание, масштабирование и обслуживание контейнеризированных приложений.
• Оптимизация моделей: Такие методы, как квантование модели и прунинг, сокращают объем занимаемой памяти и вычислительные затраты модели. Инструменты вроде NVIDIA TensorRT могут дополнительно ускорить работу инференса, обеспечивая более высокую пропускную способность на уже имеющемся оборудовании.

Link to this sectionПример кода: Масштабируемый пакетный инференс#

Одним из эффективных способов улучшения масштабируемости во время инференса является обработка входных данных пакетами, а не последовательно. Это максимально задействует GPU и повышает общую пропускную способность.

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Link to this sectionРеальные приложения#

Масштабируемость позволяет технологиям ИИ перейти от теоретических исследований к глобальным промышленным инструментам.

• Умное производство: В области ИИ в производстве автоматизированные системы контроля должны анализировать тысячи компонентов в час на высокоскоростных сборочных линиях. Масштабируемая система обнаружения объектов гарантирует, что по мере роста скорости производства процесс контроля качества сохраняет высокую точность, не создавая «узких мест».
• Системы рекомендаций в ритейле: Крупные платформы электронной коммерции используют рекомендательные системы для мгновенной выдачи миллионов персонализированных предложений товаров. Масштабируемая инфраструктура позволяет этим платформам справляться с такими масштабными событиями, как «Черная пятница», когда трафик может возрастать в 100 раз, за счет динамического выделения дополнительных серверных узлов через Microsoft Azure или аналогичных провайдеров.

Link to this sectionМасштабируемость в сравнении со смежными понятиями#

Хотя эти термины часто используют как взаимозаменяемые, масштабируемость отличается от производительности и эффективности.

• Масштабируемость vs. Производительность: Производительность обычно относится к тому, насколько быстро или точно работает система в конкретный момент времени (например, кадров в секунду). Масштабируемость описывает способность системы поддерживать эту производительность при возрастании рабочей нагрузки.
• Масштабируемость vs. Эффективность: Эффективность измеряет ресурсы, затраченные на выполнение конкретной задачи (например, энергопотребление на один инференс). Система может быть эффективной, но не масштабируемой (если она не справляется с параллельными задачами), или масштабируемой, но неэффективной (если она использует чрезмерное количество ресурсов для обработки роста).
• Масштабируемость vs. Гибкость: Гибкость позволяет системе справляться с разными типами задач — например, когда YOLO11 выполняет обнаружение, сегментацию и оценку позы. Масштабируемость же фокусируется именно на обработке большего количества той же самой задачи.