Model Serving

Обслуживание моделей — это процесс хостинга обученной модели машинного обучения и предоставления доступа к ее функциональности программным приложениям через сетевой интерфейс. Оно служит связующим звеном между статичным файлом модели, сохраненным на диске, и работающей системой, обрабатывающей реальные данные. После того как модель завершила этап обучения машинному обучению (ML), ее необходимо интегрировать в рабочую среду, где она сможет получать входные данные — например, изображения, текст или табличные данные — и возвращать прогнозы. Обычно это достигается путем обертывания модели в интерфейс прикладного программирования (API), что позволяет ей взаимодействовать с веб-серверами, мобильными приложениями или IoT-устройствами.

Link to this sectionРоль обслуживания моделей в ИИ#

Основная цель обслуживания моделей заключается в эффективной реализации возможностей прогнозного моделирования. В то время как обучение сосредоточено на точности и минимизации функции потерь, обслуживание сфокусировано на показателях производительности, таких как задержка (как быстро возвращается прогноз) и пропускная способность (сколько запросов можно обработать в секунду). Надежная инфраструктура обслуживания гарантирует, что системы компьютерного зрения (CV) остаются стабильными при высоких нагрузках. Часто это включает использование технологий контейнеризации с такими инструментами, как Docker, которые упаковывают модель вместе с ее зависимостями для обеспечения согласованного поведения в различных вычислительных средах.

Link to this sectionРеальные приложения#

Обслуживание моделей обеспечивает повсеместное внедрение функций ИИ в различных отраслях, позволяя принимать мгновенные решения на основе данных.

• Умное производство: В промышленных условиях системы ИИ в производстве используют обслуживаемые модели для контроля сборочных линий. Изображения компонентов в высоком разрешении отправляются на локальный сервер, где модель YOLO26 обнаруживает дефекты, такие как царапины или перекосы, и отправляет мгновенные оповещения для изъятия бракованных изделий.
• Автоматизация ритейла: Розничные сети используют ИИ в ритейле для улучшения клиентского опыта. Камеры, работающие с моделями обнаружения объектов, идентифицируют товары в зоне кассы, автоматически подсчитывая общую стоимость без необходимости ручного сканирования штрих-кодов.

Link to this sectionПрактическая реализация#

Для эффективного обслуживания модели часто бывает полезно экспортировать модели в стандартизированный формат, такой как ONNX, что способствует совместимости между различными фреймворками обучения и движками обслуживания. В следующем примере показано, как загрузить модель и выполнить инференс, имитируя логику, которая будет присутствовать внутри эндпоинта обслуживания с использованием Python.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Link to this sectionВыбор правильной стратегии#

Выбор стратегии обслуживания во многом зависит от конкретного варианта использования. Онлайн-обслуживание обеспечивает немедленные ответы через протоколы, такие как REST или gRPC, что необходимо для веб-приложений, взаимодействующих с пользователями. Напротив, пакетное обслуживание обрабатывает большие объемы данных в офлайн-режиме, что подходит для таких задач, как создание ночных отчетов. Для приложений, требующих конфиденциальности или низкой задержки без зависимости от интернета, Edge AI переносит процесс обслуживания непосредственно на устройство, используя оптимизированные форматы, такие как TensorRT, для достижения максимальной производительности на ограниченном аппаратном обеспечении. Многие организации используют Ultralytics Platform для упрощения развертывания этих моделей на различных эндпоинтах, включая облачные API и граничные устройства.

Link to this sectionОтличие от связанных терминов#

Хотя они тесно связаны, «Обслуживание моделей» отличается от развертывания моделей и инференса.

• Развертывание моделей: Это относится к более широкому этапу жизненного цикла выпуска модели в производственную среду. Обслуживание — это конкретный механизм или программное обеспечение (например, NVIDIA Triton Inference Server или TorchServe), используемое для исполнения развернутой модели.
• Инференс: Это математический акт вычисления прогноза на основе входных данных. Обслуживание моделей обеспечивает инфраструктуру (сетевое взаимодействие, масштабируемость и безопасность), которая позволяет инференсу выполняться надежно для конечных пользователей.
• Микросервисы: Обслуживание часто архитектурно строится как набор микросервисов, где модель работает как независимый сервис, к которому могут обращаться другие части приложения, часто обмениваясь данными в легковесных форматах, таких как JSON.