Model Registry

Реестр моделей — это централизованная система для организации, версионирования, управления и получения моделей машинного обучения на протяжении всего их жизненного цикла. Он связывает файлы моделей, такие как обученные веса модели, с метаданными, описывающими, как каждая модель была обучена, оценена, одобрена и развернута. Как ключевой компонент эксплуатации моделей машинного обучения, реестр предоставляет командам надежный источник для принятия решений о том, какая версия модели должна обслуживать производственный трафик.

Как работает реестр моделей#

Регистрация модели начинается после того, как запуск обучения создает модель-кандидат. Реестр создает именованную запись, назначает версию и сохраняет информацию, необходимую для понимания и воспроизведения артефакта. Типичная запись включает:

• Артефакт модели: Сериализованные веса, логика предварительной обработки, файлы конфигурации или ссылка на место их хранения.
• Версия: Неизменяемый идентификатор, который отличает одного кандидата от другого.
• Метрики и параметры: Точность на валидации, precision, recall, задержка, сведения о наборе данных, гиперпараметры и другие измерения.
• Происхождение: Связи между моделью, ее исходным кодом, запуском обучения и данными.
• Статус: Метки, такие как кандидат, одобрена, отклонена, основная или архивная.
• Сведения о развертывании: Среды и конечные точки, которые в настоящее время используют эту версию.

Платформы реализуют эти идеи по-разному. Рабочий процесс MLflow Model Registry использует зарегистрированные модели, версии, псевдонимы и теги, а Amazon SageMaker Model Registry поддерживает группы моделей, статусы одобрения, происхождение и автоматизацию развертывания. Некоторые системы также сохраняют сигнатуру модели: ожидаемую схему входных и выходных данных, описанную в документации Snowflake по сигнатуре модели.

Псевдонимы, такие как champion или production, предоставляют стабильные имена, которые можно перемещать между неизменяемыми версиями. Как объясняется в руководстве Vertex AI по псевдонимам моделей, приложение может запросить псевдоним, не указывая номер версии напрямую.

Реестр моделей и смежные понятия#

Реестр моделей пересекается по функциональности с несколькими инструментами ML, но выполняет отдельную задачу:

• Отслеживание экспериментов сохраняет сведения о запусках обучения, включая параметры, метрики и промежуточные артефакты. Реестр получает выбранные результаты этих экспериментов и управляет ими как кандидатами на выпуск.
• Хранилище артефактов содержит большие файлы. Реестр может хранить эти файлы напрямую, но также может работать как индекс метаданных, указывающий на внешнее объектное хранилище. Архитектура Kubeflow Model Registry иллюстрирует такой подход с акцентом на метаданные.
• Управление исходным кодом версионирует код, тогда как реестр моделей версионирует обученные артефакты и специфичные для ML метаданные. Реестр моделей GitLab может связывать версии моделей с заданиями CI/CD, журналами, метриками и параметрами.
• Развертывание модели делает выбранную модель доступной для инференса. Реестр идентифицирует одобренный артефакт, а система развертывания запускает его.
• Мониторинг модели отслеживает поведение в рабочей среде после выпуска. Результаты мониторинга могут запускать оценку, дообучение, регистрацию и продвижение заменяющей версии.

Таким образом, реестр выступает контрольной точкой между экспериментированием и рабочей средой, а не заменяет все окружающие его компоненты.

Практические применения#

В системе инспекции производства инженеры могут заново обучать детектор дефектов при каждом изменении камер, материалов или конструкции продукции. Реестр может сохранять ссылку на набор данных каждой модели, mean average precision, задержку инференса и поддерживаемый аппаратный формат. После того как тесты подтверждают, что версия 12 улучшает обнаружение царапин без увеличения числа ложных тревог, ответственный сотрудник может повысить ее статус и сохранить версию 11 для немедленного отката.

В анализе медицинских изображений несколько команд могут оценивать кандидатов для обнаружения опухолей. Регистрация сохраняет результаты валидации, конфигурацию обучения, ответственного владельца и историю одобрений для каждой версии. Рабочие приложения можно ограничить проверенными моделями, а старые версии оставить доступными для аудитов и воспроизводимости. Средства управления на основе ролей, такие как описанные в документе Snowflake Model Registry об управлении, помогают предотвратить несанкционированную замену или просмотр конфиденциальных артефактов.

Регистрация моделей в рабочих процессах Ultralytics#

Ultralytics Platform предоставляет централизованное управление моделями компьютерного зрения: аннотирование наборов данных, обучение, сравнение результатов, экспорт, развертывание и мониторинг. Описанный рабочий процесс управления моделями в Platform поддерживает загруженные веса .pt и модели, созданные в результате облачного или удаленного обучения.

В следующем задокументированном рабочем процессе Ultralytics YOLO26 обучается локально, а полученные модель, конфигурация, метрики и журналы отправляются в именованный проект Platform:

import os

from ultralytics import YOLO

# Authenticate remote training with Ultralytics Platform
os.environ["ULTRALYTICS_API_KEY"] = "YOUR_API_KEY"

model = YOLO("yolo26n.pt")

model.train(
    data="coco8.yaml",
    epochs=3,
    project="username/model-registry-demo",
    name="candidate-001",
)

Название проекта и запуска позволяют находить кандидата вместе со связанными моделями. Команды могут оценить его, использовать интеграцию Ultralytics с MLflow для дополнительного журналирования экспериментов или применить экспорт модели YOLO, если зарегистрированная модель должна работать на определенном облачном или периферийном оборудовании.

Практические рекомендации по реестру#

Считай каждую зарегистрированную версию неизменяемой. Используй понятные человеку псевдонимы для развертывания, сохраняй подтверждения валидации и определяй четкие требования для продвижения версии. Политика именования на основе семантического версионирования может сообщать об изменениях совместимости, хотя автоматически увеличиваемые версии также эффективны.

Что особенно важно, регистрируй полные пакеты моделей, а не необъяснимые файлы весов. Отсутствие правил предварительной обработки, имен классов, схем входных данных, зависимостей или ссылок на набор данных может сделать внешне корректную модель невоспроизводимой или небезопасной для развертывания. Средства контроля доступа, автоматизированные тесты, этапы одобрения, журналы аудита и процедуры отката превращают реестр моделей из каталога файлов в надежный механизм защиты рабочей среды.