Model Card

Карточка модели — это структурированный документ, в котором объясняется, что делает модель ИИ или машинного обучения, как она была разработана и оценена, где её следует использовать и о каких ограничениях или рисках должны знать пользователи. Она служит практическим информационным документом для разработчиков, проверяющих специалистов, команд внедрения и затронутых сторон, поддерживая прозрачность в сфере ИИ без необходимости получать доступ к исходному коду или внутреннему устройству модели. В этом контексте карточка модели не имеет отношения к «композитной карточке» модели из мира моды — профессиональному портфолио.

Что содержит карточка модели#

Полезная карточка модели объединяет технические данные с понятными рекомендациями. Её подробность должна соответствовать влиянию модели: для экспериментального классификатора изображений может быть достаточно короткой карточки, тогда как модель, влияющая на решения в сфере здравоохранения или финансов, требует более подробной документации.

К основным компонентам относятся:

• Назначение, владелец и версия: Указывает модель, ответственную команду, версию выпуска, задачу, поддерживаемые входные и выходные данные, а также контактную информацию или сведения о сопровождении.
• Данные для обучения и контекст разработки: Описывает источники данных, условия сбора, методы разметки, предварительную обработку, архитектуру модели, процедуру обучения и важные допущения. Конфиденциальные или проприетарные данные можно описать в общих чертах, не раскрывая их.
• Оценка и метрики производительности: Приводит метрики на чётко обозначенных наборах для валидации или тестирования. Для обнаружения объектов к ним могут относиться точность, полнота, средняя точность, задержка инференса, а также результаты по отдельным классам или значимым подмножествам данных.
• Предусмотренные области применения и исключения: Объясняет подходящие сценарии использования, ожидаемые условия эксплуатации, необходимый уровень контроля со стороны человека и сценарии, для которых модель не предназначена.
• Ограничения и риски: Описывает известные случаи сбоев, неопределённость, проблемы конфиденциальности, аспекты безопасности и возможное смещение в наборе данных. Также следует указать вероятные последствия ошибочных прогнозов.

В документации Amazon SageMaker по карточкам моделей приведён пример структурированной записи жизненного цикла, охватывающей предусмотренное использование, сведения об обучении, оценку, уровни риска и рекомендации. Открытые подборки, такие как карточки моделей Google DeepMind, показывают, как с помощью карточек можно рассказывать широкой аудитории о возможностях, оценке безопасности и ограничениях.

Зачем нужны карточки моделей#

Карточки моделей помогают командам принимать обоснованные решения перед тем, как внедрять или использовать модель. Впечатляющая итоговая метрика может скрывать низкую эффективность на редких классах, в необычных условиях или для отдельных групп пользователей. Документируя набор данных для оценки, условия тестирования и результаты по группам, карточка даёт читателям контекст, необходимый для интерпретации этих показателей.

Карточки также помогают обеспечивать управление и подотчётность. Структура управления рисками ИИ NIST подчёркивает важность управления надёжностью на протяжении всего жизненного цикла ИИ, а принцип прозрачности и объяснимости OECD призывает предоставлять значимую информацию о возможностях и ограничениях ИИ. Карточки моделей служат практическим инструментом для достижения этих целей.

В организациях карточки упрощают передачу информации между специалистами по данным, продуктовыми командами, специалистами по нормативному соответствию и инженерами эксплуатации. Такие системы, как IBM AI Factsheets, развивают этот подход, собирая метаданные модели на этапах разработки, утверждения, внедрения и мониторинга.

Связанная документация и ключевые различия#

Несколько связанных документов решают разные задачи:

• Карточки данных: Описывают происхождение набора данных, его состав, процесс сбора, условия доступа, предусмотренные области применения и ограничения. Карточка модели посвящена обученной модели, хотя в ней следует ссылаться на соответствующую документацию по наборам данных.
• Реестр моделей: Хранит артефакты моделей и управляет ими, включая версии, происхождение и статус развёртывания. Рабочий процесс реестра моделей MLflow показывает, как это работает на практике. Карточка модели объясняет её смысл и риски, а реестр управляет ресурсами моделей. Эти инструменты можно связать.
• Карточка системы: Описывает целую систему ИИ, которая может включать несколько моделей, промпты, компоненты поиска, механизмы защиты, интерфейсы и процессы с участием человека. Карточка модели имеет более узкую область охвата и посвящена одной модели.
• Отчёт об объяснимости: Анализирует, почему модель выдала те или иные результаты. Карточка модели описывает поведение и ограничения модели в целом, но не заменяет объяснения отдельных прогнозов.

Примеры применения в реальных условиях#

• Визуальный контроль качества на производстве: На фабрике можно внедрить модель компьютерного зрения для обнаружения дефектов. В карточке модели можно перечислить поддерживаемые классы дефектов, расположение камер, допущения об освещении, показатели для редких дефектов, минимальный размер объектов и задержку на периферийном устройстве. Если при отражённом освещении царапины часто пропускаются, описание этого ограничения поможет операторам требовать ручную проверку или собирать дополнительные изображения для обучения.

• Поддержка анализа медицинских изображений: В карточке модели для медицинской визуализации можно указать типы снимков, оборудование, группы пациентов и учреждения, представленные в ходе оценки. В ней можно привести показатели для отдельных групп и уточнить, что результаты помогают квалифицированным врачам, а не используются для самостоятельной постановки диагноза. Отсутствие такого контекста может привести к тому, что больница применит модель на неподдерживаемом оборудовании или для неучтённых групп пациентов, повышая риск ненадёжных рекомендаций.

Карточки моделей также встречаются при выборе сторонних моделей. Например, в документации каталога моделей Microsoft Foundry описаны карточки, содержащие сведения о моделях, результаты сравнительных тестов, поддерживаемые типы данных, лицензии и информацию о развёртывании.

Создание и сопровождение карточки модели#

Начни работу над карточкой на этапе планирования проекта, а не после развёртывания. Записывай данные по мере их появления, включая версии наборов данных, настройки обучения, условия оценки и решения проверяющих. Для модели обнаружения объектов Ultralytics YOLO26 документированный процесс валидации позволяет получить метрики для раздела оценки:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Эти значения имеют смысл только вместе с указанием версии модели, набора данных, его разбиения, размера изображений, оборудования и конфигурации оценки. Команды могут использовать платформу Ultralytics для разметки наборов данных, отслеживания запусков обучения, развёртывания моделей и мониторинга конечных точек, сохраняя при этом данные, необходимые для обновления карточки.

Карточка модели должна быть живым документом с версиями. Обновляй её при каждом изменении модели, набора данных, процесса оценки, среды развёртывания или известных ограничений. И самое главное — пиши для тех, кто решает, следует ли использовать модель и как именно, а не только для команды, которая её обучала.