Model Card
Карточка модели описывает назначение обученной модели, обучающие данные, результаты оценки и ограничения. Этот формат предложили исследователи Google в 2018 году.
Карточка модели — это краткий документ, публикуемый вместе с обученной моделью машинного обучения. В нём описывается назначение модели, её обучение и оценка, производительность для разных групп и условий, а также известные ограничения. Маргарет Митчелл, Тимнит Гебру и их коллеги из Google предложили этот формат в 2018 году в статье Model Cards for Model Reporting, представленной на конференции FAT* 2019. Карточки моделей стали стандартной практикой для обеспечения прозрачности в сфере ИИ: на Hugging Face карточка модели отображается на главной странице её репозитория, а лаборатории ИИ публикуют карточки крупных релизов, например карточку модели Claude 3, которую Anthropic выпустила в 2024 году.
Что содержит карточка модели#
В первоначальной статье предложено девять разделов:
- Сведения о модели: Разработчик, версия, дата, архитектура, лицензия и контакт для вопросов.
- Предполагаемое использование: Основные сценарии и пользователи, для которых создана модель, а также сценарии за пределами её назначения.
- Факторы: Группы, устройства и условия, которые могут повлиять на производительность, например возрастная группа, тип камеры или освещение.
- Метрики: Используемые метрики производительности, пороги принятия решений, при которых они приводятся, и причины их выбора.
- Данные для оценки: Использованные для тестирования наборы данных и причины их выбора.
- Обучающие данные: Данные, на которых обучалась модель, с максимально подробным описанием, насколько это допускает их доступность.
- Количественный анализ: Результаты для каждого фактора отдельно и в сочетании с другими факторами.
- Этические аспекты: Конфиденциальные данные, риски для людей и применённые меры снижения рисков.
- Ограничения и рекомендации: Известные пробелы, например условия, которые никогда не проверялись.
Количественный анализ — ключевая часть этой концепции. Одна итоговая оценка скрывает ошибки, сосредоточенные в отдельной подгруппе, поэтому в примере карточки детектора улыбок из статьи частота ошибок приводится отдельно для разных возрастных и гендерных групп в наборе лицевых изображений CelebA. Такая дезагрегированная оценка выявляет алгоритмическое смещение и смещение набора данных. Для модели обнаружения объектов в этом же разделе указывают среднюю точность (mAP) по классам и условиям, например для мелких объектов, ночных изображений или разных камер, а также задержку инференса на целевом оборудовании.
Карточки моделей на Hugging Face#
На Hugging Face Hub карточка модели — это README.md репозитория: разделы в Markdown для пользователей и заголовок метаданных YAML, который Hub обрабатывает для фильтрации моделей по задачам, лицензиям и наборам данных, а также для отображения результатов оценки. Библиотека huggingface_hub формирует обе части из структурированных данных:
from huggingface_hub import EvalResult, ModelCard, ModelCardData
from torchvision.models import ResNet50_Weights
# Torchvision включает опубликованную точность на ImageNet для каждого набора весов
weights = ResNet50_Weights.IMAGENET1K_V2
top1 = weights.meta["_metrics"]["ImageNet-1K"]["acc@1"]
# Машиночитаемые метаданные: библиотека, обучающие данные и результаты оценки
result = EvalResult(
task_type="image-classification",
dataset_type="imagenet-1k",
dataset_name="ImageNet-1K",
metric_type="accuracy",
metric_value=top1,
)
card_data = ModelCardData(
model_name="resnet50", library_name="torchvision", datasets=["imagenet-1k"], eval_results=[result]
)
# Заполнение шаблона по умолчанию: заголовок YAML, за которым следуют разделы Markdown
card = ModelCard.from_template(card_data, model_summary="ResNet-50 image classifier trained on ImageNet-1K.")
print(card.data.to_yaml())
print([line[3:] for line in card.content.splitlines() if line.startswith("## ")])В выводе YAML указан обучающий набор данных и блок model-index с точностью top-1 80,858% на наборе ImageNet-1K. Hub отображает этот результат как оценку модели. Во второй строке выводятся разделы шаблона: от сведений о модели и её применении до смещения, рисков и ограничений, а также оценки и воздействия на окружающую среду. Этот шаблон напрямую продолжает девятичастную структуру первоначальной статьи.
Связанная документация#
- Паспорта наборов данных: Предложены Тимнит Гебру и её коллегами в 2018 году. В них документируется, как был собран и размечен набор данных и для чего он предназначался. Вместо повторного описания обучающих данных карточка модели ссылается на их паспорт.
- Карточки систем: Описывают развёрнутую систему ИИ, состоящую из нескольких моделей, запросов, фильтров безопасности и процессов с участием людей. В 2022 году Meta ввела этот термин, а лаборатории, разрабатывающие большие языковые модели (LLM), включая OpenAI, теперь публикуют карточку системы для каждого крупного релиза модели.
- Реестр моделей: Хранит файлы моделей, версии и сведения об их происхождении, а карточка объясняет, для чего подходит каждая зарегистрированная версия.
- Объяснимый ИИ (XAI): Объясняет, почему модель выдала конкретный прогноз, а карточка описывает её поведение на всём наборе для оценки.
В некоторых случаях формат стал обязательным по закону. Согласно Акту ЕС об искусственном интеллекте, с 2 августа 2025 года поставщики моделей ИИ общего назначения должны хранить техническую документацию об обучении и оценке и предоставлять разработчикам, которые создают решения на основе этих моделей, сведения об их возможностях и ограничениях. Для этого в Кодексе практики Комиссии по моделям ИИ общего назначения предусмотрена форма документации модели с полями, характерными для карточек, например предполагаемым применением, обучающими данными и энергопотреблением. Карточки — часть более широкой практики управления ИИ и ответственного ИИ.
Как поддерживать карточку в актуальном состоянии#
Карточка описывает одну версию модели, поэтому её нужно обновлять при изменении модели, данных или условий развёртывания. Данные производственного мониторинга модели помогают выявлять проблемы: дрейф данных или новый тип ошибки становится ограничением в карточке следующей версии.
Часть сведений из карточки можно встроить непосредственно в файл модели. При экспорте моделей Ultralytics YOLO26 в такие форматы, как ONNX или OpenVINO, экспортёр встраивает метаданные с описанием обучающего набора данных, автора, даты экспорта, версии пакета, лицензии, задачи, размера входных данных и названий классов. Благодаря этому развёрнутая копия по-прежнему сообщает, что это за модель и что она обнаруживает.










