Model Card
モデルカードは、学習済みモデルの想定用途、学習データ、評価結果、制限事項を記録するもので、Googleの研究者が2018年に提案した形式です。
モデルカードとは、学習済みの機械学習モデルとともに公開される短い文書です。モデルの目的、学習・評価方法、さまざまなグループや条件での性能、失敗する状況を記録します。GoogleのMargaret Mitchell氏、Timnit Gebru氏らは、2018年の論文Model Cards for Model Reportingでこの形式を提案し、FAT* 2019会議で発表しました。モデルカードは現在、AIの透明性を確保するための標準的な慣行です。Hugging Faceのモデルリポジトリでは、モデルカードがトップページに表示されます。また、AI研究機関は、Anthropicが2024年に公開したClaude 3モデルカードなど、主要モデルのリリース時にカードを公開しています。
モデルカードに含まれる内容#
原著論文では、次の9つのセクションが提案されました。
- モデルの詳細:開発者、バージョン、日付、アーキテクチャ、ライセンス、問い合わせ先。
- 想定用途:モデルが想定する主な用途とユーザー、および対象外の用途。
- 要因:年齢層、カメラの種類、照明など、性能に影響する可能性のあるグループ、機器、環境。
- 指標:どの性能指標を、どの判定しきい値で報告するか、およびその選定理由。
- 評価データ:テストに使用したデータセットと、その選定理由。
- 学習データ:モデルが学習したデータ。共有可能な範囲でできるだけ詳しく記述します。
- 定量分析:各要因単独および組み合わせごとの結果。
- 倫理的考慮事項:機微データ、人々へのリスク、および実施した緩和策。
- 注意事項と推奨事項:一度もテストされていない条件など、既知の不足事項。
定量分析は、この考え方の中核です。単一の代表スコアでは、特定のサブグループに集中する失敗が見えなくなります。そのため、CelebA顔画像データセットで学習した笑顔検出器のモデルカード例では、年齢と性別ごとのエラー率を個別に報告しています。こうした細分化評価によって、アルゴリズムバイアスやデータセットバイアスが明らかになります。物体検出モデルの場合、同じセクションにクラス別および条件別の平均適合率 (mAP)を記載します。条件には小物体、夜間画像、各カメラなどが含まれ、対象ハードウェアでの推論レイテンシも併記します。
Hugging Faceのモデルカード#
Hugging Face Hubでは、モデルカードとはリポジトリのREADME.md、すなわちYAMLメタデータヘッダーの下に利用者向けのMarkdownセクションが並ぶドキュメントであり、Hubはこのヘッダーを解析して、タスク、ライセンス、データセットに基づいてモデルを絞り込み、評価結果を表示します。huggingface_hubライブラリは、構造化データから両方の要素を生成します:
from huggingface_hub import EvalResult, ModelCard, ModelCardData
from torchvision.models import ResNet50_Weights
# Torchvisionは、公開されているImageNetの精度を各重みセットとともに提供します
weights = ResNet50_Weights.IMAGENET1K_V2
top1 = weights.meta["_metrics"]["ImageNet-1K"]["acc@1"]
# 機械可読メタデータ:ライブラリ、学習データ、評価結果
result = EvalResult(
task_type="image-classification",
dataset_type="imagenet-1k",
dataset_name="ImageNet-1K",
metric_type="accuracy",
metric_value=top1,
)
card_data = ModelCardData(
model_name="resnet50", library_name="torchvision", datasets=["imagenet-1k"], eval_results=[result]
)
# デフォルトテンプレートを埋める:YAMLヘッダーの後にMarkdownセクションを配置
card = ModelCard.from_template(card_data, model_summary="ResNet-50 image classifier trained on ImageNet-1K.")
print(card.data.to_yaml())
print([line[3:] for line in card.content.splitlines() if line.startswith("## ")])YAML出力には学習データセットと、ImageNet-1Kでのtop-1精度80.858%を記録したmodel-indexブロックが含まれます。Hubはこれを評価結果として表示します。2行目にはテンプレートのセクションが出力されます。モデルの詳細と用途から、バイアス、リスク、制限事項、評価、環境への影響までが含まれ、原著論文の9セクションを直接引き継いでいます。
関連ドキュメント#
- データセットのデータシート:Timnit Gebru氏らが2018年に提案したもので、データセットの収集方法、ラベル付け方法、想定用途を記録します。モデルカードでは、学習データについて同じ情報を繰り返す代わりに、そのデータシートを参照します。
- システムカード:複数のモデル、プロンプト、安全フィルター、人間によるプロセスから成るデプロイ済みAIシステムを説明します。Metaが2022年にこの用語を導入し、OpenAIを含む大規模言語モデル (LLM)の開発機関は現在、主要モデルのリリースごとにシステムカードを公開しています。
- モデルレジストリ:モデルファイル、バージョン、系譜を保存し、各登録バージョンの適切な用途をカードで説明します。
- 説明可能なAI (XAI):モデルが個々の予測を行った理由を説明します。一方、モデルカードは評価セット全体における挙動を説明します。
規制により、一部の状況ではこの形式が必須になっています。EU AI法に基づき、汎用AIモデルの提供者は2025年8月2日以降、学習と評価に関する技術文書を保管し、自社モデルを基盤に構築する開発者に能力と制限事項の情報を提供する必要があります。欧州委員会の汎用AI実施規範は、そのためのモデル文書フォームを定めており、想定用途、学習データ、エネルギー消費など、モデルカードに似た項目が含まれています。カードは、AIガバナンスと責任あるAIの幅広い実践の一部です。
カードを最新の状態に保つ#
カードは1つのモデルバージョンを記述するため、モデル、データ、またはデプロイ条件が変わるたびに更新されます。実運用でのモデルモニタリングによって証拠が得られます。データドリフトや新たな失敗パターンは、次のバージョンのカードに注意事項として記載されます。
カードの一部はモデルファイルに埋め込むこともできます。Ultralytics YOLO26モデルをエクスポートしてONNXやOpenVINOなどの形式にする際、エクスポーターは学習データセット、作成者、エクスポート日、パッケージのバージョン、ライセンス、タスク、入力サイズ、クラス名を説明するメタデータを埋め込みます。そのため、デプロイ後のコピーでも、モデルの内容と検出対象を特定できます。










